개요 GKE내 KEDA(K8s Event-Driven Autoscaler) 배포 및 Prometheus 기반으로 SacleObject를 배포하는 방법을 안내합니다. 이해 KEDA (Kubernetes Event-Driven Autoscaler): 이벤트 소스(예: Kafka, Prometheus, RabbitMQ 등)의 메트릭을 기반으로

1. 개요: GKE와 AWS MSK 간의 안전한 Kafka 데이터 동기화 ✨ 이 문서의 목표: Google Kubernetes Engine (GKE) 환경에서 Strimzi MirrorMaker2를 사용하여 AWS MSK (Managed Streaming for Kafka)의 데이

최근 CDC(Change Data Capture)와 관련하여 Origin DB에서 BigQuery로의 작업을 진행했습니다. 여기에 몇가지 걸렷던 것은 보안 요구 사항으로 RBAC으로 인증/

테스트 환경 Ubuntu 22.04 JAVA 17 Kafka 2.12 - 3.15 BQ Sink Connector : wepay-kafka-connect-bigquery-2.5.7 (https://www.confluent.io/hub/wepay/kafka-connect-bigquery) 설치경로: /opt/kafka 커넥터 라이브러리용 폴더 생성 및 라이브러리 복제 ## create Connector DIR mkdir /opt/kafka/connect-libs ## BigQuery Connector wget http://domain/repo/confluent/wepay-kafka-connect-bigquery-2.5.7.zip unzip wepay-kafka-connect-bigquery-2.5.7.zip mv wepay-kafka-connect-bigquery-2.5.7 ./connect-libs 원본연결 설정파일

Hugo를 기반으로하는 현재 블로그의 경우 Markdown(.md)파일을 작성하여 배포하는 형식으로 블로그 글을 작성해 왔는데요. Markdown을 사

Github Action GitHub Actions를 사용하여 리포지토리에서 바로 소프트웨어 개발 워크플로를 자동화, 사용자 지정 및 실행합니다. CI/CD를 포함하여 원하는 작업을 수행

들어가며 3주간의 짧다면 짧고, 길다면 긴 CI/CD 스터디에 참석하게 되었습니다. 이번에는 CI/CD에 관한 스터디로 1주차에는 실습보다는 현재 회사에서 구축 및 사용