개요 GKE내 KEDA(K8s Event-Driven Autoscaler) 배포 및 Prometheus 기반으로 SacleObject를 배포하는 방법을 안내합니다. 이해 KEDA (Kubernetes Event-Driven Autoscaler): 이벤트 소스(예: Kafka, Prometheus, RabbitMQ 등)의 메트릭을 기반으로
2025-05-28
GCP
DevOps
Kubernetes
KEDA
HPA
Autoscale
Word Count: 893words
Read Count: 2minutes
1. 개요: GKE와 AWS MSK 간의 안전한 Kafka 데이터 동기화 ✨ 이 문서의 목표: Google Kubernetes Engine (GKE) 환경에서 Strimzi MirrorMaker2를 사용하여 AWS MSK (Managed Streaming for Kafka)의 데이
2025-05-16
kafka
kafka
CDC
MirrorMaker2
Strimzi
AWS
MSK
GKE
gcp
Word Count: 2336words
Read Count: 5minutes
최근 CDC(Change Data Capture)와 관련하여 Origin DB에서 BigQuery로의 작업을 진행했습니다. 여기에 몇가지 걸렷던 것은 보안 요구 사항으로 RBAC으로 인증/
2025-03-20
GCP
AWS
gcp
IAM
ServiceAccount
Word Count: 489words
Read Count: 1minutes
테스트 환경 Ubuntu 22.04 JAVA 17 Kafka 2.12 - 3.15 BQ Sink Connector : wepay-kafka-connect-bigquery-2.5.7 (https://www.confluent.io/hub/wepay/kafka-connect-bigquery) 설치경로: /opt/kafka 커넥터 라이브러리용 폴더 생성 및 라이브러리 복제 ## create Connector DIR mkdir /opt/kafka/connect-libs ## BigQuery Connector wget http://domain/repo/confluent/wepay-kafka-connect-bigquery-2.5.7.zip unzip wepay-kafka-connect-bigquery-2.5.7.zip mv wepay-kafka-connect-bigquery-2.5.7 ./connect-libs 원본연결 설정파일
2025-01-14
kafka
kafka
sink connector
bigquery
gcp
Word Count: 300words
Read Count: 1minutes
Hugo를 기반으로하는 현재 블로그의 경우 Markdown(.md)파일을 작성하여 배포하는 형식으로 블로그 글을 작성해 왔는데요. Markdown을 사
2025-01-14
CI/CD
CI/CD
Notion
Github Actions
Hugo
Netlify
Word Count: 394words
Read Count: 1minutes
Github Action GitHub Actions를 사용하여 리포지토리에서 바로 소프트웨어 개발 워크플로를 자동화, 사용자 지정 및 실행합니다. CI/CD를 포함하여 원하는 작업을 수행
2024-12-13
Study
ci/cd
deploy
github
workflow
Word Count: 1169words
Read Count: 3minutes
들어가며 3주간의 짧다면 짧고, 길다면 긴 CI/CD 스터디에 참석하게 되었습니다. 이번에는 CI/CD에 관한 스터디로 1주차에는 실습보다는 현재 회사에서 구축 및 사용
2024-12-07
Study
container
ci/cd
Jenkins
deploy
gitlab
gitlab-runner
kubernetes
Word Count: 2124words
Read Count: 5minutes