2025-03-24

Flix 프로젝트: 개발 기록 - 5

FlixFilebeatKafkaSpring Cloud ConfigELK

개요

이번 개발 기록은 일본 여행 기간(2025.03.20 ~ 2025.03.23) 동안 진행한 작업을 다루며, 로그 수집과 중앙 설정 관리 시스템 개선에 집중했습니다.

1. 오늘의 진행 상황 & 구현 내용

Filebeat 설정

기존에 단일 라인 이벤트 수집 방식으로 로그를 수집하도록 설정했으며, 현재는 로그가 라인별 텍스트 형태로 기록되고 있어 단순하게 파일을 읽어 Kafka로 전송합니다.

Kafka 연동

docker-compose 환경에서 Filebeat와 Kafka가 동일한 네트워크(msa_network)에서 운영되도록 구성했습니다.

중앙 설정 관리

Spring Cloud Config 서버를 구축하여, 각 서비스의 설정 파일을 Git 기반의 중앙 저장소에서 관리하도록 구성했습니다.

2. 앞으로의 계획

  • ELK 스택 분리: docker-compose 테스트 환경에서 별도 서버로 Kafka와 ELK 인프라를 분리하고 Kibana 모니터링 강화
  • Kubernetes 전환: docker-compose에서 Kubernetes로 프로덕션 환경을 전환하여 정교한 오케스트레이션과 오토스케일링 구현
  • 실시간 설정 업데이트: Spring Cloud Bus를 활용하여 서비스 간 설정 변경 전파 및 모니터링 도구(Prometheus, Grafana, ELK) 연동