2025-03-24
Flix 프로젝트: 개발 기록 - 5
FlixFilebeatKafkaSpring Cloud ConfigELK
개요
이번 개발 기록은 일본 여행 기간(2025.03.20 ~ 2025.03.23) 동안 진행한 작업을 다루며, 로그 수집과 중앙 설정 관리 시스템 개선에 집중했습니다.
1. 오늘의 진행 상황 & 구현 내용
Filebeat 설정
기존에 단일 라인 이벤트 수집 방식으로 로그를 수집하도록 설정했으며, 현재는 로그가 라인별 텍스트 형태로 기록되고 있어 단순하게 파일을 읽어 Kafka로 전송합니다.
Kafka 연동
docker-compose 환경에서 Filebeat와 Kafka가 동일한 네트워크(msa_network)에서 운영되도록 구성했습니다.
중앙 설정 관리
Spring Cloud Config 서버를 구축하여, 각 서비스의 설정 파일을 Git 기반의 중앙 저장소에서 관리하도록 구성했습니다.
2. 앞으로의 계획
- ELK 스택 분리: docker-compose 테스트 환경에서 별도 서버로 Kafka와 ELK 인프라를 분리하고 Kibana 모니터링 강화
- Kubernetes 전환: docker-compose에서 Kubernetes로 프로덕션 환경을 전환하여 정교한 오케스트레이션과 오토스케일링 구현
- 실시간 설정 업데이트: Spring Cloud Bus를 활용하여 서비스 간 설정 변경 전파 및 모니터링 도구(Prometheus, Grafana, ELK) 연동