카프카 사용 방법:

• 숨고에서는 프로덕션 DB에서 빅쿼리 데이터 웨어하우스로데이터를 동기화하는데 카프카를 사용하고 있습니다. 카프카 커넥트를 사용해서 파이프라인을 만들고 있으며, 프로덕션 DB인 MariaDB에서CDC를 이용해 데이터를 가져오기 위해서디비지움의 파라오 슬롯 플러그인을 사용하고 있습니다.

개선 방향:

• 파라오 슬롯 구성을 위한 설정 값과 파라오 슬롯를 생성할 때 사용되는 리눅스 명령어의 분리
• k8s에 배포 후, 파라오 슬롯가 자동으로 생성 될 수 있도록 함
• 커넥트 파드가 예기치 못한 에러로 인해 정상으로 작동되지 않는 경우 상황 인지 필요(health check)
• 커넥트 파드가 정상동작하지 않을 시에는 알림을 주고 스스로 장애 대응 작업 진행(self-healing)

개선 결과:

• 카프카 시스템 배포 시, 정의한 파라오 슬롯 생성을 자동화
• 파라오 슬롯 구성 요소 관리가 수월해짐
• 예상치 못한 커넥트 파드 비정상 동작에 대비할 수 있음