Kafka 프로젝트 시작하기 전 가벼운 정리

작업을 시작하기 전에 작은 정리를 한다

 

Kafka : 궁극적으로 실시간 스트리밍 데이터 파이프 라인을 갖고 싶었다고 생각한다.  그것도 대용량의 데이터를 처리 할 수 있는, 다른 시스템과 두는 차별점은 컨슈머의 상호 작용없이 어떠한 메세지 스트림도 읽을 수 있다는 부분이다.

 

목적 : 회사에서 사용하고 있는 카프카에서 구독되고 발행되고 있는 토픽들의 상태를 파악 하고 싶으며, 성공 callback이 없는 상태에서 다시 발행하는 작업을 진행하고 싶다.

 

1차 목표는 존재하는 토픽들을 한눈에 볼 수 있는 UI가 갖고 싶다는 점

2차 목표는 GUI 를 통해서 fail 처리 된 토픽들에 대해 재 발행까지 할 수 있는 단계까지 가고 싶다.

 

1차 목표는 open-source로 제공 되어있는 KAFKA-UI로 작업 할 예정이다.

https://towardsdatascience.com/overview-of-ui-tools-for-monitoring-and-management-of-apache-kafka-clusters-8c383f897e80/

- kafka cluster만 모니터링을 한다고 하면 cmak

- 좀 더 많은 기능과 조작을 한다고 하면 kafka ui