메모하는 습관

Kafka 재기동시 meta.properies 예외 처리 방법

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID vfLZT_S7RvmNW1lR9MpWkQ doesn't match stored clusterId Some(9rbkYR5aTZC2VH2d5R5axQ) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.

The problem

Docker volume 설정 시 해당 위치에서 meta.properties를 열어보면 아래와 같이 저장되어 있습니다. Log 메시지 내용과 같이 새로 생성된 Kafka clusterId와 kafka-log에는 정상적으로 종료되지 않은 시점에 저장된 ClusterId가 저장되어 있는데, 재 시작 시 ClusterId가 일치하지 않아 Borker server가 종료되고 있다는 메시지입니다.

Solution

해결 방법은 2가지가 존재합니다. Production 환경에서는 사용을 권장하지 않는다고 하지만, 현재로서는 다른 대안은 아직 찾지 못했습니다.

#option-1: 해당 kafka-log/meta.properties 파일을 삭제 후 재기동 한다.

#option-2: log에 기록된 The cluster ID vfLZT_S7RvmNW1lR9MpWkQ로 cluster.id 정보를 업데이트한다.

위 2가지 옵션을 활용하면 Borker는 정상적으로 기동이 됩니다.

우선 문제는 해결했지만, 찝찝함이 😭