메모하는 습관

Kafka 재기동시 meta.properies 예외 처리 방법

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID vfLZT_S7RvmNW1lR9MpWkQ doesn't match stored clusterId Some(9rbkYR5aTZC2VH2d5R5axQ) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.

The problem

Docker volume 설정 시 해당 위치에서 meta.properties를 열어보면 아래와 같이 저장되어 있습니다. Log 메시지 내용과 같이 새로 생성된 Kafka clusterId와 kafka-log에는 정상적으로 종료되지 않은 시점에 저장된 ClusterId가 저장되어 있는데, 재 시작 시 ClusterId가 일치하지 않아 Borker server가 종료되고 있다는 메시지입니다.

Solution

해결 방법은 2가지가 존재합니다. Production 환경에서는 사용을 권장하지 않는다고 하지만, 현재로서는 다른 대안은 아직 찾지 못했습니다.

#option-1: 해당 kafka-log/meta.properties 파일을 삭제 후 재기동 한다.

#option-2: log에 기록된 The cluster ID vfLZT_S7RvmNW1lR9MpWkQ로 cluster.id 정보를 업데이트한다.

위 2가지 옵션을 활용하면 Borker는 정상적으로 기동이 됩니다.

우선 문제는 해결했지만, 찝찝함이 😭 

MAC OS에서 Homebrew를 이용한 Docker 설치

brew cask로 설치할 경우 Docker Desktop on Mac Docker를 설치해 주는데, docker-compose & docker-machine을 함께 설치하게 됩니다.
만약 brew에 cask가 없을 경우 아래 명령어로 cask 설치를 먼저 진행하시면 됩니다.

$ brew install cask

설치는 터미널에서 명령어를 입력하고 실행하면 심플하게 진행이 됩니다.

설치된 docker & docker-compose -v 확인 하기위해 명령어를 입력하면, 아래와 같이 설치된 버전 정보를 보실 수 있습니다.

오늘은 Mac OS에서 brew cask를 이용해 docker 설치하는 방법에 대하여 정리해 봤습니다.

Docker 삭제하기

삭제 스크립트를 받아 삭제하는 과정도 있었지만, 아래와 같이 커맨드로 깔끔하게 삭제 후 재 설치하였습니다. 한번에 실행하기실..

Docker 설치되어 있는 아래 각 폴더를 삭제합니다.

sudo rm -Rf /Applications/Docker.app
sudo rm -f /usr/local/bin/docker
sudo rm -f /usr/local/bin/docker-machine
sudo rm -f /usr/local/bin/docker-compose
sudo rm -f /usr/local/bin/docker-credential-desktop
sudo rm -f /usr/local/bin/docker-credential-ecr-login
sudo rm -f /usr/local/bin/docker-credential-osxkeychain
sudo rm -Rf ~/.docker
sudo rm -Rf ~/Library/Containers/com.docker.docker
sudo rm -Rf ~/Library/Application\ Support/Docker\ Desktop
sudo rm -Rf ~/Library/Group\ Containers/group.com.docker
sudo rm -f ~/Library/HTTPStorages/com.docker.docker.binarycookies
sudo rm -f /Library/PrivilegedHelperTools/com.docker.vmnetd
sudo rm -f /Library/LaunchDaemons/com.docker.vmnetd.plist
sudo rm -Rf ~/Library/Logs/Docker\ Desktop
sudo rm -Rf /usr/local/lib/docker
sudo rm -f ~/Library/Preferences/com.docker.docker.plist
sudo rm -Rf ~/Library/Saved\ Application\ State/com.electron.docker-frontend.savedState
sudo rm -f ~/Library/Preferences/com.electron.docker-frontend.plist

오늘은 Mac 환경에서 Docker 삭제하는 방법에 대하여 정리해 보았습니다.

merge 란?

• git merge는 다른 브랜치를 현재 Checkout된 브랜치에 Merge 하는 명령으로, Merge 하고 나서 현재 브랜치가 Merge 된 결과를 가리키도록 옮긴다.

merge 명령어

• 서로 다른 branch 병합 하기

git checkout {branchA}
git merge {branchB}  //A에 B 변경 내역을 병합
git merge --continue // 병합 저장
git merge --abort // 병합 롤백

• 특정 브랜치에서 file 1개만 merge 하기

git checkout {branchA} {filename}  //A branch 에서 file 1개 merge

rebase

• 서로 다른 두브랜치를 병합시킬 때
• 여러개의 commit 이력을 1개의 새로운 commit 으로 합칠 때(되감기)
  • git merge 전략 중 하나.
  • 내가 작업한 브랜치에 master의 최신 이력을 적용시킬 때(브랜치 현행화)
  • 개인 브랜치는 commit history 깔끔하게 관리하고 싶을 경우 수행 추천.
  • 공동 작업 브랜치 or master에는 수행하지 말자(remote master에 merge된 경우 기존의 commit tree가 완전히 달라지기에 동료들로 부터.....)

rebase 활용

1. feature 브랜치에서 작업을 하는 동안 main 브랜치가 release, hotfix 등 변경되었고 merge 하려 할 때 충돌이 발생, feature 브랜치에서 main 브랜치를 rebase 진행한 후 main으로 merge를 수행한다.
2. main 브랜치의 내용을 현재 작업 중인 feature 브랜치로 병합할 때(최신 commit으로 base 옴겨주기)

git rebase -i HEAD~2,3 //합칠 개수
git rebase -i HEAD~3 //마지막부터 몇번째 commit 까지 개수
​
 pick -> squash 변경 후 vi 저장 //합칠경우 (lastest 부터 역순으로!!!!)
 pick -> drop 변경 후 vi 저장   //특정 commit 삭제
​
git log //합쳐진 commit 확인 or git reflog
git commit -m "주석 수정" //합친 후 주석 수정 or 새로운 commit 안남길 경우 건너뜀
git rebase --continue //rebase 완료  
git rebase --abort //rebase 롤백시 
git push origin {branch} -f //force remote push

• rebase invalid upstream 'HEAD~n' 오류 발생시 처리

git rebase --interactive HEAD~5   //위 순서에 맞춰 vi 편집 후 force push