Apache Kafka (2) - 설치

Apache Kafka Series - Learn Apache Kafka for Beginners v3를 수강하며 기록한 내용입니다.

 

[MAC M3 기준으로 설치를 진행하였습니다]

Condukor 설치

• 카프카 관리 툴(시각화, 모니터링)
• 무료 버전은 개인/학업용으로만 사용 가능

설치

https://conduktor.io/get-started

curl -L https://releases.conduktor.io/quick-start -o docker-compose.yml && docker compose up

Kafka 설치

Zookeeper이 포함된 버전

brew를 사용하여 설치

brew install kafka

kafka의 위치는 /opt/homebrew/bin 가 된다.

Zookeeper 시작

/opt/homebrew/bin/zookeeper-server-start /opt/homebrew/etc/zookeeper/zoo.cfg

Kafka 시작

/opt/homebrew/bin/kafka-server-start /opt/homebrew/etc/kafka/server.properties

KRaft(Zookeeper 대체) 버전

jdk 11 설치

https://docs.aws.amazon.com/corretto/latest/corretto-11-ug/downloads-list.html

Kafka 다운로드

https://kafka.apache.org/downloads
위 링크에서 BinaryDownloads 설치하고, 편의를 위해 홈 디렉토리에 옮겨 준다
나는 Scala 2.13 버전의 3.9.0 바이너리 파일을 다운로드하기에 하단의 경로에 카프카가 자리한다.
~/kafka_2.13-3.9.0/

클러스터 ID 부여

~/kafka_2.13-3.9.0/bin/kafka-storage.sh random-uuid

저장 디렉토리 구성

위 클러스터 ID 부여 명령어를 통해 리턴 받는 UUID를 아래 명령어 uuid 부분에 넣고 실행

~/kafka_2.13-3.9.0/bin/kafka-storage.sh format -t <uuid> -c ~/kafka_2.13-3.9.0/config/kraft/server.properties

~/kafka_2.13-3.9.0/bin/kafka-storage.sh format -t 60B77u-HSOiZ4yHB-X1klw -c ~/kafka_2.13-3.9.0/config/kraft/server.properties

환경 변수 설정

전역으로 kafka-topics.sh를 사용하기 위함이다

vi ~/.zshrc

하단에
export PATH=$PATH:/Users/username/kafka_2.13-3.9.0/bin 확인

환경 변수를 수정했다면 .zshrc 변경 반영을 위해 다음을 실행

source ~/.zshrc

kafka 설치 확인

kafka-topics.sh