[AWS] Kafka 설치

Kafka 설치 과정 정리

 

1. Java 8 버전 이상 설치

-> sudo yum install -y java-1.8.0-openjdk-devel.x86_64

 

2. Kafka 설치 및 압축 해제

-> wget https://downloads.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz

Kafka 설치

-> tar xvf kafka_2.12-3.0.0.tgz

압축 해제

 

3. Kafka heap memory 설정

-> export KAFKA_HEAP_OPTS="Xmx400m -Xms400m"

 

Kafka 패키지의 기본 힙 메모리 설정이 Kafka = 1G, Zookeeper = 512M 으로 설정되어 있어서 프리티어의 메모리 1G 에서는 Kafka와 Zookeeper를 동시에 실행하면 "Cannot allocate memory"와 같은 문제가 방생합니다.

 

4. Kafka 설정 파일 수정

-> vi config/server.properties

 

아래의 그림 처럼 두가지 항목을 수정해줍니다.

advertised.listeners는 통신을 위해 열어두는 PROTOCOL, IP, PORT를 지정합니다.

 

5. zookeeper 실행 및 확인

-> bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

-> jps

 

6. Kafka 실행 및 확인

-> bin/kafka-server-start.sh -daemon config/server.properties

-> jps