카프카 명령어 모음

카프카 명령어

주키퍼 서버 실행

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

카프카 서버 실행

bin/kafka-server-start.sh -daemon config/server.properties

카프카와 통신확인

bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092

토픽 생성1

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --topic hello.kafka

토픽 생성2

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1 --config retention.ms=172800000 --topic hello.kafka.2

토픽 리스트 조회

bin/kafka-topics.sh --bootstrap-server localhost:9092 --list hello.kafka

토픽 상세조회

bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic hello.kafka.2

기존 토픽의 파티션 늘리기

bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic hello.kafka --alter --partitions 4

기존 토픽의 retention ms 수정

bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name hello.kafka --alter --add-config retention.ms=86400000

retention ms 확인

bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name hello.kafka --describe

생성된 토픽에 데이터 넣기

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic hello.kafka

메시지 키를 가지는 레코드 넣기

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic hello.kafka --property "parse.key=true" --property "key.seperator=:"

토픽에 받은 데이터 확인

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic hello.kafka --from-beginning

토픽에 받은 데이터 메시지 키와 값을 확인

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic hello.kafka --property print.key=true --property key.seperator="-" --group hello-group --from-beginning

생성된 컨슈머 그룹의 리스트 확인

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list hello-group

생성된 컨슈머 그룹의 상세내용(어떤 그룹이 어떤 토픽의 데이터를 가져가는지) 확인

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group hello-group --describe

kafka-verifiable-producer.sh, kafka-verifiable-consumer.sh 2개의 스크립트를 이용하여 String 메시지 주고받기

bin/kafka-verifiable-producer.sh --bootstrap-server my-kafka:9092 --max-message 10 --topic verify-test

bin/kafka-verifiable-consumer.sh --bootstrap-server my-kafka:9092 --max-message 10 --topic verify-test --group-id test-group

적재된 토픽의 데이터 지우기

bin/kafka-delete-records.sh --bootstrap-server localhost:9092 --offsert-json-file delete-topic.json

주키퍼로 카프카 메타데이터 확인하기

bin/zookeeper-shell.sh localhost:2181

get /brokers/ids/0 #카프카 브로커에 대한 정보 확인
get /controller
ls /brokers/topics #카프카에 저장된 토픽들 확인