Linux 下搭建 Kafka 環境

作者：Grey

原文地址：

部落格園：Linux 下搭建 Kafka 環境

CSDN：Linux 下搭建 Kafka 環境

環境要求

作業系統：CentOS 7

下載地址

安裝說明

Kafka 版本：2.11-2.1.0

下載地址

注：這個版本的 Kafka 需要依賴 JDK 和 Zookeeper。

JDK 版本：8u181

下載地址

Zookeeper 版本：3.4.5

下載地址

注：以上中介軟體均搭建在一個 Linux 系統中，如果需要分不同的系統安裝，注意修改對應的連線設定。

如果使用的中介軟體版本不一致，請以官方搭建檔案為準。

安裝步驟

準備軟體目錄

mkdir /datalake

上傳之前下載好的安裝包到 /datalake 目錄下

jdk-8u181-linux-x64.gz

kafka_2.11-2.1.0.tgz

zookeeper-3.4.5.tar.gz

批次解壓這幾個安裝包

cd /datalake

ls * | xargs -n1 tar xzvf

將解壓的軟體移動到 /usr/local 目錄

cd /datalake

mv jdk1.8.0_181 /usr/local/jdk

mv kafka_2.11-2.1.0 /usr/local/kafka

mv zookeeper-3.4.5 /usr/local/zk

設定 Zookeeper

cd /usr/local/zk/conf

首先，先備份 Zookeeper 的預設組態檔

cp zoo_sample.cfg zoo.cfg

然後將組態檔修改下

vi zoo.cfg

將 dataDir 選項設定為

dataDir=/usr/local/zk/data

接下來，設定 Kafka

vi /usr/local/kafka/config/server.properties

將 log.dirs 引數修改為

log.dirs=/usr/local/zk/logs

由於 Kafka 和 Zookeeper 裝在同一個 Linux 中，所以 zookeeper.connect 設定維持預設設定即可

zookeeper.connect=localhost:2181

設定環境變數

vi /usr/profile

新增如下內容

export JAVA_HOME=/usr/local/jdk
export ZK_HOME=/usr/local/zk
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin

應用環境變數

source /etc/profile

接下來，就開始啟動 Kafka，首先，需要先啟動 Zookeeper

zkServer.sh start

輸出資訊如下

[root@datalake conf]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

說明啟動成功。

接下來啟動 Kafka

kafka-server-start.sh /usr/local/kafka/config/server.properties

接下來，再開啟 Shell 一個視窗，建立 topic

kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic  test

然後再開一個 Shell 視窗，啟動生產者

kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic  test

再開啟一個 Shell 視窗，啟動消費者

kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic  test

切換到生產者啟動頁面，傳送資料，消費者能正常接收資料

生產者

消費者