So installieren Sie Apache Kafka in CentOS/RHEL 7

Apache Kafka ist eine leistungsstarke Messaging-Engine, die häufig in BigData-Projekten und im Data Analytics-Lebenszyklus eingesetzt wird. Es handelt sich um eine Open-Source-Plattform zum Aufbau von Echtzeit-Daten-Streaming-Pipelines. Es handelt sich um eine verteilte Publish-Subscribe-Plattform mit Zuverlässigkeit, Skalierbarkeit und Haltbarkeit.

Wir können Kafka einzeln oder als Cluster verwenden. Kafka speichert die Streaming-Daten und kann als Themen kategorisiert werden. Das Topic wird über eine Reihe von Partitionen verfügen, sodass es eine beliebige Datenmenge verarbeiten kann. Außerdem können wir aus Gründen der Fehlertoleranz mehrere Replikate haben, wie wir es in HDFS tun. In einem Kafka-Cluster ist der Broker eine Komponente, die die veröffentlichten Daten speichert.

Zookeeper ist ein obligatorischer Dienst zum Betrieb eines Kafka-Clusters, da er für die Verwaltung der Koordinierung der Kafka-Broker verwendet wird. Zookeeper spielt eine Schlüsselrolle zwischen Hersteller und Verbraucher und ist für die Aufrechterhaltung des Zustands aller Makler verantwortlich.

In diesem Artikel erklären wir, wie man Apache Kafka auf einem einzelnen Knoten CentOS 7 oder RHEL 7 installiert.

Installation von Apache Kafka in CentOS 7

1. Zuerst müssen Sie Java auf Ihrem System installieren, um Apache Kafka fehlerfrei auszuführen. Installieren Sie also die standardmäßig verfügbare Version von Java mit dem folgenden yum-Befehl und überprüfen Sie die Java-Version wie gezeigt.

yum -y install java-1.8.0-openjdk
java -version

2. Laden Sie als Nächstes die neueste stabile Version von Apache Kafka von der offiziellen Website herunter oder verwenden Sie den folgenden wget-Befehl, um sie direkt herunterzuladen und zu extrahieren.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Erstellen Sie einen symbolischen Link für das kafka-Paket, fügen Sie dann den Kafka-Umgebungspfad zur Datei .bash_profile hinzu und initialisieren Sie ihn wie gezeigt.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Als nächstes starten Sie den Zookeeper, der im Kafka-Paket integriert ist. Da es sich um einen Einzelknotencluster handelt, können Sie den Zookeeper mit Standardeigenschaften starten.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Überprüfen Sie, ob der Zookeeper erreichbar ist oder nicht, indem Sie einfach Telnet an den Zookeeper-Port 2181 senden.

telnet localhost 2181

6. Starten Sie Kafka mit seinen Standardeigenschaften.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Überprüfen Sie, ob auf Kafka zugegriffen werden kann oder nicht, indem Sie einfach Telnet an den Kafka-Port 9092 senden

telnet localhost 9092

8. Erstellen Sie als Nächstes ein Beispielthema.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Listen Sie das erstellte Thema auf.

kafka-topics.sh --zookeeper localhost:2181 --list

Abschluss

In diesem Artikel haben wir gesehen, wie man einen Einzelknoten-Kafka-Cluster in CentOS 7 installiert. Im nächsten Artikel erfahren Sie, wie Sie einen Kafka-Cluster mit mehreren Knoten installieren.