So installieren Sie CDH und konfigurieren Service-Platzierungen unter CentOS/RHEL 7 – Teil 4
In einem früheren Artikel haben wir die Installation von Cloudera Manager erläutert. In diesem Artikel erfahren Sie, wie Sie CDH (Cloudera Distribution Hadoop) in installieren und konfigurieren RHEL/CentOS 7.
Bei der Installation des CDH-Pakets müssen wir die Kompatibilität von Cloudera Manager und CDH sicherstellen. Die Cloudera-Version besteht aus 3 Teilen –
Beispielsweise verwenden wir Cloudera Manager 6.3.1 und CDH 6.3.2. Hier ist 6 die Hauptversion und 3 die Nebenversion. Major und Minor müssen gleich sein, um Kompatibilitätsprobleme zu vermeiden.
Anforderungen
- Best Practices für die Bereitstellung von Hadoop Server unter CentOS/RHEL 7 – Teil 1
- Einrichten von Hadoop-Voraussetzungen und Sicherheitshärtung – Teil 2
- So installieren und konfigurieren Sie den Cloudera Manager unter CentOS/RHEL 7 – Teil 3
Wir werden die folgenden 2 Knoten für die Installation von CDH verwenden. Wir haben Cloudera Manager bereits in master1 installiert und verwenden außerdem master1 als Repo-Server.
master1.linux-console.net
worker1.linux-console.net
Schritt 1: Laden Sie CDH Parcels auf den Master-Server herunter
1. Stellen Sie zunächst eine Verbindung zum Server master1 her und laden Sie die Dateien CDH Parcels im Verzeichnis /var/www/html/cloudera-repos/ herunter. cdh-Verzeichnis. Wir müssen die unten genannten 3 Dateien herunterladen, die mit RHEL/CentOS 7 kompatibel sein sollten.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Bevor Sie diese Dateien herunterladen, stellen Sie sicher, dass Sie ein cdh-Verzeichnis unter /var/www/html/cloudera-repos/ erstellen.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Laden Sie als Nächstes die oben genannten drei Dateien mit dem folgenden wget-Befehl herunter.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Schritt 2: Richten Sie Cloudera Manager Repo auf Worker-Clients ein
4. Stellen Sie nun eine Verbindung zu Worker-Servern her und kopieren Sie die Repo-Datei (cloudera-manager.repo) vom Repo-Server (master1<).) an alle verbleibenden Worker-Server. Diese Repo-Datei stellt den Servern sicher, dass während der Installation alle erforderlichen Pakete und RPMs vom Repo-Server heruntergeladen werden.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Sobald das Repo hinzugefügt wurde, listen Sie die aktivierten Repositorys auf, um sicherzustellen, dass das cloudera-manager-Repo aktiviert ist.
yum repolist
Schritt 3: Installieren Sie Cloudera Manager-Daemons und -Agenten auf Worker-Servern
6. Jetzt müssen wir cloudera-manager-daemons und cloudera-manager-agent auf allen verbleibenden Servern installieren.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Als Nächstes müssen Sie den Cloudera Manager-Agenten konfigurieren, um den Cloudera Manager-Server zu melden.
sudo vi /etc/cloudera-scm-agent/config.ini
Ersetzen Sie localhost durch die IP-Adresse des Cloudera Manager-Servers.
8. Starten Sie den Cloudera Manager-Agenten und überprüfen Sie den Status.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Schritt 4: CDH installieren und einrichten
Wir haben CDH-Pakete in master1 – Repo-Server. Stellen Sie sicher, dass alle Server über eine Cloudera Manager-Repo-Datei in /etc/yum.repos.d/ verfügen, wenn Sie die automatische Installation mit Cloudera Manager durchführen.
9. Melden Sie sich bei Cloudera Manager mit der folgenden URL an Port 7180 an und verwenden Sie den Standardbenutzernamen und das Standardkennwort von Cloudera Manager.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Sobald Sie sich angemeldet haben, werden Sie mit der Willkommensseite begrüßt. Hier finden Sie Versionshinweise und neue Funktionen von Cloudera Manager.
11. Akzeptieren Sie die Lizenz und fahren Sie fort.
12. Wählen Sie die Edition aus. Standardmäßig ist die Testversion ausgewählt, wir können damit fortfahren.
13. Befolgen Sie nun die Schritte zur Cluster-Installation. Fahren Sie mit der Willkommensseite fort.
14. Benennen Sie den Cluster und fahren Sie fort, wir haben ihn als „tecmint“ benannt. Es gibt zwei Arten von Clustern, die Sie definieren können. Wir fahren mit dem regulären Cluster fort.
- Regulärer Cluster: Besteht aus Speicherknoten, Rechenknoten und anderen notwendigen Diensten.
- Rechencluster: Besteht nur aus Rechenknoten. Zur Datenspeicherung kann ein externer Speicher genutzt werden.
15. Wir haben bereits Cloudera Manager Agents auf allen Servern installiert. Sie finden diese Server unter „Derzeit verwaltete Hosts“. Für die automatische Installation müssen Sie in der Option „Neue Hosts“ den FQDN oder die IP der Server eingeben und suchen. Cloudera Manager erkennt automatisch die Hosts, auf denen wir CDH installieren müssen.
Klicken Sie hier auf „Derzeit verwaltete Hosts“, wählen Sie alle Hosts aus, indem Sie „Hostname“ auswählen und fahren Sie fort.
16. Repository auswählen – die Verwendung von Parcel ist die empfohlene Methode. Klicken Sie auf „Weitere Optionen“, um das Repository zu konfigurieren.
17. Geben Sie die lokale Repository-URL wie unten beschrieben ein. Entfernen Sie alle verbleibenden öffentlichen Repositorys, die auf das Web verweisen (Cloudera-Repositories).
Dies ist die lokale CDH-Repository-URL, die wir in master1 haben.
http://104.211.95.96/cloudera-repos/cdh/
18. Sobald die Repository-URL eingegeben wurde, werden auf dieser Seite nur verfügbare Parzellen angezeigt. Setzen Sie diesen Schritt fort.
19. Jetzt werden die Pakete heruntergeladen, verteilt, entpackt und auf allen verfügbaren Servern aktiviert.
20. Sobald die CDH-Pakete aktiviert sind, inspizieren Sie den Cluster. In diesem Schritt wird eine Zustandsprüfung des Clusters durchgeführt. Hier überspringen wir und fahren fort.
Schritt 5: Clusterkonfiguration
21. Hier müssen wir die Dienste auswählen, die im Cluster installiert werden sollen. Einige Paketkombinationen werden standardmäßig verfügbar sein, wir verwenden Custom Services.
22. In Custom Services installieren wir nur Kernkomponenten (HDFS und YARN). >) für diesen Demozweck.
23. Weisen Sie dem Server die Rollen zu. Wir können nach unseren Anforderungen anpassen. In der folgenden Tabelle wird die empfohlene Rollenverteilung für einen einfachen kleinen Cluster mit 5 bis 20 Knoten mit hoher Verfügbarkeit beschrieben.
24. Wählen Sie den Datenbanktyp, den Hostnamen, den DB-Namen, den Benutzernamen und das Passwort aus. Da wir Embedded PostgreSQL verwenden, wird es standardmäßig ausgewählt. Testen Sie die Verbindung, sie sollte erfolgreich sein.
25. Auf dieser Seite werden die Standardkonfigurationsparameter von HDFS und Yarn angezeigt, einschließlich Datenverzeichnissen. Überprüfen Sie alle Konfigurationsdetails und nehmen Sie bei Bedarf Änderungen vor. Fahren Sie dann damit fort.
26. Auf dieser Seite werden die Details des Befehls „Erster Start“ angezeigt. Sie können es erweitern, um die Details der ausgeführten Befehle anzuzeigen. Wenn im Cluster Netzwerk- oder Berechtigungsprobleme vorliegen, schlägt dieser Schritt fehl. Normalerweise entscheidet dieser Schritt über die reibungslose Installation des Cluster-Gebäudes.
27. Sobald der obige Schritt abgeschlossen ist, klicken Sie auf „Fertig stellen“, um die Installation abzuschließen. Dies ist das Dashboard von Cloudera Manager nach der Installation von CDH.
http://104.211.95.96:7180/cmf/home
Abschluss
Wir haben die Installation von Cloudera Manager und CDH erfolgreich abgeschlossen. Im Cloudera Manager Dashboard finden Sie einen vordefinierten Satz von Diagrammen, mit denen Sie Cluster-CPU, Festplatten-IO usw. überwachen können. Mit diesem Cloudera Manager können wir den gesamten Cluster verwalten >. Wir werden alle Verwaltungsvorgänge in den kommenden Artikeln sehen.