Freigeben über

Ports für Apache Hadoop-Dienste in HDInsight

  • Artikel

Dieses Dokument enthält eine Liste mit den Ports für Apache Hadoop-Dienste, die in HDInsight-Clustern ausgeführt werden. Außerdem enthält es Informationen zu Ports, die zum Herstellen einer Verbindung mit dem Cluster per SSH verwendet werden.

Öffentliche Ports im Vergleich mit nicht öffentlichen Ports

Für Linux-basierte HDInsight-Cluster werden nur drei Ports im Internet öffentlich verfügbar gemacht: 22, 23 und 443. Diese Ports sichern den Clusterzugriff mithilfe von SSH und Diensten, die über das sichere HTTPS-Protokoll verfügbar gemacht werden.

HDInsight wird von mehreren Azure Virtual Machines (Clusterknoten) implementiert, die in einem Azure Virtual Network ausgeführt werden. Aus dem virtuellen Netzwerk können Sie auf Ports zugreifen, die nicht über das Internet verfügbar gemacht werden. Wenn Sie über SSH eine Verbindung mit dem Hauptknoten herstellen, können Sie auf Dienste, die auf den Clusterknoten ausgeführt werden, direkt zugreifen.

Wichtig

Wenn Sie kein virtuelles Azure-Netzwerk als eine Konfigurationsoption für HDInsight angeben, wird automatisch eines erstellt. Sie können in dieses virtuelle Netzwerk aber keine anderen Computer (z. B. virtuelle Azure-Computer oder Ihren Cliententwicklungscomputer) einbinden.

Um für weitere Computer den Beitritt zum virtuellen Netzwerk durchzuführen, müssen Sie zuerst das virtuelle Netzwerk erstellen und beim Erstellen des HDInsight-Clusters dann angeben. Weitere Informationen finden Sie unter Planen eines virtuellen Netzwerks für HDInsight.

Öffentliche Ports

Alle Knoten in einem HDInsight-Cluster befinden sich in einem Azure Virtual Network. Auf die Knoten kann aus dem Internet nicht direkt zugegriffen werden. Ein öffentliches Gateway ermöglicht den Internetzugriff auf die folgenden Ports, die für alle HDInsight-Clustertypen gleich sind:

Dienst Port Protocol BESCHREIBUNG
sshd 22 SSH Stellt eine Verbindung zwischen Clients und SSHD auf dem primären Hauptknoten her. Weitere Informationen finden Sie unter Verwenden von SSH mit Linux-basiertem Hadoop in HDInsight unter Linux, Unix oder OS X.
sshd 22 SSH Verbindet Clients mit sshd auf dem Edgeknoten. Weitere Informationen finden Sie unter Verwenden von SSH mit Linux-basiertem Hadoop in HDInsight unter Linux, Unix oder OS X.
sshd 23 SSH Stellt eine Verbindung zwischen Clients und SSHD auf dem sekundären Hauptknoten her. Weitere Informationen finden Sie unter Verwenden von SSH mit Linux-basiertem Hadoop in HDInsight unter Linux, Unix oder OS X.
Ambari 443 HTTPS Ambari-Webbenutzeroberfläche. Siehe Verwalten von HDInsight mithilfe der Apache Ambari-Webbenutzeroberfläche
Ambari 443 HTTPS Ambari-REST-API. Siehe Verwalten von HDInsight mithilfe der Apache Ambari-REST-API
WebHCat 443 HTTPS HCatalogREST-API. Weitere Informationen finden Sie unter Verwenden von MapReduce mit Curl.
HiveServer2 443 ODBC Stellt per ODBC ein Verbindung mit Hive her. Siehe Verbinden von Excel mit HDInsight mithilfe des Microsoft ODBC-Treibers.
HiveServer2 443 JDBC Stellt per JDBC ein Verbindung mit Apache Hive her. Siehe Herstellen einer Verbindung mit Apache Hive unter HDInsight per Hive-JDBC-Treiber

Für spezielle Clustertypen ist Folgendes verfügbar:

Dienst Port Protocol Clustertyp BESCHREIBUNG
Stargate 443 HTTPS hbase HBase-REST-API. Siehe Erste Schritte mit Apache HBase
Livy 443 HTTPS Spark Spark-REST-API. Siehe Remoteübermittlung von Apache Spark-Aufträgen mit Apache Livy
Spark Thrift-Server 443 HTTPS Spark Zum Übermitteln von Hive-Abfragen verwendeter Spark Thrift-Server. Siehe Verwenden von Beeline mit Apache Hive in HDInsight
Kafka-REST-Proxy 443 HTTPS Kafka Kafka-REST-API. Weitere Informationen finden Sie unter Interagieren mit Apache Kafka-Clustern in Azure HDInsight mithilfe eines REST-Proxys.

Authentifizierung

Alle Dienste, die im Internet öffentlich verfügbar gemacht werden, müssen authentifiziert werden:

Port Anmeldeinformationen
22 oder 23 SSH-Benutzeranmeldeinformationen, die während der Clustererstellung angegeben werden
443 Anmeldename (Standard: admin) und Kennwort, die während der Clustererstellung angegeben werden

Nicht öffentliche Ports

Hinweis

Einige Dienste stehen nur bei bestimmten Clustertypen zur Verfügung. HBase beispielsweise ist nur bei HBase-Clustertypen verfügbar.

Wichtig

Einige Dienste werden nur auf einem Hauptknoten gleichzeitig ausgeführt. Wenn Sie versuchen, auf dem primären Hauptknoten eine Verbindung mit dem Dienst herzustellen und einen Fehler erhalten, versuchen Sie es mit dem sekundären Hauptknoten erneut.

Ambari

Dienst Nodes Port URL-Pfad Protocol
Ambari-Webbenutzeroberfläche Hauptknoten 8080 / HTTP
Ambari-REST-API Hauptknoten 8080 /api/v1 HTTP

Beispiele:

  • Ambari-REST-API: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

HDFS-Ports

Dienst Nodes Port Protocol BESCHREIBUNG
NameNode-Webbenutzeroberfläche Hauptknoten 30070 HTTPS Webbenutzeroberfläche zum Anzeigen des Status
NameNode-Metadatendienst Hauptknoten 8020 IPC Dateisystem-Metadaten
DataNode Alle Workerknoten 30075 HTTPS Webbenutzeroberfläche zum Anzeigen von Status, Protokollen und so weiter.
DataNode Alle Workerknoten 30010   Datenübertragung
DataNode Alle Workerknoten 30020 IPC Metadatenvorgänge
Sekundärer NameNode Hauptknoten 50090 HTTP Prüfpunkt für NameNode-Metadaten

YARN-Ports

Dienst Nodes Port Protocol BESCHREIBUNG
Resource Manager-Webbenutzeroberfläche Hauptknoten 8088 HTTP Webbenutzeroberfläche für Resource Manager
Resource Manager-Webbenutzeroberfläche Hauptknoten 8090 HTTPS Webbenutzeroberfläche für Resource Manager
Resource Manager-Administratoroberfläche Hauptknoten 8141 IPC Für Anwendungsübermittlungen (Hive, Hive-Server, Pig und so weiter)
Resource Manager-Planer Hauptknoten 8030 HTTP Administratoroberfläche
Resource Manager-Anwendungsschnittstelle Hauptknoten 8050 HTTP Adresse der Anwendungs-Manager-Schnittstelle
NodeManager Alle Workerknoten 30050   Adresse des Container-Managers
NodeManager-Webbenutzeroberfläche Alle Workerknoten 30060 HTTP Resource Manager-Schnittstelle
Zeitachsenadresse Hauptknoten 10200 RPC RPC-Dienst des Zeitachsendiensts
Zeitachsen-Webbenutzeroberfläche Hauptknoten 8188 HTTP Webbenutzeroberfläche des Zeitachsendiensts

Hive-Ports

Dienst Nodes Port Protocol BESCHREIBUNG
HiveServer2 Hauptknoten 10001 Thrift Dienst für die Verbindung mit Hive (Thrift/JDBC)
Hive-Metastore Hauptknoten 9083 Thrift Dienst für die Verbindung mit Hive-Metadaten (Thrift/JDBC)

WebHCat-Ports

Dienst Nodes Port Protocol BESCHREIBUNG
WebHCat-Server Hauptknoten 30111 HTTP Web-API zusätzlich zu HCatalog und anderen Hadoop-Diensten

MapReduce-Ports

Dienst Nodes Port Protocol BESCHREIBUNG
JobHistory Hauptknoten 19888 HTTP MapReduce JobHistory-Webbenutzeroberfläche
JobHistory Hauptknoten 10020   MapReduce JobHistory-Server
ShuffleHandler   13562   Überträgt Map-Zwischenausgaben an anfordernde Reducer

Oozie

Dienst Nodes Port Protocol BESCHREIBUNG
Oozie-Server Hauptknoten 11000 HTTP URL für Oozie-Dienst
Oozie-Server Hauptknoten 11001 HTTP Port für Oozie-Verwaltung

Ambari-Metriken

Dienst Nodes Port Protocol BESCHREIBUNG
TimeLine (Anwendungsverlauf) Hauptknoten 6188 HTTP Webbenutzeroberfläche des Zeitachsendiensts
TimeLine (Anwendungsverlauf) Hauptknoten 30200 RPC Webbenutzeroberfläche des Zeitachsendiensts

HBase-Ports

Dienst Nodes Port Protocol BESCHREIBUNG
HMaster Hauptknoten 16000    
HMaster-Info-Webbenutzeroberfläche Hauptknoten 16010 HTTP Port für die HBase-Master-Webbenutzeroberfläche
Regionsserver Alle Workerknoten 16020  
Webbenutzeroberfläche für Informationen zum Regionsserver  Alle Workerknoten 16030 HTTP Der Port für die Webbenutzeroberfläche des HBase-Regionsservers
2181 Port, der von Clients für die Verbindungsherstellung mit ZooKeeper verwendet wird

Kafka-Ports

Dienst Nodes Port Protocol BESCHREIBUNG
Broker Workerknoten 9092 Kafka Wire Protocol Für die Clientkommunikation
  Zookeeper-Knoten 2181   Port, der von Clients für die Verbindungsherstellung mit ZooKeeper verwendet wird
REST-Proxy Kafka-Verwaltungsknoten 9400 HTTPS Kafka-REST-Spezifikation

Spark-Ports

Dienst Nodes Port Protocol URL-Pfad BESCHREIBUNG
Spark Thrift-Server Hauptknoten 10002 Thrift   Dienst für die Verbindung mit Spark SQL (Thrift/JDBC)
Livy-Server Hauptknoten 8998 HTTP   Dienst für die Ausführung von Anweisungen, Aufträgen und Anwendungen
Jupyter Notebook Hauptknoten 8001 HTTP   Jupyter Notebook-Website

Beispiele:

  • Livy: curl -u admin -G "http://10.0.0.11:8998/". In diesem Beispiel ist 10.0.0.11 die IP-Adresse des Hauptknotens, der den Livy-Dienst hostet.