Dela via

Scenario: Lokal HDFS har fastnat i felsäkert läge i Azure HDInsight-kluster

  • Artikel

Den här artikeln beskriver felsökningssteg och möjliga lösningar på problem när du interagerar med Azure HDInsight-kluster.

Problem

Det lokala Apache Hadoop Distributed File System (HDFS) har fastnat i felsäkert läge i HDInsight-klustret. Du får ett felmeddelande som liknar följande:

hdiuser@spark2:~$ hdfs dfs -D "fs.default.name=hdfs://mycluster/" -mkdir /temp
17/04/05 16:20:52 WARN retry.RetryInvocationHandler: Exception while invoking ClientNamenodeProtocolTranslatorPB.mkdirs over spark2.2oyzcdm4sfjuzjmj5dnmvscjpg.dx.internal.cloudapp.net/10.0.0.22:8020. Not retrying because try once and fail.
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /temp. Name node is in safe mode.
It was turned on manually. Use "hdfs dfsadmin -safemode leave" to turn safe mode off.
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1359)
...
mkdir: Cannot create directory /temp. Name node is in safe mode.

Orsak

HDInsight-klustret har skalats ned till mycket få noder nedan, eller så ligger antalet noder nära HDFS-replikeringsfaktorn.

Åtgärd

  1. Rapportera status för HDFS i HDInsight-klustret med följande kommando:

    hdfs dfsadmin -D "fs.default.name=hdfs://mycluster/" -report

  2. Kontrollera integriteten för HDFS i HDInsight-klustret med följande kommando:

    hdiuser@spark2:~$ hdfs fsck -D "fs.default.name=hdfs://mycluster/" /

  3. Om det fastställs att inga saknade, skadade eller under replikerade block eller dessa block kan ignoreras kör du följande kommando för att ta namnnoden ur felsäkert läge:

    hdfs dfsadmin -D "fs.default.name=hdfs://mycluster/" -safemode leave

Nästa steg

Om du inte ser problemet eller inte kan lösa problemet går du till någon av följande kanaler för mer support:

  • Få svar från Azure-experter via Azure Community Support.

  • Anslut med @AzureSupport – det officiella Microsoft Azure-kontot för att förbättra kundupplevelsen. Ansluta Azure-communityn till rätt resurser: svar, support och experter.

  • Om du behöver mer hjälp kan du skicka en supportbegäran från Azure Portal. Välj Support i menyraden eller öppna hubben Hjälp + support . Mer detaljerad information finns i Skapa en Azure Support begäran. Tillgång till support för prenumerationshantering och fakturering ingår i din Microsoft Azure-prenumeration och teknisk support ges via ett supportavtal för Azure.