Azure HDInsight 上の Apache Hadoop で SCP を使用する

この記事では、HDInsight クラスターを使用してファイルを安全に転送する方法について説明します。

ファイルのコピー

scp ユーティリティを使用すると、クラスター内の個々のノード間でファイルをコピーできます。たとえば、次のコマンドは、ローカルシステムの test.txt ディレクトリをプライマリヘッドノードにコピーします。

scp test.txt sshuser@clustername-ssh.azurehdinsight.net:

: の後にパスが指定されていないため、ファイルは sshuser ホームディレクトリに配置されます。

次の例は、test.txt ファイルをプライマリヘッドノードの sshuser ホームディレクトリからローカルシステムにコピーします。

scp sshuser@clustername-ssh.azurehdinsight.net:test.txt .

scp は、クラスター内の個々のノードのファイルシステムだけにアクセスできます。クラスター用の HDFS と互換性のあるストレージ内のデータにアクセスするために使用することはできません。

SSH セッションから使用するためのリソースをアップロードする必要がある場合は、scp を使用します。たとえば、Python スクリプトをアップロードし、SSH セッションからスクリプトを実行します。

HDFS と互換性のあるストレージに直接データを読み込む方法の詳細については、以下のドキュメントを参照してください。