チュートリアル:Azure Data Box に SMB 経由でデータをコピーする
Azure Data Box にデータをコピーする
重要
Azure Data Box では、BLOB レベルでのアクセス層の割り当てがサポートされるようになりました。 このチュートリアルで扱うステップは、更新されたデータ コピー プロセスを反映したもので、ブロック BLOB に特化したものとなっています。
ブロック BLOB データの適切なアクセス層を決定する方法については、「ブロック BLOB の適切なアクセス層を決定する」セクションを参照してください。 適切なアクセス層へのデータのコピーについては、「データを Azure Data Box にコピーする」セクションで説明されている手順のようにしてください。
このセクションに含まれる情報は、2024 年 4 月 1 日以降に発注された注文に適用されます。
このチュートリアルでは、ローカル Web UI を使用してホスト コンピューターに接続し、そこからデータをコピーする方法について説明します。
このチュートリアルでは、以下の内容を学習します。
- 前提条件
- Data Box に接続する
- ブロック BLOB 用の適切なアクセス層を決定する
- Data Box にデータをコピーする
前提条件
開始する前に次の点を確認します。
- Azure Data Box の設定に関するチュートリアルを完了していること。
- Data Box の受け取りが済んでいて、ポータル内での注文の状態が [配信済み] であること。
- Data Box にコピーするデータが格納されているホスト コンピューターがあること。 このホスト コンピューターは次の条件を満たしている必要があります。
- サポート対象のオペレーティング システムが実行されていること。
- 高速ネットワークに接続していること。 10 GbE 接続を少なくとも 1 つ利用することを強くお勧めします。 10 GbE 接続を利用できない場合は、1 GbE データ リンクを使用します。ただし、コピー速度に影響があります。
Data Box に接続する
選択したストレージ アカウントに基づいて、Data Box では最大で次のものが作成されます。
- GPv1 および GPv2 に対して関連付けられているストレージ アカウントごとに 3 つの共有。
- Premium ストレージに対して 1 つの共有。
- BLOB ストレージ アカウント用の 1 つの共有 (4 つのアクセス層ごとに 1 つのフォルダーが含まれます)。
次の表は、接続先となる Data Box 共有の名前と、ターゲット ストレージ アカウントにアップロードするデータの種類を示しています。 また、ソース データのコピー先である共有とディレクトリの階層も示しています。
ストレージの種類 | 共有名 | 第 1 レベル エンティティ | 第 2 レベル エンティティ | 第 3 レベル エンティティ |
---|---|---|---|---|
ブロック BLOB | <storageAccountName>_BlockBlob | <\accessTier> | <\containerName> | <\blockBlob> |
ページ BLOB | <\storageAccountName>_PageBlob | <\containerName> | <\pageBlob> | |
File Storage | <\storageAccountName>_AzFile | <\fileShareName> | <\file> |
ファイルを Data Box 共有の "ルート" フォルダーに直接コピーすることはできません。 代わりに、ユース ケースに応じて Data Box 共有内にフォルダーを作成します。
ブロック BLOB では、ファイル レベルでのアクセス層の割り当てをサポートしています。 ブロック BLOB 共有にファイルをコピーする場合のベストプラクティスとしてお勧めするのは、適切なアクセス層内に新しいサブフォルダーを追加することです。 新しいサブフォルダーを作成してから、必要に応じて各サブフォルダーにファイルを追加していきます。
ブロック BLOB 共有のルートにあるどのフォルダーにも、新しいコンテナーが作成されます。 そのフォルダー内のすべてのファイルは、ストレージ アカウントのデフォルトのアクセス層にブロック BLOB としてコピーされます。
BLOB アクセス層の詳細については、「BLOB データのアクセス層」を参照してください。 アクセス層のベスト プラクティスについて詳しくは、「BLOB アクセス層を使用するためのベスト プラクティス」をご覧ください。
次の表は、Data Box 上の共有への UNC パスと、それに対応するデータのアップロード先である Azure Storage のパスの URL を示しています。 Azure Storage の最終的なパスの URL は、UNC 共有パスから導き出すことができます。
Azure Storage の種類 | Data Box 共有 |
---|---|
Azure ブロック BLOB | \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt |
Azure ページ BLOB | \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd |
Azure Files | \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt |
Windows Server ホスト コンピューターを使用している場合は、次の手順に従って Data Box に接続します。
最初に、認証を行ってセッションを開始します。 [接続とコピー] に移動します。 [SMB] を選択して、ストレージ アカウントに関連付けられている共有用のアクセス資格情報を取得します。
[共有にアクセスしてデータをコピーする] ダイアログ ボックスで、共有に対応する [ユーザー名] と [パスワード] をコピーします。 [OK] をクリックします。
次の例では、utsac1 という名前のサンプル ストレージ アカウントを使用します。 自分のストレージ アカウントに関連付けられている共有にホスト コンピューターからアクセスするために、コマンド ウィンドウを開きます。 コマンド プロンプトに、次のコマンドを入力します。
net use \\<DeviceIPAddress>\<share name> /u:<IP address of the device>\<user name for the share>
データ形式に応じて、共有パスは次のようになっています。
- Azure ブロック BLOB -
\\<DeviceIPAddress>\utsac1_BlockBlob
- Azure ページ BLOB -
\\<DeviceIPAddress>\utsac1_PageBlob
- Azure Files -
\\<DeviceIPAddress>\utsac1_AzFile
- Azure ブロック BLOB -
メッセージに従って共有のパスワードを入力します。 パスワードに特殊文字が含まれている場合は、その前後に二重引用符を追加してください。 上記のコマンドを使用して共有に接続する例を次に示します。
C:\Users\Databoxuser>net use \\<DeviceIPAddress>\utSAC1_202006051000_BlockBlob /u:<DeviceIPAddress>\testuser1 Enter the password for 'testuser1' to connect to '<DeviceIPAddress>': "ab1c2def$3g45%6h7i&j8kl9012345" The command completed successfully.
Windows キーを押しながら R キーを押します。[ファイル名を指定して実行] ウィンドウで、「
\\<DeviceIPAddress>
」と入力します。 [OK] を選択して、エクスプローラーを開きます。共有がフォルダーとして表示されます。
重要
ストレージ アカウントの "ルート" フォルダーにファイルを直接コピーすることはできません。 ブロック BLOB ストレージ アカウントのルート フォルダー内には、使用可能な各アクセス層に対応するフォルダーがあります。
データを Azure Data Box にコピーするには、最初に、アクセス層のいずれかに対応するフォルダーを選ぶ必要があります。 次に、その層のフォルダー内に、データを格納するサブフォルダーを作成します。 最後に、データを新しく作成したサブフォルダーにコピーします。 新しいサブフォルダーは、インジェストの間にストレージ アカウント内に作成されるコンテナーを表します。 データはこのコンテナーに BLOB としてアップロードされます。
Linux クライアントを使用している場合は、次のコマンドを使用して、SMB 共有をマウントします。 vers
パラメータ値は、自分の Linux ホストがサポートしている SMB のバージョンを識別します。 用意されたサンプル コマンドに適切なバージョンを挿入します。 Data Box でサポートされている SMB のバージョンのリストについては、「Linux クライアントでサポートされるファイル システム」を参照してください。
sudo mount -t cifs -o vers=2.1 10.126.76.138:/utsac1_BlockBlob /home/databoxubuntuhost/databox
ブロック BLOB 用の適切なアクセス層を決定する
重要
このセクションに含まれる情報は、2024 年 4 月 1 日以降に発注された注文に適用されます。
Azure Storage では、同じストレージ アカウント内の複数のアクセス層にブロック BLOB データを保存できます。 この機能を使用すると、データにアクセスする頻度に基づいて、データをより効率的に整理して保存できます。 次の表は、Azure Storage のアクセス層に関する情報と推奨事項です。
レベル | 推奨事項 | ベスト プラクティス |
---|---|---|
ホット | 頻繁にアクセスまたは変更されるオンライン データに適しています。 この層はストレージ コストが最も高く、アクセス コストは最も安くなります。 | この層のデータは、定期的かつアクティブに使う必要があるものです。 |
クール | 頻繁にアクセスまたは変更されないオンライン データに適しています。 この層は、ホット アクセス層よりストレージ コストは安く、アクセス コストは高くなります。 | この層のデータは、30 日以上保存する必要があるものです。 |
コールド | アクセスや変更はあまり行われないものの、高速で取得する必要があるオンライン データに適しています。 この層は、クール アクセス層よりストレージ コストは安く、アクセス コストは高くなります。 | この層のデータは、90 日以上保存する必要があるものです。 |
アーカイブ | ほとんどアクセスされず、待ち時間の要件が低いオフライン データに適しています。 | この層のデータは、180 日以上保存する必要があるものです。 180 日以内にアーカイブ アクセス層から削除されたデータは、早期削除料金の対象になります。 |
BLOB アクセス層の詳細については、「BLOB データのアクセス層」を参照してください。 より詳細なベスト プラクティスについては、「BLOB アクセス層を使用するためのベスト プラクティス」を参照してください。
Data Box 内の対応するフォルダーにコピーすることで、ブロック BLOB データを適切なアクセス層に転送できます。 このプロセスについては、「Azure Data Box にデータをコピーする」セクションで詳しく説明します。
Data Box にデータをコピーする
1 つ以上の Data Box 共有に接続したら、次のステップはデータをコピーすることです。 データのコピーを開始する前に、次の制限事項を確認してください。
- 必ず必要なデータ形式に対応する共有にデータをコピーします。 たとえば、ブロック BLOB データは、ブロック BLOB 用の共有にコピーしてください。 VHD はページ BLOB 共有にコピーします。 データ形式が適切な共有の種類と一致しない場合は、後続の手順で、Azure へのデータのアップロードに失敗します。
- AzFile または PageBlob 共有にデータをコピーする場合は、まず共有のルートにフォルダーを作成してから、そのフォルダーにデータをコピーします。
- データを BlockBlob 共有にコピーする場合は、目的のアクセス層内にサブフォルダーを作成してから、新しく作成されたサブフォルダーにデータをコピーします。 サブフォルダーは、データが BLOB としてアップロードされるコンテナ―になります。 共有のroot フォルダーに直接ファイルをコピーすることはできません。
- データをコピーするときは、データのサイズが、Azure ストレージ アカウントのサイズ制限に関する記事に記載されているサイズ制限に従っていること確認してください。
- Azure Files にデータを転送するとき、メタデータ (ACL、タイムスタンプ、ファイル属性) を保持する場合、「Azure Data Box でファイル ACL、属性、タイムスタンプを保持する」のガイダンスに従ってください。
- Data Box と Data Box 以外の別のアプリケーションを同時にアップロードした場合、アップロード ジョブの失敗やデータの破損が起きる可能性があります。
- データ コピーに SMB プロトコルと NFS プロトコルの両方を使用する場合、次をお勧めします。
- SMB と NFS には異なるストレージ アカウントを使用します。
- SMB と NFS の両方を使用して Azure の同じエンド宛先に同じデータをコピーすることは避けてください。 このようにした場合は、最終的な結果が不確定になります。
- SMB と NFS の両方を使用した並列コピーは可能ですが、人的エラーが発生しやすいのでお勧めしません。 SMB でのデータ コピーが完了するまで待ってから、NFS でのデータ コピーを開始してください。
重要
データが Azure Storage にコピーされたことを確認するまでは、ソース データのコピーを保持するようにしてください。
SMB 共有に接続した後、データのコピーを開始します。 Robocopy などの SMB 互換ファイル コピー ツールを使用して、データをコピーできます。 Robocopy を使用して、複数のコピー ジョブを開始できます。 次のコマンドを使用します。
robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /B /Log+:<LogFile>
属性については次の表で説明します。
属性 | 説明 |
---|---|
/e | サブディレクトリをコピーします (空のディレクトリを含む)。 |
/r: | 失敗したコピーの再試行回数を指定します。 |
/w: | 再試行間の待ち時間 (秒) を指定します。 |
/is | 同じファイルを含めます。 |
/nfl | ファイル名をログに記録しないことを指定します。 |
/ndl | ディレクトリ名をログに記録しないことを指定します。 |
/np | コピー操作の進行状況 (これまでにコピーされたファイルまたはディレクトリの数) が表示されないことを示します。 進行状況を表示すると、パフォーマンスが大幅に低下します。 |
/MT | マルチスレッドを使用します (推奨は 32 または 64 スレッド)。 このオプションは、暗号化されたファイルでは使用されません。 暗号化されたファイルと暗号化されていないファイルを分離することが必要な場合があります。 ただし、シングルスレッドのコピーでは、パフォーマンスが大幅に低下します。 |
/fft | 任意のファイル システムのタイムスタンプの細分性を下げるために使用します。 |
/B | バックアップ モードでファイルをコピーします。 |
/z | 再起動モードでファイルをコピーします。環境が不安定な場合はこの切り替えを使用します。 このオプションでは、追加ログによりスループットが低下します。 |
/zb | 再起動モードを使用します。 アクセスが拒否された場合、このオプションはバックアップ モードを使用します。 このオプションでは、チェックポイント処理のためにスループットが低下します。 |
/efsraw | すべての暗号化されたファイルを EFS raw モードでコピーします。 暗号化されたファイルでのみ使用します。 |
log+:<LogFile> | 既存のログ ファイルに出力を追加します。 |
次のサンプルは、Data Box にファイルをコピーする robocopy コマンドの出力を示しています。
C:\Users>robocopy
-------------------------------------------------------------------------------
ROBOCOPY :: Robust File Copy for Windows
-------------------------------------------------------------------------------
Started : Thursday, March 8, 2018 2:34:53 PM
Simple Usage :: ROBOCOPY source destination /MIR
source :: Source Directory (drive:\path or \\server\share\path).
destination :: Destination Dir (drive:\path or \\server\share\path).
/MIR :: Mirror a complete directory tree.
For more usage information run ROBOCOPY /?
**** /MIR can DELETE files as well as copy them !
C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.126.76.172\devicemanagertest1_AzFile\templates /MT:32
-------------------------------------------------------------------------------
ROBOCOPY :: Robust File Copy for Windows
-------------------------------------------------------------------------------
Started : Thursday, March 8, 2018 2:34:58 PM
Source : C:\Git\azure-docs-pr\contributor-guide\
Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\
Files : *.*
Options : *.* /DCOPY:DA /COPY:DAT /MT:32 /R:5 /W:60
------------------------------------------------------------------------------
100% New File 206 C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
100% New File 209 C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
100% New File 732 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
100% New File 199 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
New File 178 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100% .md
New File 250 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100% e.md
100% New File 174 C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
100% New File 197 C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
100% New File 184 C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
100% New File 208 C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
100% New File 210 C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
100% New File 234 C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
100% New File 186 C:\Git\azure-docs-pr\contributor-guide\release-branches.md
100% New File 240 C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
100% New File 215 C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
100% New File 212 C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
100% New File 207 C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
------------------------------------------------------------------------------
Total Copied Skipped Mismatch FAILED Extras
Dirs : 1 1 1 0 0 0
Files : 17 17 0 0 0 0
Bytes : 3.9 k 3.9 k 0 0 0 0
C:\Users>
robocopy
を使用して Data Box 上のファイルを一覧表示、コピー、または削除するなどのより具体的なシナリオについては、「robocopy を使用して Data Box でファイルを一覧表示、コピー、変更する」を参照してください。
パフォーマンスを最適化するには、データをコピーするときに、次の robocopy パラメーターを使用します。
プラットフォーム | ほとんどが小さいファイル (< 512 KB) | ほとんどが中規模のファイル (512 KB から 1 MB) | ほとんどが大きいファイル (> 1 MB) |
---|---|---|---|
Data Box | 2 Robocopy セッション セッションあたり 16 スレッド |
3 Robocopy セッション セッションあたり 16 スレッド |
2 Robocopy セッション セッションあたり 24 スレッド |
Robocopy コマンドについて詳しくは、「Robocopy and a few examples」(Robocopy といくつかの例) をご覧ください。
エラーを識別するため、コピー処理中に通知が表示されます。
[問題の一覧をダウンロードする] を選択します。
一覧を開いてエラーの詳細を表示し、解決用 URL を選択して推奨される解決方法を確認します。
詳細については、「View error logs during data copy to Data Box (Data Box へのデータのコピー中のエラー ログを表示する)」を参照してください。 データのコピー中のエラーの詳細な一覧については、Data Box の問題のトラブルシューティングに関するページを参照してください。
データの整合性を保証するため、データがコピーされるときにインラインでチェックサムが計算されます。 コピーが完了したら、デバイスで使用済み領域と空き領域を確認します。
ソース サーバーから、SMB、NFS、REST、データ コピー サービスを介して Data Box に、またはマネージド ディスクに、データをコピーできます。
いずれの場合も、共有およびフォルダー名、およびデータ サイズが、Azure Storage と Data Box サービスの制限に関するページに記載されているガイドラインに従っていることを確認します。
SMB 経由でデータをコピーする
SMB 経由でデータをコピーするには、次のようにします。
Windows ホストを使用している場合は、次のコマンドを使用して、SMB 共有に接続します。
\\<Device IP address>\ShareName
共有アクセス資格情報を取得するには、Data Box のローカル Web UI にある [接続とコピー] ページに移動します。
Robocopy などの SMB 互換ファイル コピー ツールを使用して、データを共有にコピーします。
具体的な手順については、「チュートリアル: Azure Data Box に SMB 経由でデータをコピーする」を参照してください。
NFS 経由でデータをコピーする
NFS 経由でデータをコピーするには、次のようにします。
NFS ホストを使用している場合は、次のコマンドを使用して、Data Box に NFS 共有をマウントします。
sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>
共有アクセス資格情報を取得するには、Data Box のローカル Web UI にある [接続とコピー] ページに移動します。
cp
またはrsync
コマンドを使用してデータをコピーします。
具体的な手順については、「チュートリアル: Azure Data Box に NFS 経由でデータをコピーする」を参照してください。
REST 経由でデータをコピーする
REST 経由でデータをコピーするには、次のようにします。
- REST API シリーズ経由で Data Box BLOB ストレージを使用してデータをコピーするには、http または https 経由で接続できます。
- データを Data Box BLOB ストレージにコピーするには、AzCopy を使用できます。
具体的な手順については、「チュートリアル: REST API 経由で Azure Data Box BLOB ストレージにデータをコピーする」を参照してください。
データ コピー サービス経由でデータをコピーする
データ コピー サービス経由でデータをコピーするには、次のようにします。
- データ コピー サービスを使用してデータをコピーするには、ジョブを作成する必要があります。 お客様の Data Box のローカル Web UI で、[管理] > [データのコピー] > [作成] に移動します。
- パラメーターを入力し、ジョブを作成します。
具体的な手順については、「チュートリアル: データ コピー サービスを使用してデータを Azure Data Box にコピーする」を参照してください。
マネージド ディスクにデータをコピーする
マネージド ディスクにデータをコピーするには、次のようにします。
- Data Box デバイスを注文する場合、保存先としてマネージド ディスク を選択してください。
- SMB または NFS 共有経由で Data Box に接続します。
- SMB または NFS ツール経由でデータをコピーします。
具体的な手順については、「チュートリアル: Data Box を使用して Azure のマネージド ディスクとしてデータをインポートする」を参照してください。
次のステップ
このチュートリアルでは、Azure Data Box に関する次のようなトピックについて説明しました。
- 前提条件
- Data Box に接続する
- Data Box にデータをコピーする
次のチュートリアルに進み、お客様の Data Box を Microsoft に返送する方法を学習してください。