Transfer dużych zestawów danych w przypadku umiarkowanej lub wysokiej przepustowości sieci

Ten artykuł zawiera omówienie rozwiązań do transferu danych, gdy masz umiarkowaną lub wysoką przepustowość sieci w środowisku i planujesz transfer dużych zestawów danych. W tym scenariuszu opisano również zalecane opcje transferu danych oraz odpowiednią macierz możliwości klucza.

Aby zapoznać się z omówieniem wszystkich dostępnych opcji transferu danych, przejdź do artykułu Wybieranie rozwiązania do transferu danych platformy Azure.

Opis scenariusza

Duże zestawy danych odnoszą się do rozmiarów danych w kolejności odB do baz danych. Średnia do dużej przepustowości sieci odnosi się do 100 Mb/s do 10 Gb/s.

Zalecane opcje

Opcje zalecane w tym scenariuszu zależą od tego, czy przepustowość sieci jest średnia, czy wysoka.

Średnia przepustowość sieci (100 Mb/s–1 Gb/s)

W przypadku umiarkowanej przepustowości sieci należy zaprojektować czas transferu danych za pośrednictwem sieci.

Poniższa tabela służy do szacowania czasu i na podstawie tego wyboru między transferem w trybie offline lub transferem sieciowym. W tabeli przedstawiono przewidywany czas transferu danych sieciowych dla różnych dostępnych przepustowości sieci (przy założeniu 90% wykorzystania).

• Jeśli przewidywany jest zbyt wolny transfer sieciowy, należy użyć urządzenia fizycznego. Zalecane opcje w tym przypadku to urządzenia do transferu w trybie offline z rodziny azure Data Box lub usługi Azure Import/Export przy użyciu własnych dysków.

  • Rodzina urządzeń Azure Data Box na potrzeby transferów w trybie offline — używaj urządzeń dostarczanych przez firmę Microsoft z urządzeń Data Box, aby przenosić duże ilości danych na platformę Azure w przypadku ograniczenia czasu, dostępności sieci lub kosztów. Kopiuj dane lokalne za pomocą narzędzi takich jak Robocopy. W zależności od rozmiaru danych, które mają zostać przesłane, wybierz urządzenie Data Box Disk, Data Box lub Data Box Heavy.
  • Azure Import/Export — użyj usługi Azure Import/Export, wysyłając własne dyski, aby bezpiecznie importować duże ilości danych do usługi Azure Blob Storage i Azure Files. Ta usługa może również służyć do transferu danych z usługi Azure Blob Storage na stacje dysków wysyłane do lokacji lokalnych.

• Jeśli przewidywany jest transfer sieciowy, można użyć dowolnego z poniższych narzędzi opisanych w artykule Wysoka przepustowość sieci.

Wysoka przepustowość sieci (1 Gb/s–100 Gb/s)

Jeśli dostępna przepustowość sieci jest wysoka, użyj jednego z następujących narzędzi.

• AzCopy — to narzędzie wiersza polecenia umożliwia łatwe kopiowanie danych do i z usług Azure Blobs, Files i Table Storage z optymalną wydajnością. Narzędzie AzCopy obsługuje współbieżność i równoległość oraz umożliwia wznawianie operacji kopiowania, gdy zostaną przerwane.
• Interfejsy API REST usługi Azure Storage/zestawy SDK — podczas tworzenia aplikacji można opracowywać aplikację względem interfejsów API REST usługi Azure Storage i korzystać z zestawów SDK platformy Azure oferowanych w wielu językach.
• Rodzina usług Azure Data Box do transferów online — Usługi Azure Stack Edge i Data Box Gateway to urządzenia sieciowe online, które mogą przenosić dane na platformę Azure i z platformy Azure. Użyj urządzenia fizycznego Azure Stack Edge, gdy istnieje jednoczesne zapotrzebowanie na ciągłe pozyskiwanie i wstępne przetwarzanie danych przed przekazaniem. Data Box Gateway jest wirtualną wersją urządzenia z takimi samymi możliwościami transferu danych. W każdym przypadku za zarządzanie transferem danych odpowiada urządzenie.
• Azure Data Factory — usługa Data Factory powinna służyć do skalowania operacji transferu w poziomie, a jeśli istnieje potrzeba orkiestracji i funkcji monitorowania klasy korporacyjnej. Użyj usługi Data Factory do regularnego przesyłania plików pomiędzy kilkoma usługami platformy Azure, w środowisku lokalnym lub gdy konieczne jest połączenie tych dwóch wymagań. Za pomocą usługi Data Factory można tworzyć oparte na danych przepływy pracy (nazywane potokami) i ustalać ich harmonogram. Te przepływy pracy pozyskują dane z wielu różnych magazynów danych i automatyzują przenoszenie i przekształcanie danych.

Porównanie kluczowych możliwości

W poniższych tabelach podsumowano różnice w kluczowych możliwościach zalecanych opcji.

Umiarkowana przepustowość sieci

W przypadku korzystania z transferu danych w trybie offline skorzystaj z poniższej tabeli, aby zrozumieć różnice w kluczowych możliwościach.

* Data Box Disk nie obsługuje dużych udziałów plików i nie zachowuje metadanych pliku

W przypadku korzystania z transferu danych online użyj tabeli w poniższej sekcji, aby uzyskać wysoką przepustowość sieci.

Wysoka przepustowość sieci

Następne kroki

• Dowiedz się, jak transferować dane za pomocą funkcji Import/Export.

• Dowiedz się, jak:

  • Transfer danych za pomocą Data Box Disk.
  • Transfer danych za pomocą urządzenia Data Box.
  • Transferowanie danych za pomocą narzędzia AzCopy.
  • Transfer danych za pomocą usługi Data Box Gateway.
  • Przekształć dane za pomocą usługi Azure Stack Edge przed wysłaniem na platformę Azure.

• Dowiedz się, jak przesyłać dane za pomocą Azure Data Factory.

• Transfer danych za pomocą interfejsów API REST:

  • Na platformie .NET
  • W języku Java