Azure Data Factory ile Azure Data Lake Storage 2. Nesil veri yükleme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Azure Data Lake Storage 2. Nesil, yerleşik olarak büyük veri analizine ayrılmış bir özellik kümesidirAzure Blob depolama. Hem dosya sistemi hem de nesne depolama paradigmalarını kullanarak verilerinizle arabirim oluşturmanızı sağlar.

Azure Data Factory (ADF), tam olarak yönetilen bir bulut tabanlı veri tümleştirme hizmetidir. Hizmeti kullanarak gölü zengin bir şirket içi ve bulut tabanlı veri depolarından alınan verilerle doldurabilir ve analiz çözümlerinizi oluştururken zaman kazanabilirsiniz. Desteklenen bağlayıcıların ayrıntılı listesi için Desteklenen veri depoları tablosuna bakın.

Azure Data Factory ölçeği genişleten, yönetilen bir veri taşıma çözümü sunar. ADF'nin ölçeği genişletme mimarisi nedeniyle verileri yüksek aktarım hızıyla alabilir. Ayrıntılar için bkz. performans Kopyalama etkinliği.

Bu makalede, Data Factory Veri Kopyalama aracını kullanarak Amazon Web Services S3 hizmetinden Azure Data Lake Storage 2. Nesil'a veri yüklemeyi öğreneceksiniz. Diğer veri depolarından veri kopyalamak için benzer adımları izleyebilirsiniz.

Önkoşullar

• Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
• Data Lake Storage 2. Nesil etkin azure depolama hesabı: Depolama hesabınız yoksa bir hesap oluşturun.
• Veri içeren bir S3 demetine sahip AWS hesabı: Bu makalede Amazon S3'ten veri kopyalama gösterilmektedir. Benzer adımları izleyerek diğer veri depolarını kullanabilirsiniz.

Veri fabrikası oluşturma

1. Veri fabrikanızı henüz oluşturmadıysanız Hızlı Başlangıç: Azure portalını ve Azure Data Factory Studio'yu kullanarak veri fabrikası oluşturma bölümünde yer alan adımları izleyin. Oluşturduktan sonra Azure portalında veri fabrikasına göz atın.

   

2. Veri Entegrasyonu uygulamasını ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

Azure Data Lake Storage 2. Nesil'e verileri yükleme

1. Azure Data Factory'nin giriş sayfasında Veri Kopyalama aracını başlatmak için Alma kutucuğunu seçin.

2. Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ni seçin ve Görev temposu veya görev zamanlaması altında Şimdi çalıştır'ı ve ardından İleri'yi seçin.

   

3. Kaynak veri deposu sayfasında aşağıdaki adımları tamamlayın:

   1. + Yeni bağlantı'yı seçin. Bağlayıcı galerisinden Amazon S3'i ve ardından Devam'ı seçin.

      

   2. Yeni bağlantı (Amazon S3) sayfasında aşağıdaki adımları uygulayın:

      1. Erişim Anahtarı Kimliği değerini belirtin.
      2. Gizli Dizi Erişim Anahtarı değerini belirtin.
      3. Ayarları doğrulamak için Bağlantıyı test et'i ve ardından Oluştur'u seçin.

      

   3. Kaynak veri deposu sayfasında, Bağlantı bloğunda yeni oluşturulan Amazon S3 bağlantısının seçili olduğundan emin olun.

   4. Dosya veya klasör bölümünde, üzerine kopyalamak istediğiniz klasöre ve dosyaya göz atın. Klasörü/dosyayı ve ardından Tamam'ı seçin.

   5. Yinelemeli ve İkili kopyalama seçeneklerini denetleyerek kopyalama davranışını belirtin. İleri'yi seçin.

   

4. Hedef veri deposu sayfasında aşağıdaki adımları tamamlayın.

   1. + Yeni bağlantı'yı ve ardından Azure Data Lake Storage 2. Nesil'ı ve devam'ı seçin.

      

   2. Yeni bağlantı (Azure Data Lake Storage 2. Nesil) sayfasında, "Depolama hesabı adı" açılan listesinden Data Lake Storage 2. Nesil özellikli hesabınızı seçin ve bağlantıyı oluşturmak için Oluştur'u seçin.

      

   3. Hedef veri deposu sayfasında, Bağlantı bloğunda yeni oluşturulan bağlantıyı seçin. Ardından Klasör yolu altında çıkış klasörü adı olarak copyfroms3 yazın ve İleri'yi seçin. ADF, mevcut değilse kopya sırasında ilgili ADLS 2. Nesil dosya sistemini ve alt klasörleri oluşturur.

      

5. Ayarlar sayfasında, Görev adı alanı için CopyFromAmazonS3ToADLS öğesini belirtin ve varsayılan ayarları kullanmak için İleri'yi seçin.

   

6. Özet sayfasında ayarları gözden geçirin ve İleri'yi seçin.

   

7. Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.

8. İşlem hattı çalıştırması başarıyla tamamlandığında, el ile tetiklenen bir işlem hattı çalıştırması görürsünüz. İşlem hattı adı sütununun altındaki bağlantıları kullanarak etkinlik ayrıntılarını görüntüleyebilir ve işlem hattını yeniden çalıştırabilirsiniz.

   

9. İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görmek için İşlem hattı adı sütununun altındaki CopyFromAmazonS3ToADLS bağlantısını seçin. Kopyalama işlemiyle ilgili ayrıntılar için Etkinlik adı sütununun altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. Kaynaktan havuza kopyalanan veri hacmi, veri aktarım hızı, ilgili süreye sahip yürütme adımları ve kullanılan yapılandırma gibi ayrıntıları izleyebilirsiniz.

   

   

10. Görünümü yenilemek için Yenile’yi seçin. "İşlem hattı çalıştırmaları" görünümüne dönmek için üstteki Tüm işlem hattı çalıştırmaları'nı seçin.

11. Verilerin Data Lake Storage 2. Nesil hesabınıza kopyalandığını doğrulayın.

İlgili içerik

• Kopyalama etkinliği genel bakış
• Azure Data Lake Storage 2. Nesil bağlayıcısı