Snowflake'i kopyalama etkinliğinde yapılandırma

Bu makalede, snowflake'den ve snowflake'e veri kopyalamak için veri işlem hattındaki kopyalama etkinliğinin nasıl kullanılacağı özetlenmiştir.

Desteklenen yapılandırma

Kopyalama etkinliği altındaki her sekmenin yapılandırması için sırasıyla aşağıdaki bölümlere gidin.

• Genel
• Kaynak
• Hedef
• Eşleme
• Ayarlar

Genel

Genel ayarlar sekmesini yapılandırmak için Genel ayarlar kılavuzuna bakın.

Kaynak

Aşağıdaki özellikler, bir kopyalama etkinliğinin Kaynak sekmesi altında Snowflake için desteklenir.

Aşağıdaki özellikler gereklidir:

• Veri deposu türü: Dış'ı seçin.
• Bağlantı: Bağlantı listesinden bir Snowflake bağlantısı seçin. Bağlantı yoksa Yeni'yi seçerek yeni bir Snowflake bağlantısı oluşturun.
• Veritabanı: Bağlandıktan sonra kullanılacak varsayılan veritabanı. Belirtilen rolün ayrıcalıklarına sahip olduğu mevcut bir veritabanı olmalıdır.
• Sorguyu kullan: Kullanım sorgunuz olarak Tablo veya Sorgu'yu seçebilirsiniz. Aşağıdaki listede her ayarın yapılandırması açıklanmaktadır.
  • Tablo: Açılan listeden veritabanınızdaki tabloyu seçin. Ya da tablonuzun adını el ile girmek için Düzenle'yi işaretleyin.
  • Sorgu: Snowflake'ten verileri okumak için SQL sorgusunu belirtin. Şema, tablo ve sütunların adları küçük harf içeriyorsa, sorgudaki nesne tanımlayıcısını tırnak içine alın; örneğin. select * from "schema"."myTable"

Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

• Depolama tümleştirmesi: Snowflake'de oluşturduğunuz depolama tümleştirmenizin adını belirtin. Depolama tümleştirmesini kullanmanın önkoşul adımları için bkz . Snowflake depolama tümleştirmesini yapılandırma.

• Ek Snowflake kopyalama seçenekleri: Verileri yüklemek için Snowflake COPY deyiminde kullanılacak ek Snowflake kopyalama seçeneklerini belirtin. Ek kopyalama seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: MAX_FILE_SIZE, ÜZERINE YAZ. Daha fazla bilgi için bkz . Snowflake Kopyalama Seçenekleri.

  

• Ek Snowflake biçim seçenekleri: Verileri yüklemek için Snowflake COPY deyiminde kullanılacak ek Snowflake biçim seçeneklerini belirtin. COPY komutuna sağlanan ek dosya biçimi seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Daha fazla bilgi için bkz . Snowflake Biçim Türü Seçenekleri.

  

Snowflake'ten doğrudan kopya

Hedef veri deponuz ve biçiminiz bu bölümde açıklanan ölçütleri karşılıyorsa, snowflake'ten hedefe doğrudan kopyalamak için Kopyalama etkinliği kullanabilirsiniz. Hizmet ayarları denetler ve aşağıdaki ölçütlere uyulmazsa Kopyalama etkinliği çalıştırılamaz:

• Kaynakta Depolama tümleştirmesi belirttiğinizde: Hedef veri deposu, Snowflake'teki dış aşamada başvurduğunuz Azure Blob Depolama. Verileri kopyalamadan önce aşağıdaki adımları tamamlamanız gerekir:

  1. Desteklenen tüm kimlik doğrulama türleriyle hedef Azure Blob Depolama için bir Azure Blob Depolama bağlantısı oluşturun.

  2. Hedef Azure Blob Depolama Erişim Denetimi'nde (IAM) Snowflake hizmet sorumlusuna en az Depolama Blobu Veri Katkıda Bulunanı rolü verin.

• Kaynakta Depolama tümleştirmesi belirtmediğinizde:

  Hedef bağlantı, paylaşılan erişim imzası kimlik doğrulamasına sahip Azure Blob depolamadır. Verileri aşağıdaki desteklenen biçimde doğrudan Azure Data Lake Storage 2. Nesil kopyalamak istiyorsanız, Azure Data Lake Storage 2. Nesil hesabınızda SAS kimlik doğrulamasıyla Azure Blob Depolama bir bağlantı oluşturabilirsiniz. Kar tanesi.

• Hedef veri biçimi Parquet, DelimitedText veya JSON biçimindedir ve aşağıdaki yapılandırmaları içerir:

  • Parquet biçimi için sıkıştırma codec'i None, Snappy veya Lzo'dur.
  • DelimitedText biçimi için:
    • Satır sınırlayıcısı \r\n veya herhangi bir tek karakterdir.
    • Sıkıştırma türü None, gzip, bzip2 veya deflate olabilir.
    • Kodlama varsayılan olarak bırakılır veya UTF-8 olarak ayarlanır.
    • Tırnak karakteri Çift tırnak, Tek tırnak veya Tırnak yok karakteridir.
  • JSON biçimi için doğrudan kopyalama yalnızca kaynak Snowflake tablosunun veya sorgu sonucunun yalnızca tek sütuna sahip olması ve bu sütunun veri türünün VARIANT, OBJECT veya ARRAY olması durumunu destekler.
    • Sıkıştırma türü None, gzip, bzip2 veya deflate olabilir.
    • Kodlama varsayılan olarak bırakılır veya UTF-8 olarak ayarlanır.
    • Kopyalama etkinliği hedefindeki dosya düzeni varsayılan olarak bırakılır veya Nesne kümesi olarak ayarlanır.

• Kopyalama etkinliği kaynağında Ek sütunlar belirtilmez.

• Sütun eşleme belirtilmedi.

Snowflake'ten hazırlanmış kopya

Hedef veri deponuz veya biçiminiz, son bölümde belirtildiği gibi Snowflake COPY komutuyla yerel olarak uyumlu değilse, geçici bir Azure Blob depolama örneği kullanarak yerleşik aşamalı kopyayı etkinleştirin. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Hizmet, Snowflake'deki verileri hazırlama depolama alanına aktarır, ardından verileri hedefe kopyalar ve son olarak hazırlama depolama alanından geçici verilerinizi temizler.

Bu özelliği kullanmak için ara hazırlama olarak Azure depolama hesabına başvuran bir Azure Blob depolama bağlantısı oluşturun. Ardından, hazırlama ayarlarınızı yapılandırmak için Ayarlar sekmesine gidin. Azure Blob Depolama hazırlama bağlantısını yapılandırmak için Dış'ı seçmeniz gerekir.

• Kaynakta Depolama tümleştirmesi belirttiğinizde, ara hazırlama Azure Blob Depolama Snowflake'deki dış aşamada başvurduğunuz aşama olmalıdır. Desteklenen herhangi bir kimlik doğrulamasıyla bunun için Azure Blob Depolama bir bağlantı oluşturduğunuzdan emin olun ve hazırlama Azure Blob Depolama Erişim Denetimi'nde (IAM) Snowflake hizmet sorumlusuna en az Depolama Blob Verileri Katkıda Bulunanı rolü verin. Ayarlar sekmesindeki Hazırlama ayarları altındaki Depolama yolu gereklidir.

• Kaynakta Depolama tümleştirmesi belirtmediğinizde hazırlama Azure Blob Depolama bağlantısı Snowflake COPY komutunun gerektirdiği şekilde paylaşılan erişim imzası kimlik doğrulamasını kullanmalıdır. Hazırlama Azure Blob Depolama Snowflake'e uygun erişim izni verdiğinden emin olun. Bu konuda daha fazla bilgi edinmek için bu makaleye bakın.

Hedef

Aşağıdaki özellikler, bir kopyalama etkinliğinin Hedef sekmesi altında Snowflake için desteklenir.

Aşağıdaki özellikler gereklidir:

• Veri deposu türü: Dış'ı seçin.
• Bağlantı: Bağlantı listesinden bir Snowflake bağlantısı seçin. Bağlantı yoksa Yeni'yi seçerek yeni bir Snowflake bağlantısı oluşturun.
• Veritabanı: Bağlandıktan sonra kullanılacak varsayılan veritabanı. Belirtilen rolün ayrıcalıklarına sahip olduğu mevcut bir veritabanı olmalıdır.
• Tablo: Açılan listeden veritabanınızdaki tabloyu seçin. Ya da tablonuzun adını el ile girmek için Düzenle'yi işaretleyin.

Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

• Ön kopyalama betiği: Her çalıştırmada hedef tabloya veri yazmadan önce Yürütülecek Kopyalama Etkinliği için bir betik belirtin. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanabilirsiniz.

• Depolama tümleştirmesi: Snowflake'de oluşturduğunuz depolama tümleştirmenizin adını belirtin. Depolama tümleştirmesini kullanmanın önkoşul adımları için bkz . Snowflake depolama tümleştirmesini yapılandırma.

• Ek Snowflake kopyalama seçenekleri: Verileri yüklemek için Snowflake COPY deyiminde kullanılacak ek Snowflake kopyalama seçeneklerini belirtin. Ek kopyalama seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. Daha fazla bilgi için bkz . Snowflake Kopyalama Seçenekleri.

  

• Ek Snowflake biçim seçenekleri: Verileri yüklemek için Snowflake COPY deyiminde kullanılacak ek Snowflake biçim seçeneklerini belirtin. COPY komutuna sağlanan ek dosya biçimi seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Daha fazla bilgi için bkz . Snowflake Biçim Türü Seçenekleri.

  

Snowflake'e doğrudan kopyalama

Kaynak veri deponuz ve biçiminiz bu bölümde açıklanan ölçütleri karşılıyorsa, kaynaktan Snowflake'e doğrudan kopyalamak için Kopyalama etkinliği kullanabilirsiniz. Hizmet ayarları denetler ve aşağıdaki ölçütlere uyulmazsa Kopyalama etkinliği çalıştırılamaz:

• Hedefte Depolama tümleştirmesi belirttiğinizde:

  Kaynak veri deposu, Snowflake'deki dış aşamada başvurduğunuz Azure Blob Depolama. Verileri kopyalamadan önce aşağıdaki adımları tamamlamanız gerekir:

  1. Desteklenen tüm kimlik doğrulama türleriyle kaynak Azure Blob Depolama için bir Azure Blob Depolama bağlantısı oluşturun.

  2. Kaynak Azure Blob Depolama Erişim Denetimi'nde (IAM) Snowflake hizmet sorumlusuna en az Depolama Blobu Veri Okuyucusu rolü verin.

• Hedefte Depolama tümleştirmesi belirtmediğinizde:

  Kaynak bağlantı, paylaşılan erişim imzası kimlik doğrulamasına sahip Azure Blob depolamadır. Azure Data Lake Storage 2. Nesil'dan aşağıdaki desteklenen biçimde doğrudan veri kopyalamak istiyorsanız, Azure Data Lake Storage 2. Nesil hesabınızda SAS kimlik doğrulamasıyla Azure Blob Depolama bir bağlantı oluşturabilirsiniz. Kar tanesi.

• Kaynak veri biçimi Parquet, DelimitedText veya JSON şeklindedir ve aşağıdaki yapılandırmalara sahip olur:

  • Parquet biçimi için sıkıştırma codec'i Yok veya Snappy'dir.

  • DelimitedText biçimi için:

    • Satır sınırlayıcısı \r\n veya herhangi bir tek karakterdir. Satır sınırlayıcısı "\r\n" değilse, Üst bilgi olarak ilk satır seçilmez ve Satır sayısını atla belirtilmez.
    • Sıkıştırma türü None, gzip, bzip2 veya deflate olabilir.
    • Kodlama varsayılan olarak bırakılır veya "UTF-8", "UTF-16" olarak ayarlanır, "UTF-16BE", "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255".
    • Tırnak karakteri Çift tırnak, Tek tırnak veya Tırnak yok karakteridir.

  • JSON biçimi için doğrudan kopyalama yalnızca hedef Snowflake tablosunun yalnızca tek sütuna sahip olduğu ve bu sütunun veri türünün VARIANT, OBJECT veya ARRAY olduğu durumlarını destekler.

    • Sıkıştırma türü None, gzip, bzip2 veya deflate olabilir.
    • Kodlama varsayılan olarak bırakılır veya UTF-8 olarak ayarlanır.
    • Sütun eşleme belirtilmedi.

• Kopyalama etkinliği kaynağında:

  • Ek sütunlar belirtilmemiş.
  • Kaynağınız bir klasörse Özyinelemeli olarak seçilir.
  • En son değiştirilene göre filtrele ve Bölüm bulmayı etkinleştir'de ön ek, Başlangıç saati (UTC) ve Bitiş saati (UTC) belirtilmedi.

Snowflake'e aşamalı kopya

Kaynak veri deponuz veya biçiminiz, son bölümde belirtildiği gibi Snowflake COPY komutuyla yerel olarak uyumlu değilse, geçici bir Azure Blob depolama örneği kullanarak yerleşik aşamalı kopyayı etkinleştirin. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Hizmet, snowflake'in veri biçimi gereksinimlerini karşılamak için verileri otomatik olarak dönüştürür. Ardından Verileri Snowflake'e yüklemek için COPY komutunu çağırır. Son olarak, blob depolamadan geçici verilerinizi temizler.

Bu özelliği kullanmak için ara hazırlama olarak Azure depolama hesabına başvuran bir Azure Blob depolama bağlantısı oluşturun. Ardından, hazırlama ayarlarınızı yapılandırmak için Ayarlar sekmesine gidin. Azure Blob Depolama hazırlama bağlantısını yapılandırmak için Dış'ı seçmeniz gerekir.

• Hedefte Depolama tümleştirmesi belirttiğinizde, ara hazırlama Azure Blob Depolama Snowflake'deki dış aşamada başvurduğunuz aşama olmalıdır. Desteklenen herhangi bir kimlik doğrulamasıyla bunun için Azure Blob Depolama bir bağlantı oluşturduğunuzdan emin olun ve hazırlama Azure Blob Depolama Erişim Denetimi'ndeki (IAM) Snowflake hizmet sorumlusuna en az Depolama Blob Veri Okuyucusu rolü verin. Ayarlar sekmesindeki Hazırlama ayarları altındaki Depolama yolu gereklidir.

• Hedefte Depolama tümleştirmesi belirtmediğinizde hazırlama Azure Blob Depolama bağlantısının Snowflake COPY komutunun gerektirdiği şekilde paylaşılan erişim imzası kimlik doğrulamasını kullanması gerekir.

Eşleme

Eşleme sekmesi yapılandırması için Eşleme sekmesinin altında Eşlemelerinizi yapılandırma bölümüne gidin.

Ayarlar

Ayarlar sekmesi yapılandırması için Ayarlar sekmesinin altındaki Diğer ayarlarınızı yapılandırma'ya gidin.

Tablo özeti

Aşağıdaki tablolar Snowflake'teki kopyalama etkinliği hakkında daha fazla bilgi içerir.

Kaynak

Hedef

İlgili içerik

• Snowflake bağlayıcıya genel bakış