Delta Live Tables işlem hattını yapılandırma

Bu makalede, çalışma alanı kullanıcı arabirimini kullanan Delta Live Tables işlem hatları için temel yapılandırma açıklanmaktadır.

Databricks sunucusuz kullanarak yeni işlem hatları geliştirmenizi önerir. Sunucusuz işlem hatları için yapılandırma yönergeleri için bkz . Sunucusuz Delta Live Tables işlem hattını yapılandırma.

Bu makaledeki yapılandırma yönergeleri Unity Kataloğu'nu kullanır. Eski Hive meta veri deposu ile işlem hatlarını yapılandırma yönergeleri için bkz . Eski Hive meta veri deposuyla Delta Live Tables işlem hatlarını kullanma.

Yeni Delta Live Tables işlem hattını yapılandırma

Yeni bir Delta Live Tables işlem hattı yapılandırmak için aşağıdakileri yapın:

1. Kenar çubuğunda Delta Live Tables'a tıklayın.
2. İşlem Hattı Oluştur'a tıklayın.
3. Benzersiz bir İşlem Hattı adı sağlayın.
4. (İsteğe bağlı) Not defterlerini ve çalışma alanı dosyalarını Kaynak kodu olarak yapılandırmak için dosya seçiciyi kullanın.
   • Kaynak kodu eklemezseniz işlem hattı için yeni bir not defteri oluşturulur. Not defteri kullanıcı dizininizdeki yeni bir dizinde oluşturulur ve işlem hattını oluşturduktan sonra işlem hattı ayrıntıları bölmesindeki Kaynak kodu alanında bu not defterine erişim bağlantısı gösterilir.
     • İşlem hattınızı oluşturduktan sonra işlem hattı ayrıntıları panelindeki Kaynak kodu alanının altında gösterilen URL ile bu not defterine erişebilirsiniz.
   • Ek kaynak kodu varlıkları eklemek için Kaynak kodu ekle düğmesini kullanın.
5. Depolama seçenekleri'nin altında Unity Kataloğu'nu seçin.
6. Verileri yayımlamak için bir Katalog seçin.
7. Katalogda bir Şema seçin. İşlem hattında tanımlanan tüm akış tabloları ve gerçekleştirilmiş görünümler bu şemada oluşturulur.
8. İşlem bölümünde, Foton Hızlandırma kullan'ın yanındaki kutuyu işaretleyin. İşlem yapılandırmasında dikkat edilmesi gereken ek noktalar için bkz . İşlem yapılandırma seçenekleri.
9. Oluştur’a tıklayın.

Bu önerilen yapılandırmalar, Tetiklenen modda çalışacak ve Geçerli kanalı kullanacak şekilde yapılandırılmış yeni bir işlem hattı oluşturur. Bu yapılandırma, geliştirme ve test dahil olmak üzere birçok kullanım örneği için önerilir ve bir zamanlamaya göre çalışması gereken üretim iş yükleri için uygundur. İşlem hatlarını zamanlama hakkında ayrıntılı bilgi için bkz . İşler için Delta Live Tables işlem hattı görevi.

İşlem yapılandırma seçenekleri

Databricks her zaman Gelişmiş otomatik ölçeklendirme kullanılmasını önerir. Diğer işlem yapılandırmaları için varsayılan değerler birçok işlem hattı için iyi çalışır.

Sunucusuz işlem hatları işlem yapılandırma seçeneklerini kaldırır. Sunucusuz işlem hatları için yapılandırma yönergeleri için bkz . Sunucusuz Delta Live Tables işlem hattını yapılandırma.

İşlem yapılandırmalarını özelleştirmek için aşağıdaki ayarları kullanın:

• Çalışma alanı yöneticileri bir Küme ilkesi yapılandırabilir. İşlem ilkeleri, yöneticilerin kullanıcıların hangi işlem seçeneklerini kullanabileceğini denetlemesine olanak sağlar. Bkz. Küme ilkesi seçme.

• İsteğe bağlı olarak Küme modunu Sabit boyut veya Eski otomatik ölçeklendirme ile çalışacak şekilde yapılandırabilirsiniz. Bkz . Gelişmiş otomatik ölçeklendirme ile Delta Live Tables işlem hatlarının küme kullanımını iyileştirme.

• Otomatik ölçeklendirmenin etkinleştirildiği iş yükleri için, Ölçeklendirme davranışları için sınırlar belirlemek üzere En az çalışan ve En fazla çalışan ayarlayın. Bkz . Delta Live Tables işlem hattı için işlem yapılandırma.

• İsteğe bağlı olarak Foton hızlandırmayı kapatabilirsiniz. Bkz . Photon nedir?.

• Delta Live Tables işlem hatlarıyla ilişkili maliyetleri izlemeye yardımcı olması için Küme etiketlerini kullanın. Bkz . Küme etiketlerini yapılandırma.

• İşlem hattınızı çalıştırmak için kullanılan sanal makinelerin türünü belirtmek için Örnek türlerini yapılandırın. Bkz . İşlem hattını çalıştırmak için örnek türlerini seçme.

  • İşlem hattınızda yapılandırılan iş yükleri için iyileştirilmiş bir Çalışan türü seçin.
  • İsteğe bağlı olarak çalışan türünüzden farklı bir Sürücü türü seçebilirsiniz. Bu, büyük çalışan türlerine ve düşük sürücü işlem kullanımına sahip işlem hatlarındaki maliyetleri azaltmak veya çok sayıda küçük çalışanı olan iş yüklerinde yetersiz bellek sorunlarını önlemek için daha büyük bir sürücü türü seçmek için yararlı olabilir.

Yapılandırmayla ilgili dikkat edilmesi gereken diğer noktalar

İşlem hatları için aşağıdaki yapılandırma seçenekleri de kullanılabilir:

• Gelişmiş ürün sürümü, tüm Delta Live Tables özelliklerine erişmenizi sağlar. Pro veya Core ürün sürümlerini kullanarak isteğe bağlı olarak işlem hatlarını çalıştırabilirsiniz. Bkz . Ürün sürümü seçme.
• Üretimde işlem hatlarını çalıştırırken Sürekli işlem hattı modunu kullanmayı seçebilirsiniz. Bkz . Tetiklenen ve sürekli işlem hattı modu.
• Çalışma alanınız Unity Kataloğu için yapılandırılmamışsa veya iş yükünüzün eski Hive meta veri depolarını kullanması gerekiyorsa bkz . Eski Hive meta veri deposuyla Delta Live Tables işlem hatlarını kullanma.
• Başarı veya hata koşullarına göre e-posta güncelleştirmeleri için Bildirimler ekleyin. Bkz. İşlem hattı olayları için e-posta bildirimleri ekleme.
• İşlem hattı için anahtar-değer çiftlerini ayarlamak için Yapılandırma alanını kullanın. Bu yapılandırmalar iki amaca hizmet eder:
  • Kaynak kodunuzda başvurabileceğiniz rastgele parametreler ayarlayın. Bkz . Delta Live Tables işlem hatlarıyla parametreleri kullanma.
  • İşlem hattı ayarlarını ve Spark yapılandırmalarını yapılandırın. Bkz . Delta Live Tables özellikleri başvurusu.
• İşlem hattınızı bekleyen Delta Live Tables çalışma zamanı değişikliklerine ve deneme yeni özelliklerine karşı test etmek için Önizleme kanalını kullanın.

Bir ürün sürümü seçin

İşlem hattı gereksinimleriniz için en iyi özelliklere sahip Delta Live Tables ürün sürümünü seçin. Aşağıdaki ürün sürümleri kullanılabilir:

• Core akış alma iş yüklerini çalıştırmak için. Core İşlem hattınızda değişiklik verileri yakalama (CDC) veya Delta Live Tables beklentileri gibi gelişmiş özellikler gerekmiyorsa sürümü seçin.
• Pro akış alma ve CDC iş yüklerini çalıştırmak için. Ürün Pro sürümü tüm Core özelliklerin yanı sıra kaynak verilerdeki değişikliklere göre tabloların güncelleştirilmesini gerektiren iş yükleri için de destek sunar.
• Advanced akış alma iş yüklerini, CDC iş yüklerini ve beklenti gerektiren iş yüklerini çalıştırmak için. Ürün Advanced sürümü ve Pro sürümlerinin Core özelliklerini destekler ve Delta Live Tables beklentileriyle veri kalitesi kısıtlamaları içerir.

İşlem hattı oluştururken veya düzenlerken ürün sürümünü seçebilirsiniz. Her işlem hattı için farklı bir sürüm seçebilirsiniz. Delta Live Tables ürün sayfasına bakın.

Not: İşlem hattınız seçili ürün sürümü tarafından desteklenmeyen beklentiler gibi özellikler içeriyorsa, hatanın nedenini açıklayan bir hata iletisi alırsınız. Ardından uygun sürümü seçmek için işlem hattını düzenleyebilirsiniz.

Kaynak kodu yapılandırma

İşlem hattınızı tanımlayan kaynak kodunu yapılandırmak için Delta Live Tables kullanıcı arabirimindeki dosya seçiciyi kullanabilirsiniz. İşlem hattı kaynak kodu Databricks not defterlerinde veya çalışma alanı dosyalarında depolanan SQL veya Python betiklerinde tanımlanır. İşlem hattınızı oluştururken veya düzenlerken, bir veya daha fazla not defteri veya çalışma alanı dosyası ya da not defterleri ile çalışma alanı dosyalarının birleşimini ekleyebilirsiniz.

Delta Live Tables işlem hattınızın işleme grafiğini oluşturmak üzere veri kümesi bağımlılıklarını otomatik olarak analiz ettiğinden, kaynak kodu varlıklarını istediğiniz sırayla ekleyebilirsiniz.

JSON dosyasını, çalışma alanı dosyalarında depolanan SQL ve Python betiklerinde tanımlanan Delta Live Tables kaynak kodunu içerecek şekilde değiştirebilirsiniz. Aşağıdaki örnek not defterlerini ve çalışma alanı dosyalarını içerir:

{
  "name": "Example pipeline 3",
  "storage": "dbfs:/pipeline-examples/storage-location/example3",
  "libraries": [
    { "notebook": { "path": "/example-notebook_1" } },
    { "notebook": { "path": "/example-notebook_2" } },
    { "file": { "path": "/Workspace/Users/<user-name>@databricks.com/Apply_Changes_Into/apply_changes_into.sql" } },
    { "file": { "path": "/Workspace/Users/<user-name>@databricks.com/Apply_Changes_Into/apply_changes_into.py" } }
  ]
}

Python kullanan işlem hatları için dış bağımlılıkları yönetme

Delta Live Tables, Python paketleri ve kitaplıkları gibi işlem hatlarınızda dış bağımlılıkların kullanılmasını destekler. Bağımlılıkları kullanma seçenekleri ve önerileri hakkında bilgi edinmek için bkz . Delta Live Tables işlem hatları için Python bağımlılıklarını yönetme.

Azure Databricks çalışma alanınızda depolanan Python modüllerini kullanma

Databricks not defterlerinde Python kodunuzu uygulamaya ek olarak, kodunuzu Python modülleri olarak depolamak için Databricks Git Klasörleri'ni veya çalışma alanı dosyalarını kullanabilirsiniz. Kodunuzu Python modülleri olarak depolamak, özellikle aynı işlem hattındaki birden çok işlem hattında veya not defterinde kullanmak istediğiniz ortak işlevlere sahip olduğunuzda kullanışlıdır. İşlem hatlarınızla Python modüllerini kullanmayı öğrenmek için bkz . Git klasörlerinden veya çalışma alanı dosyalarından Python modüllerini içeri aktarma.