Databricks İşlerini yapılandırma ve düzenleme
Bu makale, İş Akışları çalışma alanı kullanıcı arabirimini kullanarak iş oluşturma, yapılandırma ve düzenleme yönergelerine odaklanır. Azure Databricks'in yapılandırma için aşağıdakiler dahil olmak üzere başka giriş noktaları ve araçları vardır:
- Databricks CLI kullanarak iş oluşturma ve çalıştırma hakkında bilgi edinmek için bkz . Databricks CLI nedir?.
- İşleri oluşturmak ve çalıştırmak için İşler API'sini kullanma hakkında bilgi edinmek için bkz . REST API başvurusundaki İşler .
- İşleri doğrudan Databricks not defterinde çalıştırmayı ve zamanlamayı öğrenmek için bkz . Zamanlanmış not defteri işlerini oluşturma ve yönetme.
İpucu
Bir işi YAML olarak görüntülemek için, iş için Şimdi çalıştır'ın sol kısmındaki kebap menüsüne tıklayın ve ardından Kod sürümüne (YAML) geç'e tıklayın.
Yeni bir iş oluşturma
Bu bölümde, çalışma alanı kullanıcı arabirimiyle bir not defteri görevi zamanlamak üzere yeni bir iş oluşturmak için gereken en düşük yapılandırma açıklanmaktadır.
İşler bir veya daha fazla görev içerir. Bu iş için ilk görevi yapılandırarak yeni bir iş oluşturursunuz.
Not
Her görev türünün çalışma alanı kullanıcı arabiriminde dinamik yapılandırma seçenekleri vardır. Bkz . Databricks görevlerini yapılandırma ve düzenleme.
- Kenar çubuğunda İş Akışları'na ve öğesine tıklayın.
- Bir Görev adı girin.
- Yol alanı için bir not defteri seçin.
- Görev oluştur'a tıklayın.
Çalışma alanınız işler için sunucusuz işlem için etkinleştirilmemişse bir İşlem seçeneği belirlemeniz gerekir. Databricks, görevleri yapılandırırken her zaman iş işleminin kullanılmasını önerir.
Çalışma alanı işleri listesinde varsayılan adıyla New Job <date> <time>
yeni bir iş görünür.
Çalışma alanında düzenlemek üzere bir iş seçin
Var olan bir işi çalışma alanı kullanıcı arabirimiyle düzenlemek için aşağıdakileri yapın:
- Kenar çubuğunda İş Akışları'na tıklayın .
- Ad sütununda iş adına tıklayın.
Aşağıdakileri yapmak için işler kullanıcı arabirimini kullanın:
- İş ayarlarını düzenleme
- İşi yeniden adlandırma, kopyalama veya silme
- Var olan bir işe yeni görevler ekleme
- Görev ayarlarını düzenleme
Not
Ayrıca REST API alma, oluşturma ve sıfırlama uç noktalarıyla kullanılmak üzere JSON tanımlarını görüntüleyebilirsiniz.
İş ayarlarını düzenleme
Yan panelde İş ayrıntıları yer alır. İş tetikleyicisini, işlem yapılandırmasını, bildirimleri, en fazla eşzamanlı çalıştırma sayısını değiştirebilir, süre eşiklerini yapılandırabilir ve etiketler ekleyebilir veya değiştirebilirsiniz. İş erişim denetimi etkinse iş izinlerini de düzenleyebilirsiniz.
Tüm iş görevleri için parametre ekleme
İş düzeyinde yapılandırılan parametreler, anahtar sözcük bağımsız değişkenlerini kabul etmek üzere yapılandırılmış Python tekerlek dosyaları da dahil olmak üzere anahtar-değer parametrelerini kabul eden işin görevlerine geçirilir. Bkz. İşleri parametreleştirme.
İşe etiket ekleme
İşinize etiketler veya anahtar-değer öznitelikleri eklemek için, işi düzenlerken etiketler ekleyebilirsiniz. İşler listesindeki işleri filtrelemek için etiketleri kullanabilirsiniz. Örneğin, belirli bir department
departmana ait olan tüm işleri filtrelemek için bir etiket kullanabilirsiniz.
Not
İş etiketleri, kişisel bilgiler veya parolalar gibi hassas bilgileri depolamak için tasarlanmadığından Databricks, yalnızca hassas olmayan değerler için etiketlerin kullanılmasını önerir.
Etiketler, bir iş çalıştırıldığında oluşturulan iş kümelerine de yayılır ve etiketleri mevcut küme izlemenizle kullanmanıza olanak sağlar.
Etiket eklemek veya düzenlemek için İş ayrıntıları yan panelinde + Etiket'e tıklayın. Etiketi etiket veya anahtar-değer çifti olarak ekleyebilirsiniz. Etiket eklemek için, etiketi Anahtar alanına girin ve Değer alanını boş bırakın.
İşe bütçe ilkesi ekleme
Önemli
Bu özellik Genel Önizlemesürümündedir.
Çalışma alanınız sunucusuz kullanımı ilişkilendirmek için bütçe ilkeleri kullanıyorsa, İş ayrıntıları yan panelindeki Bütçe ilkesi ayarını kullanarak işlerinizin bütçe ilkesini seçebilirsiniz. Bkz. Sunucusuz kullanımın bütçe ilkeleriyle ilişkilendirilmesi.
İşi yeniden adlandırma, kopyalama veya silme
Bir işi yeniden adlandırmak için işler kullanıcı arabirimine gidin ve iş adına tıklayın.
Mevcut bir işi kopyalayarak hızla yeni bir iş oluşturabilirsiniz. Bir işin kopyalanması, iş kimliği dışında işin özdeş bir kopyasını oluşturur. Bir işi kopyalamak için aşağıdakileri yapın:
- İşin iş kullanıcı arabirimine gidin.
- Şimdi çalıştır düğmesinin yanındaki öğesine tıklayın.
- Açılan menüden İşi kopyala'yı seçin.
- Kopyalanan iş için bir ad girin.
- Kopyala'ya tıklayın.
İşi silme
Bir işi silmek için iş sayfasına gidin, iş adının yanındaki öğesine tıklayın ve açılan menüden İşi sil'i seçin.
Git'i işlerle kullanma
İşinizde uzak Git sağlayıcısının kullanılmasını destekleyen görevler varsa, işler kullanıcı arabiriminde bir Git alanı ve Git ayarları ekleme veya düzenleme seçeneği bulunur.
Aşağıdaki görev türlerini uzak git deposunu kullanacak şekilde yapılandırabilirsiniz:
- Notebooks
- Python betikleri
- SQL dosyaları
- dbt
Bir işteki tüm görevler, uzak depoda aynı işlemeye başvurmalıdır. Uzak depo kullanan bir iş için aşağıdakilerden yalnızca birini belirtmeniz gerekir:
-
branch: Dalın adı, örneğin,
main
. -
tag: Etiketin adı, örneğin,
release-1.0.0
. -
commit: Belirli bir işlemenin karması, örneğin,
e0056d01
.
Bir iş çalıştırması başladığında Databricks, tüm işin aynı kod sürümünde çalıştığından emin olmak için uzak deponun anlık görüntü işlemesini alır.
Uzak Git deposunda depolanan kodu çalıştıran bir görevin çalıştırma geçmişini görüntülediğinizde, Görev çalıştırması ayrıntıları paneli, çalıştırmayla ilişkili işleme SHA'sı da dahil olmak üzere Git ayrıntılarını içerir. Bkz. Görev çalıştırma geçmişini görüntüleme.
Not
Uzak Git deposu kullanacak şekilde yapılandırılmış görevler çalışma alanı dosyalarına yazamaz. Bu görevler, görevi çalıştırmak için yapılandırılan işlem sürücü düğümüne ekli kısa süreli depolamaya geçici veriler ve bir birime veya tabloya kalıcı veriler yazmalıdır.
Databricks, yalnızca geliştirme sırasında hızlı yineleme ve test için Git klasörlerindeki çalışma alanı yollarına başvurmanızı önerir. Siz işleri hazırlık ve üretim ortamına taşırken Databricks, bu işleri uzak Git deposuna başvurmak üzere yapılandırmanızı önerir. Databricks işiyle uzak Git deposu kullanma hakkında daha fazla bilgi edinmek için aşağıdaki bölüme bakın.
Git sağlayıcısı yapılandırma
İşler kullanıcı arabiriminde uzak Git deposunu yapılandırmak için bir iletişim kutusu vardır. Bu iletişim kutusuna Git başlığının altındaki İş ayrıntıları panelinden veya Git sağlayıcısı kullanmak üzere yapılandırılmış herhangi bir görevde erişilebilir.
İletişim kutusuna erişmek için görüntülenen seçenekler, görev türüne ve iş için bir Git başvurusunun önceden yapılandırılıp yapılandırılmadığına bağlı olarak değişir. İletişim kutusunu başlatma düğmeleri Git ayarları ekle, Düzenle veya Git başvurusu ekle'yi içerir.
Git Bilgileri iletişim kutusunda (İş ayrıntıları panelinde erişim varsa Git olarak etiketlendi) aşağıdaki ayrıntıları girin:
- Git deposu URL'si.
- Açılan listeden Git sağlayıcınızı seçin.
- Git başvuru alanına, çalıştırmak istediğiniz kaynak kodun sürümüne karşılık gelen bir dal, etiket veya işlemenin tanımlayıcısını girin.
- Açılan listeden dal, etiket veya işleme'yi seçin.
Not
İletişim kutusu aşağıdakileri isteyebilir: Bu hesabın Git kimlik bilgileri eksik. Kimlik bilgileri ekleyin. Bir uzak Git deposunu başvuru olarak kullanmadan önce yapılandırmanız gerekir. Bkz . Databricks Git klasörlerini (Repos) ayarlama.
İş çalıştırma süresi veya akış birikimi ölçümleri için eşikleri yapılandırma
Önemli
Databricks İşleri için akış gözlemlenebilirliği Genel Önizlemeaşamasında.
İş çalıştırma süresi veya akış birikim ölçümleri için isteğe bağlı eşikleri yapılandırabilirsiniz. Süre veya akış ölçümü eşiklerini yapılandırmak için, İş ayrıntıları panelinde Süre ve akış birikimi eşikleri tıklayın.
Beklenen ve en fazla tamamlanma süreleri dahil olmak üzere işin süre eşiklerini yapılandırmak için Ölçüm açılır menüsünde Çalıştırma süresi seçeneğini seçin. İşin beklenen tamamlanma süresini yapılandırmak için Uyarı alanına bir süre girin. İş bu eşiği aşarsa bir olay tetikler. Bir işin yavaş çalıştığını bildirmek için bu olayı kullanabilirsiniz. Bir eşik aşıldığında bildirimleri yapılandırma için bkz. . Bir işin tamamlanma süresi üst sınırını yapılandırmak için, Zaman Aşımı alanına maksimum süreyi girin. İş bu süre içinde tamamlanmazsa, Azure Databricks durumunu "Zaman Aşımına Uğradı" olarak ayarlar.
Akış ölçümüne bir eşik belirlemek için, Ölçüm açılır menüsünden ölçümü seçin ve eşik için bir değer girin. Bir akış kaynağının desteklediği belirli ölçümler hakkında bilgi edinmek için bkz. akış görevleri için ölçümleri görüntüle.
Eşik aşıldığı için bir olay tetikleniyorsa, bildirim göndermek için olayı kullanabilirsiniz. bkz. Bir eşik aşıldığında bildirimleri yapılandırın.
İsteğe bağlı olarak görevler için süre eşiklerini belirtebilirsiniz. Bkz. Görev çalıştırma süresi veya akış birikim ölçümleri için eşikleri yapılandırma.