Sistem tables ile hesap etkinliğini izleme
Bu makalede Azure Databricks'te sistem tables kavramı açıklanır ve sistem tables verilerinizden en iyi şekilde get için kullanabileceğiniz kaynaklar vurgulanır.
Sistem tablesnedir?
Sistem tables, systemcatalog’de bulunan hesabınızın işletimsel verilerinin Azure Databricks tarafından barındırılan bir analiz deposu olarak konumlandırılmıştır. Sistem tables, hesabınızda geçmiş gözlemleme için kullanılabilir.
Not
system.information_schemaile ilgili belgeler için Bilgi schema'e bakın.
Gereksinimler
sistem tables'ye erişmek için, çalışma alanınızın Unity Catalogiçin etkinleştirilmesi gerekir. Daha fazla bilgi için bkz. Sistem table şemalarınıetkinleştirme.
Sistem tables aşağıdaki bölgelerde kullanılamaz:
- Azure Çin bölgeleri
- Azure Kamu bölgeleri
- Batı Hindistan
- Batı İsviçre
Hangi sistem tables kullanılabilir?
Azure Databricks şu anda aşağıdaki sistem tablesbarındırıyor:
| Table | Açıklama | Konum | Akış desteği | Ücretsiz saklama süresi | Genel veya bölgesel verileri içerir |
|---|---|---|---|---|---|
| Denetim günlükleri (Genel Önizleme) | Bölgenizdeki çalışma alanlarındaki tüm denetim olaylarının kayıtlarını içerir. Mevcut denetim olaylarının list için, tanılama günlük başvurusu 'ye bakınız. | system.access.audit |
Yes | 365 gün | Çalışma alanı düzeyindeki olaylar için bölgesel. Hesap düzeyindeki olaylar için genel. |
| Table köken (Genel Önizleme) | Unity Catalogtable veya yol üzerindeki her okuma veya yazma olayı için bir kayıt barındırır. | system.access.table_lineage |
Yes | 365 gün | Bölgesel |
| Column köken (Genel Önizleme) | Unity Catalogcolumn her okuma veya yazma olayı için bir kayıt içerir (ancak kaynağı olmayan olayları içermez). | system.access.column_lineage |
Yes | 365 gün | Bölgesel |
| Faturalanabilir kullanım | Hesabınızdaki tüm faturalanabilir kullanımın kayıtlarını içerir. | system.billing.usage |
Yes | 365 gün | Global |
| Fiyatlandırma | SKU fiyatlandırmasının geçmiş günlüğü. SKU fiyatında her değişiklik olduğunda bir kayıt eklenir. | system.billing.list_prices |
Hayır | Sınırsız | Global |
| Kümeler (Genel Önizleme) | Yavaş değişen boyut, herhangi bir küme için zaman içindeki işlem yapılandırmalarının tam geçmişini içeren table. | system.compute.clusters |
Yes | Yok | Bölgesel |
| Düğüm zaman çizelgesi (Genel Önizleme) | Tüm amaçlı ve iş işlem kaynaklarınızın kullanım ölçümlerini yakalar. | system.compute.node_timeline |
Yes | 30 gün | Bölgesel |
| Düğüm türleri (Genel Önizleme) | Şu anda kullanılabilir düğüm türlerini temel donanım bilgileriyle yakalar. | system.compute.node_types |
Hayır | Yok | Bölgesel |
| SQL ambarları (Genel Önizleme) | Herhangi bir SQL ambarı için zaman içindeki yapılandırmaların tam geçmişini içerir. | system.compute.warehouses |
Yes | 365 gün | Bölgesel |
| SQL ambarı olayları (Genel Önizleme) | SQL ambarlarıyla ilgili olayları yakalar. Örneğin, başlatma, durdurma, çalıştırma, ölçeği artırma ve azaltma. | system.compute.warehouse_events |
Yes | 365 gün | Bölgesel |
| İşler (Genel Önizleme) | Hesapta oluşturulan tüm işleri izler. | system.lakeflow.jobs |
Yes | 365 gün | Bölgesel |
| İş görevleri (Genel Önizleme) | Hesapta çalışan tüm iş görevlerini izler. | system.lakeflow.job_tasks |
Yes | 365 gün | Bölgesel |
| İş çalıştırma zaman çizelgesi (Genel Önizleme) | İş çalıştırmalarının başlangıç ve bitiş saatlerini izler. | system.lakeflow.job_run_timeline |
Yes | 365 gün | Bölgesel |
| İş görevi zaman çizelgesi (Genel Önizleme) | İş görevi çalıştırmaları için kullanılan başlangıç ve bitiş saatlerini ve işlem kaynaklarını izler. | system.lakeflow.job_task_run_timeline |
Yes | 365 gün | Bölgesel |
| Market hunisi olayları (Genel Önizleme) | Dökümleriniz için tüketici izlenimi ve huni verilerini içerir. | system.marketplace.listing_funnel_events |
Yes | 365 gün | Bölgesel |
| Market listeleme erişimi (Genel Önizleme) | Listelemelerinizdeki tamamlanan istek verileri veya get verileri olayları için tüketici bilgilerini içerir. | system.marketplace.listing_access_events |
Yes | 365 gün | Bölgesel |
| Tahmine dayalı iyileştirme (Genel Önizleme) | Tahmine dayalı iyileştirme özelliğinin işlem geçmişini izler. | system.storage.predictive_optimization_operations_history |
Hayır | 180 gün | Bölgesel |
| Databricks Yardımcısı olayları (Genel Önizleme) | Databricks Yardımcısı'na gönderilen kullanıcı iletilerini izler. | system.access.assistant_events |
Hayır | 365 gün | Bölgesel |
| Sorgu geçmişi (Genel Önizleme) | not defterleri ve işleriiçin SQL ambarlarında ve sunucusuz işlemde çalıştırılan tüm sorguların kayıtlarını yakalar. | system.query.history |
Hayır | 90 gün | Bölgesel |
| Oda olaylarını temizleme (Genel Önizleme) | Temiz odalarla ilgili olayları yakalar. | system.access.clean_room_events |
Yes | 365 gün | Bölgesel |
| Uç nokta kullanımına hizmet veren model (Genel Önizleme) | Uç noktayı ve yanıtlarını sunan bir modele yapılan her istek için belirteç sayılarını yakalar. Bu tableuç nokta kullanımını yakalamak için hizmet veren uç noktanızda kullanım izlemeyi etkinleştirmeniz gerekir. |
system.serving.endpoint_usage. |
Yes | 90 gün | Bölgesel |
| Uç nokta verilerini sunan model (Genel Önizleme) | Yavaş değişen boyut table, bir model sunum noktası içinde sunulan her temel modelin meta verilerini depolar. | system.serving.served_entities |
Yes | 365 gün | Bölgesel |
| Ağ erişim olayları (Genel Önizleme) | Hesabınızdan İnternet erişimi her reddedildiğinde bir olayı kaydeden bir table. | system.access.outbound_network |
Yes | 365 gün | Bölgesel |
Faturalanabilir kullanım ve fiyatlandırma tables, kullanımı ücretsizdir. Genel Önizleme'deki Tables de önizleme sırasında ücretsiz olarak kullanılabilir, ancak gelecekte ücrete tabi olabilir.
Not
Hesabınızda yukarıda listelenenlerin yanı sıra başka sistem tables görebilirsiniz. Bu tables şu anda Özel Önizleme aşamasındadır ve varsayılan olarak boş durumdadır. Bu tablesherhangi birini kullanmak istiyorsanız lütfen Databricks hesap ekibinize ulaşın.
Sistem table şemalarını etkinleştirme
Sistem tables, Unity Catalogtarafından yönetildiğinden, sistem tables'e erişmek ve etkinleştirmek için hesabınızda en az bir Unity Catalog'un etkin olduğu bir çalışma alanı bulunmalıdır. Sistem tables hesabınızdaki tüm çalışma alanlarındaki verileri içerir, ancak bunlara yalnızca Unity Catalogetkin çalışma alanından erişilebilir.
Sistem tables, schema düzeyinde etkin durumda. Bir sistemi (schema) etkinleştirirseniz, o (schema) içindeki tüm (tables) de etkinleştirmiş olursunuz. Yeni şemalar yayımlandığında, hesap yöneticisinin schemael ile etkinleştirmesi gerekir.
Sistem tables bir hesap yöneticisi tarafından etkinleştirilmelidir. Databricks CLIsystem-schemas komutlarını kullanarak veya SystemSchemas APIkullanarak sistem tables etkinleştirebilirsiniz.
Not
billing
schema varsayılan olarak etkindir. Diğer şemalar el ile etkinleştirilmelidir.
List kullanılabilir sistem şemaları
Kullanılabilir sistem şemalarını list için aşağıdaki curl komutunu kullanın:
curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"
Aşağıda komutun örnek çıkışı verilmiştir GET :
{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}
state: AVAILABLE: Sistem schema kullanılabilir ancak henüz etkinleştirilmemiştir.
state: EnableCompleted: Sistemi schema etkinleştirdiniz ve Catalog Gezgini'nde görünür.
Sistemi schema etkinleştir
Sistem schemaetkinleştirmek için aşağıdaki curl komutunu kullanın:
curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"
Sistem schema başarıyla etkinleştirilirse sonuç kodu 200 döndürülür.
bir sistem schemayeniden etkinleştirmeyi denerseniz, aşağıdakiler döndürülür: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".
Sistem schema'ı devre dışı bırak
Sistem schemadevre dışı bırakmak için aşağıdaki curl komutunu kullanın:
curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"
Grant sistemi erişimi tables
Sistem tables erişimi Unity Catalogtarafından yönetilir. Hiçbir kullanıcının varsayılan olarak bu sistem şemalarına erişimi yoktur.
grant erişimi için, hem meta veri deposu yöneticisi hem de hesap yöneticisi olan bir kullanıcının sistem şemaları üzerindeki grant,USE ve SELECT izinlerine sahip olması gerekir. Bakınız Unity'de Ayrıcalıkları yönetme Catalog.
Sistem tables yalnızca okunabilir ve değiştirilemez.
Not
Hesabınız 9 Kasım 2023'den sonra oluşturulduysa, varsayılan olarak bir meta veri deposu yöneticiniz olmayabilir. Daha fazla bilgi için bkz. Unity
Sistem tables hesabınızdaki tüm çalışma alanları için veri içeriyor mu?
Sistem tables, hesabınızdaki aynı bulut bölgesinde dağıtılan tüm çalışma alanları için işletimsel veriler içerir. Faturalama sistemi tables hesap genelinde veriler içerir.
Sistem tables yalnızca Unity Catalog çalışma alanı üzerinden erişilebilir olsa da, tables hesabınızdaki Unity Catalog olmayan çalışma alanları için işletimsel verileri de içerir.
Where sistem table verileri depolanır mı?
Hesabınızın sistem table verileri, meta veri deponuzla aynı bölgede bulunan Azure Databricks tarafından barındırılan bir depolama hesabında depolanır. Delta Sharing kullanılarak veriler sizinle güvenli bir şekilde paylaşılır.
Her table’nin ücretsiz bir veri saklama süresi vardır. Saklama süresini uzatma hakkında bilgi için Azure Databricks hesap ekibinize başvurun.
Where, Sistem tables, Catalog Gezgini'nde mi bulunuyor?
Hesabınızdaki sistem tables, her Unity Catalog meta veri deposuna dahil edilen systemadlı bir catalog'de bulunur.
system
catalog'de, sistem tables'ü içeren access ve billing gibi şemalar bulunur.
Akış sistemi tables ile ilgili dikkat edilmesi gerekenler
Azure Databricks, sistem table verilerini müşterilerle paylaşmak için Delta Sharing kullanır. Delta Sharing ile akış yaparken aşağıdaki noktalara dikkat edin:
- Sistem tablesile akış yapıyorsanız,
trueiçinskipChangeCommitsseçeneğini set kullanın. Bu, akış işinin tablessistemdeki silmelerden kesintiye uğramamasını sağlar. Bkz. Güncelleştirmeleri ve silmeleri yoksayma. -
Trigger.AvailableNowDelta Sharing akışında desteklenmez. bu, olarakTrigger.Oncedönüştürülür.
Akış işinizde bir tetikleyici kullanıyorsanız ve en son sistem table sürümüne yetişemediğini fark ederseniz Databricks işin zamanlanmış sıklığını artırmanızı önerir.
Akış sisteminden tables artımlı değişiklikleri oku
spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")
Bilinen sorunlar
Şu anda gerçek zamanlı izleme desteği bulunmuyor. Veriler gün boyunca güncelleştirilir. Son olay için bir günlük görmüyorsanız daha sonra tekrar kontrol edin.
__internal_loggingsistem tableschema, dış modeller ve tahsis edilen aktarım hızı iş yükleri için AI Gateway özellikli çıkarım tables kullanılarak yük kaydını desteklemek için kullanılır. Bu schema hesap yöneticileri tarafından görülebilir, ancak etkinleştirilemez ve müşteri iş akışları için kullanılmamalıdır.Sistem tables'ı etkinleştirmek için, sisteme tables Blob depolama uç noktası üzerinden ağ erişimi sağlanması grant gerekebilir. Her bölgenin sistem tables' depolama uç noktasının list görüntülemek için bkz. Depolama uç noktası IP adresleri.
system.operational_datavesystem.lineagesistem şemaları kullanım dışıdır ve boş tablesiçerir.