Faturalanabilir kullanım sistemi table referansı
Bu makalede, table ve örnek sorgular dahil olmak üzere schemafaturalanabilir kullanım sistemine genel bir bakış sağlanır. Sistem tablesile hesabınızın faturalanabilir kullanım verileri merkezileştirilir ve tüm bölgelere yönlendirilir, böylece çalışma alanınızın bulunduğu bölgeden hesabınızın genel kullanımını görüntüleyebilirsiniz.
İş maliyetlerini izlemek için bu
Sunucusuz kullanımı analiz etme stratejileri için bkz . Sunucusuz işlemin maliyetini izleme.
Table yol: Bu sistem tablesystem.billing.usage
konumunda bulunur.
Faturalanabilir kullanım tableschema
Faturalanabilir kullanım sistemi table aşağıdaki schemakullanır:
Column adı | Veri türü | Açıklama | Örnek |
---|---|---|---|
record_id |
Dize | Bu kullanım kaydı için benzersiz kimlik | 11e22ba4-87b9-4cc2 -9770-d10b894b7118 |
account_id |
Dize | Bu raporun oluşturulduğu hesabın kimliği | 23e22ba4-87b9-4cc2 -9770-d10b894b7118 |
workspace_id |
Dize | Bu kullanımın ilişkilendirildiği Çalışma Alanının kimliği | 1234567890123456 |
sku_name |
Dize | SKU'nun adı | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
Dize | Bu kullanımın ilgili olduğu bulut. Olası values, AWS , AZURE ve GCP 'tür. |
AWS , AZURE veya GCP |
usage_start_time |
timestamp | Bu kullanım kaydıyla ilgili başlangıç saati.
Timezone bilgi, UTC +00:00 'yi temsil eden timezone ile değerin sonunda kaydedilir. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
timestamp | Bu kullanım kaydıyla ilgili bitiş saati.
Timezone bilgi, UTC +00:00 'yi temsil eden timezone ile değerin sonunda kaydedilir. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
tarih | Kullanım kaydının tarihi, bu alan tarihe göre daha hızlı toplama için kullanılabilir | 2023-01-01 |
custom_tags |
map | Bu kullanıma uygulanan etiketler. İşlem kaynağı etiketlerini, iş etiketlerini, çalışma alanı özel etiketlerini ve bütçe ilkesi etiketlerini içerir. | { “env”: “production” } |
usage_unit |
Dize | Bu kullanımın ölçülmüş olduğu birim. Olası values DBU'ları içerir. | DBU |
usage_quantity |
ondalık | Bu kayıt için kullanılan birim sayısı. | 259.2958 |
usage_metadata |
struct | İşlem kaynakları ve işleri için kimlikler de dahil olmak üzere kullanım hakkında sistem tarafından sağlanan meta veriler (varsa). Bkz. Kullanım meta verileri referansı. | {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null} |
identity_metadata |
struct | Kullanıma dahil olan kimlikler hakkında sistem tarafından sağlanan meta veriler. Bkz. Kimlik meta veri başvurusu. | {"run_as": example@email.com,"created_by":null} |
record_type |
Dize | Kaydın özgün, geri çekme veya yeniden ifade olup olmadığı. Kayıt bir düzeltmeyle ilgili olmadığı sürece değerdir ORIGINAL . Bkz. Kayıt türü referansı. |
ORIGINAL |
ingestion_date |
tarih | Kaydın usage table'e eklendiği tarih. |
2024-01-01 |
billing_origin_product |
Dize | Kullanımı oluşturan ürün. Bazı ürünler farklı SKU'lar olarak faturalandırılabilir. Olası valuesiçin bkz. Faturalama kaynağı ürün başvurusu. | JOBS |
product_features |
struct | Kullanılan belirli ürün özellikleri hakkındaki ayrıntılar. | Olası valuesiçin, Ürün özelliklerinebakınız. |
usage_type |
Dize | Faturalama amacıyla ürüne veya iş yüküne atfedilen kullanım türü. Olası valuesCOMPUTE_TIME , STORAGE_SPACE , NETWORK_BYTES , API_OPERATION , TOKEN veya GPU_TIME olabilir. |
STORAGE_SPACE |
Kullanım meta verileri referansı
values'daki usage_metadata
, kullanım kaydında yer alan nesneler ve kaynaklar hakkında bilgi verir.
Değer | Veri türü | Açıklama |
---|---|---|
cluster_id |
Dize | Kullanım kaydıyla ilişkili kümenin kimliği |
warehouse_id |
Dize | Kullanım kaydıyla ilişkili SQL ambarının kimliği |
instance_pool_id |
Dize | Kullanım kaydıyla ilişkili örnek havuzunun kimliği |
node_type |
Dize | İşlem kaynağının örnek türü |
job_id |
Dize | Kullanım kaydıyla ilişkili işin kimliği.
Yalnızca sunucusuz işlem veya iş işlem kullanımı için bir değer döndürür, aksi takdirde döndürür null . |
job_run_id |
Dize | Kullanım kaydıyla ilişkili iş çalıştırmasının kimliği.
Yalnızca sunucusuz işlem veya iş işlem kullanımı için bir değer döndürür, aksi takdirde döndürür null . |
job_name |
Dize | Kullanım kaydıyla ilişkili işin kullanıcı tarafından verilen adı.
Yalnızca sunucusuz işlemde çalıştırılacak işler için bir değer döndürür, aksi takdirde döndürür null . |
notebook_id |
Dize | Kullanımla ilişkili not defterinin kimliği.
Yalnızca not defteri kullanımı için sunucusuz işlem için bir değer döndürür, aksi takdirde döndürür null . |
notebook_path |
Dize | Kullanımla ilişkili not defterinin çalışma alanı depolama yolu.
Yalnızca not defteri kullanımı için sunucusuz işlem için bir değer döndürür, aksi takdirde döndürür null . |
dlt_pipeline_id |
Dize | Kullanım kaydıyla ilişkili Delta Live Tables işlem hattının kimliği |
dlt_update_id |
Dize | Kullanım kaydıyla ilişkili Delta Live Tables işlem hattı update kimliği |
dlt_maintenance_id |
Dize | Kullanım kaydıyla ilişkili Delta Live Tables boru hattı bakım görevlerinin kimliği |
run_name |
Dize | Kullanım kaydıyla ilişkili Temel Model İnce Ayarlama'nın kullanıcıya yönelik benzersiz identifier |
endpoint_name |
Dize | Kullanım kaydıyla ilişkili uç nokta veya vektör arama uç noktası sunan modelin adı |
endpoint_id |
Dize | Kullanım kaydıyla ilişkili uç noktayı veya vektör arama uç noktasını sunan modelin kimliği |
central_clean_room_id |
Dize | Kullanım kaydıyla ilişkili merkezi temiz odanın kimliği |
metastore_id |
Dize | Kullanım kaydıyla ilişkili meta veri deposunun kimliği. |
app_id |
Dize | Kullanım kaydıyla ilişkili uygulamanın kimliği. |
app_name |
Dize | Kullanım kaydıyla ilişkili uygulamanın kullanıcı tarafından verilen adı. |
Kimlik meta veri referansı
identity_metadata
column sunucusuz faturalama kaydından kimin sorumlu olduğunu belirlemenize yardımcı olabilir.
column, kullanımı bir kimliğe bağlayan bir run_as
değeri içerir.
Ayrıca Databricks Apps'e atfedilen kullanım, identity_metadata.created_by
alanında bir değer kaydediyor. Bu değer, uygulamayı oluşturan kullanıcının e-postasıyla doldurulur.
içinde identity_metadata.run_as
kaydedilen kimlik, kullanımla ilişkili ürüne bağlıdır. Aşağıdaki table'ye identity_metadata.run_as
davranışı için başvurun:
İş yükü türü | Kimliği run_as |
---|---|
İşler işlem | Ayarında run_as tanımlanan kullanıcı veya hizmet sorumlusu. Varsayılan olarak, işler iş sahibinin kimliği olarak çalışır, ancak yöneticiler bunu başka bir kullanıcı veya hizmet sorumlusu olarak değiştirebilir. |
İşler için sunucusuz işlem | Ayarında run_as tanımlanan kullanıcı veya hizmet sorumlusu. Varsayılan olarak, işler iş sahibinin kimliği olarak çalışır, ancak yöneticiler bunu başka bir kullanıcı veya hizmet sorumlusu olarak değiştirebilir. |
Not defterleri için sunucusuz işlem | Not defteri komutlarını çalıştıran kullanıcı (özellikle not defteri oturumunu oluşturan kullanıcı). Paylaşılan not defterleri için bu, aynı not defteri oturumunu paylaşan diğer kullanıcıların kullanımını içerir. |
Delta Live Tables işlem hatları | Delta Live Tables işlem hattını çalıştırmak için izinleri kullanılan kullanıcı. Bu işlem hattının sahipliği aktarılarak değiştirilebilir. |
Temel Modelde İnce Ayarlama | İnce ayar eğitim çalıştırmasını başlatan kullanıcı veya hizmet sorumlusu. |
Tahmine dayalı iyileştirme | Tahmine dayalı iyileştirme işlemleri çalıştıran Databricks'e ait hizmet sorumlusu. |
Lakehouse sistemi izleme | İzleyiciyi oluşturan kullanıcı. |
Kayıt türü referansı
billing.usage
table düzeltmeleri destekler. Düzeltmeler, kullanım kaydının herhangi bir alanı yanlış olduğunda ve düzeltilmesi gerektiğinde oluşur.
Bir düzeltme gerçekleştiğinde Azure Databricks tableiki yeni kayıt ekler. Geri çekme kaydı özgün yanlış kaydı yok eder, sonra bir yeniden ifade kaydı düzeltilen bilgileri içerir. Düzeltme kayıtları şu alan kullanılarak record_type
tanımlanır:
-
RETRACTION
: Özgün yanlış kullanımı azaltmak için kullanılır. Tüm alanlar, özgün kullanım miktarını iptal eden negatif bir değer olan dışındakiORIGINAL
kayıtla aynıdırusage_quantity
. Örneğin, özgün kaydın kullanım miktarı ise259.4356
, geri çekme kaydı kullanım miktarına-259.4356
sahip olur. -
RESTATEMENT
: Doğru alanları ve kullanım miktarını içeren kayıt.
Örneğin aşağıdaki sorgu, düzeltmeler yapılmış olsa bile ile job_id
ilgili doğru saatlik kullanım miktarını döndürür. Kullanım miktarı toplanarak, geri çekme kaydı özgün kaydı ortadan kaldırır ve yalnızca yeniden ifadenin values'si döndürülür.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Not
where düzeltmeleri için, özgün kullanım kaydının yazılmaması gerekir; bu düzeltme yalnızca bir geri çekme kaydı ekleyebilir ve hiçbir yeniden açıklama kaydı ekleyemez.
Faturalama kaynağı ürün referansı
Bazı Databricks ürünleri aynı paylaşılan SKU kapsamında faturalandırılır. kullanımı ayırt etmeye yardımcı olmak için billing_origin_product
ve product_features
columns, kullanımla ilişkili belirli ürün ve özellikler hakkında daha fazla içgörü sağlar.
billing_origin_product
column, kullanım kaydıyla ilişkili Databricks ürününü gösterir.
values şunları içerir:
JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
AGENT_EVALUATION
FINE_GRAIN_ACCESS_CONTROL
APPS
: Databricks Apps oluşturma ve çalıştırma maliyetleri
Ürün özellikleri referansı
product_features
column, kullanılan belirli ürün özellikleri hakkında bilgi içeren bir nesnedir ve aşağıdaki anahtar/değer çiftlerini içerir:
-
jobs_tier
: valuesLIGHT
,CLASSIC
veyanull
içerir -
sql_tier
: valuesCLASSIC
,PRO
veyanull
içerir -
dlt_tier
: valuesCORE
,PRO
,ADVANCED
veyanull
içerir -
is_serverless
: valuestrue
veyafalse
ya danull
içerir -
is_photon
: valuestrue
veyafalse
ya danull
içerir -
serving_type
: valuesMODEL
,GPU_MODEL
,FOUNDATION_MODEL
,FEATURE
veyanull
içerir
Örnek sorgular
Bu makale aşağıdaki örnek sorguları içerir:
- DBU tüketiminde günlük trend nedir?
- Bu ay boyunca her bir ürünün kaç DBU kullanıldı?
- En çok DBU kullanan işler hangileridir?
- Belirli bir etikete sahip kaynaklara ne kadar kullanım bağlanabilir?
- Ürünleri göster where kullanım artıyor
- Çok Amaçlı İşlem'in (Foton) kullanım trendi nedir?
- Gerçekleştirilmiş bir görünümün veya akışın tableDBU tüketimi nedir?
- Sunucusuz DLT işlem hattının DBU tüketimi nedir?
DBU tüketiminde günlük eğilim nedir?
SELECT
usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
system.billing.usage
WHERE
sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
usage_date
ORDER BY
usage_date ASC
Bu ay boyunca her bir ürünün kaç DBU kullanıldı?
SELECT
billing_origin_product,
usage_date,
sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
month(usage_date) = month(NOW())
AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date
En çok DBU kullanan işler hangileridir?
SELECT
usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
system.billing.usage
WHERE
usage_metadata.job_id IS NOT NULL
GROUP BY
`Job ID`
ORDER BY
`DBUs` DESC
Belirli bir etikete sahip kaynaklara ne kadar kullanım bağlanabilir?
Maliyetleri çeşitli yollarla ayırabilirsiniz. Bu örnek, maliyetleri özel bir etikete göre nasıl ayırabileceğinizi gösterir. Özel etiketin anahtarını ve değerini sorgu parameters'a girin.
SELECT
sku_name,
usage_unit,
SUM(usage_quantity) as `DBUs consumed`
FROM
system.billing.usage
WHERE
custom_tags [:key] = :value
GROUP BY
1,
2
Ürünleri bana göster where kullanım artıyor
SELECT
after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT
billing_origin_product, sum(usage_quantity) as before_dbus
FROM
system.billing.usage
WHERE
usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY
billing_origin_product
) as before
JOIN
(SELECT
billing_origin_product, sum(usage_quantity) as after_dbus
FROM
system.billing.usage
WHERE
usage_date
BETWEEN
"2023-05-01" and "2023-05-30"
GROUP BY
billing_origin_product
) as after
WHERE
before.billing_origin_product = after.billing_origin_product
SORT BY
growth_rate DESC
Tüm Amaçlı İşlem 'in (Foton) kullanım eğilimi nedir?
SELECT
sku_name,
usage_date,
sum(usage_quantity) as `DBUs consumed`
FROM
system.billing.usage
WHERE
year(usage_date) = year(CURRENT_DATE)
AND
sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
usage_date > "2023-04-15"
GROUP BY
sku_name, usage_date
Gerçekleştirilmiş görünüm veya akış tableDBU tüketimi nasıldır?
Belirli bir gerçekleştirilmiş görünüm veya akış getiçin DBU kullanımını ve SKU'yu table için, gerçekleştirilmiş görünüm veya akış tablewhereile ilişkili işlem hattının kimliğine usage_metadata.dlt_pipeline_id
settable kayıtlar için faturalanabilir kullanım sistemine bir sorgu gönderin. gerçekleştirilmiş görünümü veya akış görüntülerken işlem hattı kimliğini Catalog Gezgini'ndeki table sekmesinde bulabilirsiniz.
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
AND usage_start_time > :usage_start_time
GROUP BY
ALL
Sunucusuz DLT işlem hattının DBU tüketimi nedir?
Sunucusuz DLT işlem hattı için DBU kullanımını ve SKU'yu get için, işlem hattının kimliğine tablewhereusage_metadata.dlt_pipeline_id
kayıtlar için faturalanabilir kullanım sistemine set bir sorgu gönderin. Delta Live kullanıcı arabiriminde işlem hattını görüntülerken işlem hattı kimliğini Tables sekmesinde bulabilirsiniz. Tüketimi tarihe göre isteğe bağlı olarak limit yapmak için bir başlangıç tarihi, bitiş tarihi veya tarih aralığı belirtin.
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
AND usage_start_time >= :usage_start_time
AND usage_end_time < :usage_end_time
GROUP BY
ALL