Aracılığıyla paylaş


Faturalanabilir kullanım sistemi table referansı

Bu makalede, table ve örnek sorgular dahil olmak üzere schemafaturalanabilir kullanım sistemine genel bir bakış sağlanır. Sistem tablesile hesabınızın faturalanabilir kullanım verileri merkezileştirilir ve tüm bölgelere yönlendirilir, böylece çalışma alanınızın bulunduğu bölgeden hesabınızın genel kullanımını görüntüleyebilirsiniz.

İş maliyetlerini izlemek için bu kullanma hakkında bilgi için bkz. sistem ile iş maliyetlerini & performansı izleme .

Sunucusuz kullanımı analiz etme stratejileri için bkz . Sunucusuz işlemin maliyetini izleme.

Table yol: Bu sistem tablesystem.billing.usagekonumunda bulunur.

Faturalanabilir kullanım tableschema

Faturalanabilir kullanım sistemi table aşağıdaki schemakullanır:

Column adı Veri türü Açıklama Örnek
record_id Dize Bu kullanım kaydı için benzersiz kimlik 11e22ba4-87b9-4cc2
-9770-d10b894b7118
account_id Dize Bu raporun oluşturulduğu hesabın kimliği 23e22ba4-87b9-4cc2
-9770-d10b894b7118
workspace_id Dize Bu kullanımın ilişkilendirildiği Çalışma Alanının kimliği 1234567890123456
sku_name Dize SKU'nun adı STANDARD_ALL_PURPOSE_COMPUTE
cloud Dize Bu kullanımın ilgili olduğu bulut. Olası values, AWS, AZUREve GCP'tür. AWS, AZURE veya GCP
usage_start_time timestamp Bu kullanım kaydıyla ilgili başlangıç saati. Timezone bilgi, UTC +00:00'yi temsil eden timezone ile değerin sonunda kaydedilir. 2023-01-09 10:00:00.000+00:00
usage_end_time timestamp Bu kullanım kaydıyla ilgili bitiş saati. Timezone bilgi, UTC +00:00'yi temsil eden timezone ile değerin sonunda kaydedilir. 2023-01-09 11:00:00.000+00:00
usage_date tarih Kullanım kaydının tarihi, bu alan tarihe göre daha hızlı toplama için kullanılabilir 2023-01-01
custom_tags map Bu kullanıma uygulanan etiketler. İşlem kaynağı etiketlerini, iş etiketlerini, çalışma alanı özel etiketlerini ve bütçe ilkesi etiketlerini içerir. { “env”: “production” }
usage_unit Dize Bu kullanımın ölçülmüş olduğu birim. Olası values DBU'ları içerir. DBU
usage_quantity ondalık Bu kayıt için kullanılan birim sayısı. 259.2958
usage_metadata struct İşlem kaynakları ve işleri için kimlikler de dahil olmak üzere kullanım hakkında sistem tarafından sağlanan meta veriler (varsa). Bkz. Kullanım meta verileri referansı. {cluster_id: null;
instance_pool_id: null;
notebook_id: null;
job_id: null;
node_type: null}
identity_metadata struct Kullanıma dahil olan kimlikler hakkında sistem tarafından sağlanan meta veriler. Bkz. Kimlik meta veri başvurusu. {"run_as": example@email.com,"created_by":null}
record_type Dize Kaydın özgün, geri çekme veya yeniden ifade olup olmadığı. Kayıt bir düzeltmeyle ilgili olmadığı sürece değerdir ORIGINAL . Bkz. Kayıt türü referansı. ORIGINAL
ingestion_date tarih Kaydın usagetable'e eklendiği tarih. 2024-01-01
billing_origin_product Dize Kullanımı oluşturan ürün. Bazı ürünler farklı SKU'lar olarak faturalandırılabilir. Olası valuesiçin bkz. Faturalama kaynağı ürün başvurusu. JOBS
product_features struct Kullanılan belirli ürün özellikleri hakkındaki ayrıntılar. Olası valuesiçin, Ürün özelliklerinebakınız.
usage_type Dize Faturalama amacıyla ürüne veya iş yüküne atfedilen kullanım türü. Olası valuesCOMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, API_OPERATION, TOKENveya GPU_TIMEolabilir. STORAGE_SPACE

Kullanım meta verileri referansı

values'daki usage_metadata, kullanım kaydında yer alan nesneler ve kaynaklar hakkında bilgi verir.

Değer Veri türü Açıklama
cluster_id Dize Kullanım kaydıyla ilişkili kümenin kimliği
warehouse_id Dize Kullanım kaydıyla ilişkili SQL ambarının kimliği
instance_pool_id Dize Kullanım kaydıyla ilişkili örnek havuzunun kimliği
node_type Dize İşlem kaynağının örnek türü
job_id Dize Kullanım kaydıyla ilişkili işin kimliği. Yalnızca sunucusuz işlem veya iş işlem kullanımı için bir değer döndürür, aksi takdirde döndürür null.
job_run_id Dize Kullanım kaydıyla ilişkili iş çalıştırmasının kimliği. Yalnızca sunucusuz işlem veya iş işlem kullanımı için bir değer döndürür, aksi takdirde döndürür null.
job_name Dize Kullanım kaydıyla ilişkili işin kullanıcı tarafından verilen adı. Yalnızca sunucusuz işlemde çalıştırılacak işler için bir değer döndürür, aksi takdirde döndürür null.
notebook_id Dize Kullanımla ilişkili not defterinin kimliği. Yalnızca not defteri kullanımı için sunucusuz işlem için bir değer döndürür, aksi takdirde döndürür null.
notebook_path Dize Kullanımla ilişkili not defterinin çalışma alanı depolama yolu. Yalnızca not defteri kullanımı için sunucusuz işlem için bir değer döndürür, aksi takdirde döndürür null.
dlt_pipeline_id Dize Kullanım kaydıyla ilişkili Delta Live Tables işlem hattının kimliği
dlt_update_id Dize Kullanım kaydıyla ilişkili Delta Live Tables işlem hattı update kimliği
dlt_maintenance_id Dize Kullanım kaydıyla ilişkili Delta Live Tables boru hattı bakım görevlerinin kimliği
run_name Dize Kullanım kaydıyla ilişkili Temel Model İnce Ayarlama'nın kullanıcıya yönelik benzersiz identifier
endpoint_name Dize Kullanım kaydıyla ilişkili uç nokta veya vektör arama uç noktası sunan modelin adı
endpoint_id Dize Kullanım kaydıyla ilişkili uç noktayı veya vektör arama uç noktasını sunan modelin kimliği
central_clean_room_id Dize Kullanım kaydıyla ilişkili merkezi temiz odanın kimliği
metastore_id Dize Kullanım kaydıyla ilişkili meta veri deposunun kimliği.
app_id Dize Kullanım kaydıyla ilişkili uygulamanın kimliği.
app_name Dize Kullanım kaydıyla ilişkili uygulamanın kullanıcı tarafından verilen adı.

Kimlik meta veri referansı

identity_metadata column sunucusuz faturalama kaydından kimin sorumlu olduğunu belirlemenize yardımcı olabilir. column, kullanımı bir kimliğe bağlayan bir run_as değeri içerir.

Ayrıca Databricks Apps'e atfedilen kullanım, identity_metadata.created_by alanında bir değer kaydediyor. Bu değer, uygulamayı oluşturan kullanıcının e-postasıyla doldurulur.

içinde identity_metadata.run_as kaydedilen kimlik, kullanımla ilişkili ürüne bağlıdır. Aşağıdaki table'ye identity_metadata.run_as davranışı için başvurun:

İş yükü türü Kimliği run_as
İşler işlem Ayarında run_as tanımlanan kullanıcı veya hizmet sorumlusu. Varsayılan olarak, işler iş sahibinin kimliği olarak çalışır, ancak yöneticiler bunu başka bir kullanıcı veya hizmet sorumlusu olarak değiştirebilir.
İşler için sunucusuz işlem Ayarında run_as tanımlanan kullanıcı veya hizmet sorumlusu. Varsayılan olarak, işler iş sahibinin kimliği olarak çalışır, ancak yöneticiler bunu başka bir kullanıcı veya hizmet sorumlusu olarak değiştirebilir.
Not defterleri için sunucusuz işlem Not defteri komutlarını çalıştıran kullanıcı (özellikle not defteri oturumunu oluşturan kullanıcı). Paylaşılan not defterleri için bu, aynı not defteri oturumunu paylaşan diğer kullanıcıların kullanımını içerir.
Delta Live Tables işlem hatları Delta Live Tables işlem hattını çalıştırmak için izinleri kullanılan kullanıcı. Bu işlem hattının sahipliği aktarılarak değiştirilebilir.
Temel Modelde İnce Ayarlama İnce ayar eğitim çalıştırmasını başlatan kullanıcı veya hizmet sorumlusu.
Tahmine dayalı iyileştirme Tahmine dayalı iyileştirme işlemleri çalıştıran Databricks'e ait hizmet sorumlusu.
Lakehouse sistemi izleme İzleyiciyi oluşturan kullanıcı.

Kayıt türü referansı

billing.usage table düzeltmeleri destekler. Düzeltmeler, kullanım kaydının herhangi bir alanı yanlış olduğunda ve düzeltilmesi gerektiğinde oluşur.

Bir düzeltme gerçekleştiğinde Azure Databricks tableiki yeni kayıt ekler. Geri çekme kaydı özgün yanlış kaydı yok eder, sonra bir yeniden ifade kaydı düzeltilen bilgileri içerir. Düzeltme kayıtları şu alan kullanılarak record_type tanımlanır:

  • RETRACTION: Özgün yanlış kullanımı azaltmak için kullanılır. Tüm alanlar, özgün kullanım miktarını iptal eden negatif bir değer olan dışındaki ORIGINALkayıtla aynıdırusage_quantity. Örneğin, özgün kaydın kullanım miktarı ise 259.4356, geri çekme kaydı kullanım miktarına -259.4356sahip olur.
  • RESTATEMENT: Doğru alanları ve kullanım miktarını içeren kayıt.

Örneğin aşağıdaki sorgu, düzeltmeler yapılmış olsa bile ile job_idilgili doğru saatlik kullanım miktarını döndürür. Kullanım miktarı toplanarak, geri çekme kaydı özgün kaydı ortadan kaldırır ve yalnızca yeniden ifadenin values'si döndürülür.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Not

where düzeltmeleri için, özgün kullanım kaydının yazılmaması gerekir; bu düzeltme yalnızca bir geri çekme kaydı ekleyebilir ve hiçbir yeniden açıklama kaydı ekleyemez.

Faturalama kaynağı ürün referansı

Bazı Databricks ürünleri aynı paylaşılan SKU kapsamında faturalandırılır. kullanımı ayırt etmeye yardımcı olmak için billing_origin_product ve product_featurescolumns, kullanımla ilişkili belirli ürün ve özellikler hakkında daha fazla içgörü sağlar.

billing_origin_product column, kullanım kaydıyla ilişkili Databricks ürününü gösterir. values şunları içerir:

  • JOBS

  • DLT

  • SQL

  • ALL_PURPOSE

  • MODEL_SERVING

  • INTERACTIVE

  • DEFAULT_STORAGE

  • VECTOR_SEARCH

  • LAKEHOUSE_MONITORING

  • PREDICTIVE_OPTIMIZATION

  • ONLINE_TABLES

  • FOUNDATION_MODEL_TRAINING

  • AGENT_EVALUATION

  • FINE_GRAIN_ACCESS_CONTROL

  • APPS: Databricks Apps oluşturma ve çalıştırma maliyetleri

Ürün özellikleri referansı

product_features column, kullanılan belirli ürün özellikleri hakkında bilgi içeren bir nesnedir ve aşağıdaki anahtar/değer çiftlerini içerir:

  • jobs_tier: valuesLIGHT, CLASSICveya null içerir
  • sql_tier: valuesCLASSIC, PROveya null içerir
  • dlt_tier: valuesCORE, PRO, ADVANCEDveya null içerir
  • is_serverless: valuestrue veya falseya da null içerir
  • is_photon: valuestrue veya falseya da null içerir
  • serving_type: valuesMODEL, GPU_MODEL, FOUNDATION_MODEL, FEATUREveya null içerir

Örnek sorgular

Bu makale aşağıdaki örnek sorguları içerir:

DBU tüketiminde günlük eğilim nedir?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

Bu ay boyunca her bir ürünün kaç DBU kullanıldı?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

En çok DBU kullanan işler hangileridir?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

Belirli bir etikete sahip kaynaklara ne kadar kullanım bağlanabilir?

Maliyetleri çeşitli yollarla ayırabilirsiniz. Bu örnek, maliyetleri özel bir etikete göre nasıl ayırabileceğinizi gösterir. Özel etiketin anahtarını ve değerini sorgu parameters'a girin.

SELECT
  sku_name,
  usage_unit,
  SUM(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  custom_tags [:key] = :value
GROUP BY
  1,
  2

Ürünleri bana göster where kullanım artıyor

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

Tüm Amaçlı İşlem 'in (Foton) kullanım eğilimi nedir?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

Gerçekleştirilmiş görünüm veya akış tableDBU tüketimi nasıldır?

Belirli bir gerçekleştirilmiş görünüm veya akış getiçin DBU kullanımını ve SKU'yu table için, gerçekleştirilmiş görünüm veya akış tablewhereile ilişkili işlem hattının kimliğine usage_metadata.dlt_pipeline_idsettable kayıtlar için faturalanabilir kullanım sistemine bir sorgu gönderin. gerçekleştirilmiş görünümü veya akış görüntülerken işlem hattı kimliğini Catalog Gezgini'ndeki table sekmesinde bulabilirsiniz.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time > :usage_start_time
GROUP BY
  ALL

Sunucusuz DLT işlem hattının DBU tüketimi nedir?

Sunucusuz DLT işlem hattı için DBU kullanımını ve SKU'yu get için, işlem hattının kimliğine tablewhereusage_metadata.dlt_pipeline_id kayıtlar için faturalanabilir kullanım sistemine set bir sorgu gönderin. Delta Live kullanıcı arabiriminde işlem hattını görüntülerken işlem hattı kimliğini Tables sekmesinde bulabilirsiniz. Tüketimi tarihe göre isteğe bağlı olarak limit yapmak için bir başlangıç tarihi, bitiş tarihi veya tarih aralığı belirtin.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time >= :usage_start_time
  AND usage_end_time < :usage_end_time
GROUP BY
  ALL