Informations de référence sur les tables système de calcul

Cet article vous fournit un guide de référence pour les tables de système de calcul. Vous pouvez utiliser ces tables pour surveiller l’activité et les mesures de calcul à usage unique et de travaux dans votre compte :

• clusters : enregistre les configurations de calcul dans votre compte.
• node_types : inclut un enregistrement unique pour chacun des types de nœuds actuellement disponibles, y compris les informations matérielles.
• node_timeline : inclut des enregistrements minute par minute des mesures d’utilisation de votre calcul.

Schéma de table de cluster

La table de cluster est une table de dimension à variation lente qui contient l’historique complet des configurations de calcul au fil du temps pour les clusters universels et les clusters de travaux.

Chemin d’accès de la table : cette table système se trouve à l’emplacement system.compute.clusters

Schéma de la table des types de nœud

La table des types de nœud capture les types de nœud actuellement disponibles avec leurs informations matérielles de base.

Chemin d’accès de la table : cette table système se trouve à l’emplacement system.compute.node_types.

Schéma de la table de chronologie de nœud

La table de chronologie de nœud capture les données d’utilisation des ressources au niveau du nœud à une granularité minute. Chaque enregistrement contient des données pendant une minute donnée de temps par instance.

Chemin d’accès de la table : cette table système se trouve à l’emplacement system.compute.node_timeline.

Limitations connues

• Les ressources de calcul qui ont été marqués comme supprimés avant le 23 octobre 2023 ne sont pas indiquées dans la table des clusters. Cela peut entraîner des jointures à partir de la table system.billing.usage qui ne correspondent pas aux enregistrements dans la table des clusters. Toutes les ressources de calcul actives ont été renvoyées.
• Ces tables comprennent uniquement les enregistrements des calculs universels et de travaux. Ils ne contiennent pas d’enregistrements pour le calcul serverless, le calcul Delta Live Tables ou les entrepôts SQL.
• Les nœuds exécutés pendant moins de 10 minutes peuvent ne pas apparaître dans la table node_timeline.

Exemples de requêtes

Vous pouvez utiliser les exemples de requêtes suivants pour répondre aux questions courantes :

• Joindre les enregistrements de cluster aux enregistrements de facturation les plus récents
• Attribuer les coûts au propriétaire du cluster
• Identifier les ressources de calcul avec l’utilisation moyenne la plus élevée et l’utilisation maximale

Joindre les enregistrements de cluster aux enregistrements de facturation les plus récents

Cette requête peut vous aider à comprendre les dépenses au fil du temps. Dès que vous mettez à jour usage_start_time sur la période de facturation la plus récente, il récupère les mises à jour les plus récentes des enregistrements de facturation à joindre aux données de clusters.

Chaque enregistrement est associé au propriétaire du cluster pendant cette exécution particulière. Par conséquent, si le propriétaire du cluster change, les coûts sont regroupés pour le propriétaire approprié en fonction de l’utilisation du cluster.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Attribuer les coûts au propriétaire du cluster

Si vous voulez réduire les coûts de calcul, vous pouvez utiliser cette requête pour déterminer les propriétaires de cluster dans votre compte qui utilisent les plus de DBU.

SELECT
  u.record_id record_id,
  c.cluster_id cluster_id,
  max_by(c.owned_by, c.change_time) owned_by,
  max(c.change_time) change_time,
  any_value(u.usage_start_time) usage_start_time,
  any_value(u.usage_quantity) usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and c.change_time <= u.usage_start_time
GROUP BY 1, 2
ORDER BY cluster_id, usage_start_time desc;

Identifier les ressources de calcul avec l’utilisation moyenne la plus élevée et l’utilisation maximale

Identifiez le calcul à usage universel et de travaux qui ont la plus forte utilisation moyenne du processeur et l’utilisation maximale du processeur.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;