컴퓨팅 시스템 테이블 참조

이 문서에서는 컴퓨팅 시스템 테이블에 대한 참조 가이드를 제공합니다. 다음 테이블을 사용하여 계정에서 다목적 및 작업 컴퓨팅의 활동 및 메트릭을 모니터링할 수 있습니다.

• clusters: 계정에 컴퓨팅 구성을 기록합니다.
• node_types: 하드웨어 정보를 포함하여 현재 사용 가능한 각 노드 유형에 대한 단일 레코드를 포함합니다.
• node_timeline: 컴퓨팅의 사용률 메트릭에 대한 분별 레코드를 포함합니다.

클러스터 테이블 스키마

클러스터 테이블은 다목적 및 작업 컴퓨팅에 대한 시간 경과에 따른 컴퓨팅 구성의 전체 기록을 포함하는 느린 변경 차원 테이블입니다.

테이블 경로: 이 시스템 테이블은 에 있습니다. system.compute.clusters

노드 형식 테이블 스키마

노드 유형 테이블은 기본 하드웨어 정보를 사용하여 현재 사용 가능한 노드 형식을 캡처합니다.

테이블 경로: 이 시스템 테이블은 .에 있습니다 system.compute.node_types.

노드 타임라인 테이블 스키마

노드 타임라인 테이블은 분 단위로 노드 수준 리소스 사용률 데이터를 캡처합니다. 각 레코드에는 인스턴스당 지정된 시간 동안의 데이터가 포함됩니다.

테이블 경로: 이 시스템 테이블은 .에 있습니다 system.compute.node_timeline.

알려진 제한 사항

• 2023년 10월 23일 이전에 삭제된 것으로 표시된 컴퓨팅 리소스는 클러스터 테이블에 표시되지 않습니다. 이로 인해 테이블의 조인이 클러스터 테이블의 system.billing.usage 레코드와 일치하지 않을 수 있습니다. 모든 활성 컴퓨팅 리소스가 백필되었습니다.
• 이러한 테이블에는 다목적 및 작업 컴퓨팅에 대한 레코드만 포함됩니다. 서버리스 컴퓨팅, Delta Live Tables 컴퓨팅 또는 SQL 웨어하우스에 대한 레코드는 포함되지 않습니다.
• 10분 미만 동안 실행된 노드는 테이블에 표시되지 node_timeline 않을 수 있습니다.

샘플 쿼리

다음 샘플 쿼리를 사용하여 일반적인 질문에 대답할 수 있습니다.

• 가장 최근 청구 레코드를 사용하여 클러스터 레코드 조인
• 클러스터 소유자에 대한 특성 비용
• 평균 사용률이 가장 높고 사용률이 가장 높은 컴퓨팅 리소스 식별

가장 최근 청구 레코드를 사용하여 클러스터 레코드 조인

이 쿼리는 시간 경과에 따른 지출을 이해하는 데 도움이 될 수 있습니다. 최신 청구 기간으로 업데이트 usage_start_time 한 후에는 청구 레코드에 대한 최신 업데이트를 받아 클러스터 데이터에 조인합니다.

각 레코드는 해당 특정 실행 중에 클러스터 소유자와 연결됩니다. 따라서 클러스터 소유자가 변경되면 클러스터가 사용된 시기에 따라 비용이 올바른 소유자에게 롤업됩니다.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

클러스터 소유자에 대한 특성 비용

컴퓨팅 비용을 줄이려는 경우 이 쿼리를 사용하여 계정에서 가장 많은 DTU를 사용하는 클러스터 소유자를 확인할 수 있습니다.

SELECT
  u.record_id record_id,
  c.cluster_id cluster_id,
  max_by(c.owned_by, c.change_time) owned_by,
  max(c.change_time) change_time,
  any_value(u.usage_start_time) usage_start_time,
  any_value(u.usage_quantity) usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and c.change_time <= u.usage_start_time
GROUP BY 1, 2
ORDER BY cluster_id, usage_start_time desc;

평균 사용률이 가장 높고 사용률이 가장 높은 컴퓨팅 리소스 식별

평균 CPU 사용률이 가장 높고 최고 CPU 사용률이 가장 높은 다목적 및 작업 컴퓨팅을 식별합니다.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;