예측 최적화 시스템 테이블 참조

이 문서에서는 예측 최적화 작업 기록 테이블 스키마를 간략하게 설명하고 샘플 쿼리를 제공합니다. 예측 최적화는 최고 성능 및 비용 효율성을 위해 데이터 레이아웃을 최적화합니다. 시스템 테이블은 이 기능의 작업 기록을 추적합니다. 예측 최적화에 대한 자세한 내용은 Unity 카탈로그 관리 테이블에 대한 예측 최적화를 참조 하세요.

테이블 경로: 이 시스템 테이블은 .에 있습니다 system.storage.predictive_optimization_operations_history.

배달 고려 사항

• 데이터를 채우는 데 최대 24시간이 걸릴 수 있습니다.
• 예측 최적화는 동일한 클러스터에서 여러 작업을 실행할 수 있습니다. 이 경우 각 다중 작업에 기인하는 DPU의 공유는 근사값입니다. 이 때문에 . usage_unit 로 설정됩니다 ESTIMATED_DBU. 그럼에도 불구하고 클러스터에 소요된 총 DPU 수는 정확합니다.

예측 최적화 테이블 스키마

예측 최적화 작업 기록 시스템 테이블은 다음 스키마를 사용합니다.

작업 메트릭

열에 operation_metrics 기록된 메트릭은 작업 유형에 따라 달라집니다.

• COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, number_of_output_filesamount_of_output_data_bytes
• VACUUM: number_of_deleted_files, amount_of_data_deleted_bytes
• ANALYZE: amount_of_scanned_bytes, number_of_scanned_files, staleness_percentage_reduced
• CLUSTERING: number_of_removed_files, number_of_clustered_files, amount_of_data_removed_bytesamount_of_clustered_data_bytes

예제 쿼리

다음 섹션에는 예측 최적화 시스템 테이블에 대한 인사이트를 얻는 데 사용할 수 있는 샘플 쿼리가 포함되어 있습니다. 이러한 쿼리가 작동하려면 중괄호 안의 값을 사용자 고유의 {{}} 매개 변수로 바꿔야 합니다.

이 문서에는 다음 예제 쿼리가 포함되어 있습니다.

• 지난 30일 동안 사용된 예측 최적화가 있는 DPU는 몇 개입니까?
• 예측 최적화가 지난 30일 동안 가장 많은 시간을 소비한 테이블은 무엇입니까?
• 가장 많은 작업을 수행하는 예측 최적화 테이블은 무엇인가요?
• 지정된 카탈로그의 경우 압축된 총 바이트 수
• 가장 많은 바이트가 진공된 테이블은 무엇인가요?
• 예측 최적화를 통해 실행되는 작업의 성공률은 무엇인가요?

지난 30일 동안 사용된 예측 최적화가 있는 예상 DTU는 몇 개입니까?

SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

예측 최적화가 지난 30일 동안 가장 많이 지출한 테이블(예상 비용)은 어느 것인가요?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

가장 많은 작업을 수행하는 예측 최적화 테이블은 무엇인가요?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

지정된 카탈로그의 경우 압축된 총 바이트 수

SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = {{metastore_name}}
    AND catalog_name = {{catalog_name}}
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

가장 많은 바이트가 진공된 테이블은 무엇인가요?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

예측 최적화를 통해 실행되는 작업의 성공률은 무엇인가요?

WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts