Önleyici iyileştirme sistemi table referansı

Bu makalede tableschema tahmine dayalı iyileştirme işlemi geçmişi özetlenmiştir ve örnek sorgular sağlanır. Tahmine dayalı iyileştirme, en yüksek performans ve maliyet verimliliği için veri düzeninizi iyileştirir. Sistem table bu özelliğin işlem geçmişini izler. Tahmine dayalı iyileştirme hakkında bilgi için bkz. Unity için tahmine dayalı iyileştirme Catalog yönetilen tables.

Table yol: Bu sistem tablesystem.storage.predictive_optimization_operations_historykonumunda bulunur.

Teslimatla ilgili dikkat edilmesi gerekenler

• Verilerin doldurulabilmesi 24 saate kadar sürebilir.
• Tahmine dayalı iyileştirme aynı kümede birden çok işlem çalıştırabilir. Bu durumda, birden çok işlemin her birine atfedilen DBU'ların payı yaklaşık olarak ayarlanır. Bu nedenle usage_unit, setiçin ESTIMATED_DBU'dir. Yine de kümede harcanan toplam DSU sayısı doğru olacaktır.

Tahmine dayalı iyileştirme tableschema

Tahmine dayalı iyileştirme işlem geçmişi sistemi table aşağıdaki schemakullanır:

İşlem ölçümleri

operation_metrics column kaydedilen ölçümler işlem türüne bağlı olarak değişir:

• COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, number_of_output_files, amount_of_output_data_bytes
• VACUUM: number_of_deleted_files, amount_of_data_deleted_bytes
• ANALYZE: amount_of_scanned_bytes, number_of_scanned_files, staleness_percentage_reduced
• CLUSTERING: number_of_removed_files, number_of_clustered_files, amount_of_data_removed_bytes, amount_of_clustered_data_bytes

Örnek sorgular

Aşağıdaki bölümler, tabletahmine dayalı iyileştirme sistemi hakkında içgörüler elde etmek için kullanabileceğiniz örnek sorguları içerir. Bu sorguların çalışması için values parametresini kendi valuesile değiştirmeniz gerekir.

Bu makale aşağıdaki örnek sorguları içerir:

• Son 30 gün içinde tahmine dayalı optimizasyon tarafından kullanılan tahmini DBU sayısı kaçtır?
• Tahmine dayalı optimizasyonun son 30 gün içinde en çok harcama yaptığı tables (tahmini maliyet)?
• Tahmine dayalı iyileştirme, en çok işlemi hangi tables üzerinde gerçekleştiriyor?
• Belirli bir catalogiçin toplam kaç bayt sıkıştırıldı?
• En çok bayt vakumlanan tables hangisidir?
• Tahmine dayalı iyileştirmeler tarafından çalıştırılan işlemlerin başarı oranı nedir?

Son 30 gün içinde tahmine dayalı iyileştirme kullanılan tahmini DSU sayısı kaçtır?

SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

Tahminsel optimizasyonun son 30 gün içinde en çok harcama yaptığı tables hangisidir (tahmini maliyet)?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

En çok işlem gerçekleştiren tahmine dayalı iyileştirme hangi tables?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

Belirli bir catalogiçin toplam kaç bayt sıkıştırıldı?

SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = :metastore_name
    AND catalog_name = :catalog_name
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

En fazla bayt vakumlanan tables hangisidir?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

Tahmine dayalı iyileştirmeler tarafından çalıştırılan işlemlerin başarı oranı nedir?

WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts