Informazioni di riferimento sulla tabella di sistema di ottimizzazione predittiva

Questo articolo descrive lo schema della tabella della cronologia delle operazioni di ottimizzazione predittiva e fornisce query di esempio. L'ottimizzazione predittiva ottimizza il layout dei dati per migliorare le prestazioni e l'efficienza dei costi. La tabella di sistema tiene traccia della cronologia delle operazioni di questa funzionalità. Per informazioni sull'ottimizzazione predittiva, vedere Ottimizzazione predittiva per le tabelle gestite del catalogo Unity.

Percorso tabella: questa tabella di sistema si trova in system.storage.predictive_optimization_operations_history.

Considerazioni sul recapito

• Il popolamento dei dati può richiedere fino a 24 ore.
• L'ottimizzazione predittiva potrebbe eseguire più operazioni nello stesso cluster. In tal caso, la condivisione di DPU attribuite a ognuna delle più operazioni è approssimativa. Questo è il usage_unit motivo per cui è impostato su ESTIMATED_DBU. Tuttavia, il numero totale di UNITÀ di database spese nel cluster sarà accurato.

Schema della tabella di ottimizzazione predittiva

La tabella di sistema della cronologia delle operazioni di ottimizzazione predittiva usa lo schema seguente:

Metriche operative

Le metriche registrate nella operation_metrics colonna variano a seconda del tipo di operazione:

• COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, number_of_output_filesamount_of_output_data_bytes
• VACUUM: number_of_deleted_files, amount_of_data_deleted_bytes
• ANALYZE: amount_of_scanned_bytes, number_of_scanned_files, staleness_percentage_reduced
• CLUSTERING: number_of_removed_files, number_of_clustered_files, amount_of_data_removed_bytesamount_of_clustered_data_bytes

Query di esempio

Le sezioni seguenti includono query di esempio che è possibile usare per ottenere informazioni dettagliate sulla tabella del sistema di ottimizzazione predittiva. Per il funzionamento di queste query, è necessario sostituire i valori tra parentesi graffe {{}} con i propri parametri.

Questo articolo include le query di esempio seguenti:

• Quanti DPU hanno usato l'ottimizzazione predittiva negli ultimi 30 giorni?
• In quali tabelle l'ottimizzazione predittiva ha trascorso di più negli ultimi 30 giorni?
• In quali tabelle viene eseguita l'ottimizzazione predittiva che esegue la maggior parte delle operazioni?
• Per un determinato catalogo, quanti byte totali sono stati compattati?
• Quali tabelle avevano il maggior numero di byte a vuoto?
• Qual è la frequenza di successo per le operazioni eseguite dalle ottimizzazioni predittive?

Quanti DPU stimati hanno usato l'ottimizzazione predittiva negli ultimi 30 giorni?

SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

In quali tabelle l'ottimizzazione predittiva ha speso di più negli ultimi 30 giorni (costo stimato)?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

In quali tabelle viene eseguita l'ottimizzazione predittiva che esegue la maggior parte delle operazioni?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

Per un determinato catalogo, quanti byte totali sono stati compattati?

SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = {{metastore_name}}
    AND catalog_name = {{catalog_name}}
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

Quali tabelle avevano il maggior numero di byte a vuoto?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

Qual è la frequenza di successo per le operazioni eseguite dalle ottimizzazioni predittive?

WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts