API Python per l'ingegneria delle funzionalità e l'area di lavoro

Questa pagina fornisce collegamenti alla documentazione dell'API Python di Databricks Feature Engineering e Databricks legacy Workspace Feature Store e informazioni sui pacchetti client databricks-feature-engineering e databricks-feature-store.

Matrice di compatibilità

Il pacchetto e il client da usare dipendono dalla posizione in cui si trovano le tabelle delle funzionalità e dalla versione di Machine Learning di Databricks Runtime in esecuzione, come illustrato nella tabella seguente.

Per identificare la versione del pacchetto incorporata nella versione di Databricks Runtime ML, vedere la matrice di compatibilità progettazione delle funzionalità.

Note sulla versione

Vedere Note di rilascio per l'ingegneria delle funzionalità di Databricks e il Feature Store legacy dell'area di lavoro.

Informazioni di riferimento sulle API Python per la progettazione di funzionalità

Vedere le informazioni di riferimento sull'API Python di progettazione delle funzionalità.

Informazioni di riferimento sulle API Python per l'archivio delle funzionalità dell'area di lavoro (deprecate)

Per databricks-feature-store la versione 0.17.0, vedere Informazioni di riferimento sulle API Python di Databricks FeatureStoreClient in Progettazione delle funzionalità per l'API dell'archivio delle funzionalità più recenti.

Per v0.16.3 e versioni successive, usare i collegamenti nella tabella per scaricare o visualizzare le informazioni di riferimento sull'API Python di Feature Store. Per determinare la versione preinstallata per la versione di Databricks Runtime ML, vedere la matrice di compatibilità.

Pacchetto Python

Questa sezione descrive come installare i pacchetti Python per usare Databricks Feature Engineering e Databricks Workspace Feature Store.

Progettazione delle caratteristiche

Le API di progettazione delle funzionalità di Databricks sono disponibili tramite il pacchetto databricks-feature-engineeringclient Python . Il client è disponibile in PyPI ed è preinstallato in Databricks Runtime 13.3 LTS ML e versioni successive.

Per un riferimento alla versione client corrispondente alla versione di runtime, vedere la matrice di compatibilità.

Per installare il client in Databricks Runtime:

%pip install databricks-feature-engineering

Per installare il client in un ambiente Python locale:

pip install databricks-feature-engineering

Archivio funzionalità dell'area di lavoro (deprecato)

Le API dell'archivio funzionalità di Databricks sono disponibili tramite il pacchetto databricks-feature-storeclient Python. Il client è disponibile in PyPI ed è preinstallato in Databricks Runtime per Machine Learning. Per informazioni di riferimento sul runtime che include la versione client, vedere la matrice di compatibilità.

Per installare il client in Databricks Runtime:

%pip install databricks-feature-store

Per installare il client in un ambiente Python locale:

pip install databricks-feature-store

Eseguire la migrazione a databricks-feature-engineering

Per installare il databricks-feature-engineering pacchetto, usare pip install databricks-feature-engineering invece di pip install databricks-feature-store. Tutti i moduli in sono stati spostati databricks-feature-storein databricks-feature-engineering , quindi non è necessario modificare alcun codice. Le istruzioni import, from databricks.feature_store import FeatureStoreClient ad esempio , continueranno a funzionare dopo l'installazione databricks-feature-engineeringdi .

Per usare le tabelle delle funzionalità in Unity Catalog, usare FeatureEngineeringClient. Per usare l'archivio funzionalità dell'area di lavoro, è necessario usare FeatureStoreClient.

Scenari supportati

In Databricks, incluso Databricks Runtime e Databricks Runtime per Machine Learning, è possibile:

• Creare, leggere e scrivere tabelle delle funzionalità.
• Eseguire il training e il punteggio dei modelli sui dati delle funzionalità.
• Pubblicare tabelle delle funzionalità negli archivi online per la gestione in tempo reale.

Da un ambiente locale o da un ambiente esterno a Databricks, è possibile:

• Sviluppare codice con il supporto dell'IDE locale.
• Unit test usando framework fittizi.
• Scrivere test di integrazione da eseguire in Databricks.

Limiti

La libreria client può essere eseguita solo in Databricks, tra cui Databricks Runtime e Databricks Runtime per Machine Learning. Non supporta la chiamata di Progettazione funzionalità in Unity Catalog o API di Feature Store da un ambiente locale o da un ambiente diverso da Databricks.

Usare i client per unit test

È possibile installare la progettazione delle funzionalità nel client del catalogo Unity o il client di Feature Store in locale per facilitare l'esecuzione di unit test.

Ad esempio, per verificare che un metodo update_customer_features chiami FeatureEngineeringClient.write_table correttamente (o per l'archivio delle funzionalità dell'area di lavoro, FeatureStoreClient.write_table), è possibile scrivere:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Usare i client per i test di integrazione

È possibile eseguire test di integrazione con la progettazione delle funzionalità nel client di Catalogo Unity o con il client di Feature Store in Databricks. Per informazioni dettagliate, vedere Developer Tools and Guidance: Use CI/CD (Strumenti di sviluppo e indicazioni: usare CI/CD).