Engenharia de recursos e espaço de trabalho Repositório de recursos API Python

Esta página fornece links para a documentação da API Python do Databricks Feature Engineering e do Databricks legacy Workspace Feature Store, além de informações sobre os pacotes de cliente databricks-feature-engineering e databricks-feature-store.

Matriz de compatibilidade

O pacote e o cliente que você deve usar dependem de onde suas tabelas de recursos estão localizadas e qual versão do Databricks Runtime ML você está executando, conforme mostrado na tabela a seguir.

Para identificar a versão do pacote incorporada à versão do Databricks Runtime ML, consulte a matriz de compatibilidade do Feature Engineering.

Notas de versão

Consulte Notas de Lançamento para Engenharia de Características do Databricks e Armazenamento de Características do Espaço de Trabalho herdado.

Referência da API Python de Engenharia de Recursos

Consulte a referência da API Python de engenharia de recursos.

Referência da API Python do Repositório de Recursos de Espaço de Trabalho (preterida)

Para databricks-feature-store v0.17.0, consulte Databricks FeatureStoreClient em Feature Engineering Python API reference para obter a referência mais recente da API do Workspace Feature Store.

Para v0.16.3 e abaixo, use os links na tabela para baixar ou exibir a referência da API Python do Feature Store. Para determinar a versão pré-instalada para sua versão do Databricks Runtime ML, consulte a matriz de compatibilidade.

Pacote Python

Esta seção descreve como instalar os pacotes Python para usar o Databricks Feature Engineering e o Databricks Workspace Feature Store.

Desenvolvimento de Funcionalidades

As APIs de engenharia de recursos do Databricks estão disponíveis através do pacote databricks-feature-engineeringdo cliente Python . O cliente está disponível no PyPI e está pré-instalado no Databricks Runtime 13.3 LTS ML e superior.

Para obter uma referência de qual versão do cliente corresponde a qual versão de tempo de execução, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-engineering

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-engineering

Repositório de recursos do espaço de trabalho (preterido)

As APIs do Databricks Feature Store estão disponíveis através do pacote databricks-feature-storedo cliente Python . O cliente está disponível no PyPI e está pré-instalado no Databricks Runtime for Machine Learning. Para obter uma referência de qual tempo de execução inclui qual versão do cliente, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-store

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-store

Migrar para databricks-feature-engineering

Para instalar o databricks-feature-engineering pacote, use pip install databricks-feature-engineering em vez de pip install databricks-feature-store. Todos os módulos foram databricks-feature-store movidos para databricks-feature-engineering, portanto, você não precisa alterar nenhum código. Importar instruções como as que from databricks.feature_store import FeatureStoreClient continuarão a funcionar após a instalação databricks-feature-engineeringdo .

Para trabalhar com tabelas de recursos no Unity Catalog, use FeatureEngineeringClient. Para usar o Repositório de Recursos de Espaço de Trabalho, você deve usar FeatureStoreCliento .

Cenários suportados

No Databricks, incluindo Databricks Runtime e Databricks Runtime for Machine Learning, você pode:

• Crie, leia e escreva tabelas de recursos.
• Treine e classifique modelos em dados de recursos.
• Publique tabelas de recursos em lojas online para atendimento em tempo real.

A partir de um ambiente local ou externo ao Databricks, você pode:

• Desenvolva código com suporte IDE local.
• Teste de unidade usando estruturas simuladas.
• Escreva testes de integração para serem executados no Databricks.

Limitações

A biblioteca de cliente só pode ser executada em Databricks, incluindo Databricks Runtime e Databricks Runtime for Machine Learning. Ele não suporta chamar Feature Engineering no Unity Catalog ou APIs do Feature Store de um ambiente local ou de um ambiente diferente do Databricks.

Usar os clientes para testes de unidade

Você pode instalar o Feature Engineering no cliente Unity Catalog ou o cliente Feature Store localmente para ajudar na execução de testes de unidade.

Por exemplo, para validar que um método update_customer_features chama FeatureEngineeringClient.write_table corretamente (ou para o Workspace Feature Store, FeatureStoreClient.write_table), você pode escrever:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Use os clientes para testes de integração

Você pode executar testes de integração com o cliente Feature Engineering no Unity Catalog ou o cliente Feature Store no Databricks. Para obter detalhes, consulte Developer Tools and Guidance: Use CI/CD.