DatabricksCompute Classe
Gere um destino de computação do Databricks no Azure Machine Learning.
O Azure Databricks é um ambiente baseado no Apache Spark na cloud do Azure. Pode ser utilizado como destino de computação com um pipeline do Azure Machine Learning. Para obter mais informações, veja O que são os destinos de computação no Azure Machine Learning?
Construtor Class ComputeTarget.
Obtenha uma representação na cloud de um objeto de Computação associado à área de trabalho fornecida. Devolve uma instância de uma classe subordinada correspondente ao tipo específico do objeto de Computação obtido.
- Herança
-
DatabricksCompute
Construtor
DatabricksCompute(workspace, name)
Parâmetros
Name | Description |
---|---|
workspace
Necessário
|
O objeto da área de trabalho que contém o objeto DatabricksCompute a obter. |
name
Necessário
|
O nome do objeto DatabricksCompute a obter. |
workspace
Necessário
|
O objeto da área de trabalho que contém o objeto Computação a obter. |
name
Necessário
|
O nome do objeto Computação a obter. |
Observações
O exemplo seguinte mostra como anexar o Azure Databricks como um destino de computação.
# Replace with your account info before running.
db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token
try:
databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
print('Compute target {} already exists'.format(db_compute_name))
except ComputeTargetException:
print('Compute not found, will use below parameters to attach new one')
print('db_compute_name {}'.format(db_compute_name))
print('db_resource_group {}'.format(db_resource_group))
print('db_workspace_name {}'.format(db_workspace_name))
print('db_access_token {}'.format(db_access_token))
config = DatabricksCompute.attach_configuration(
resource_group = db_resource_group,
workspace_name = db_workspace_name,
access_token= db_access_token)
databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
databricks_compute.wait_for_completion(True)
O exemplo completo está disponível a partir de https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb
Métodos
attach |
PRETERIDO. Em alternativa, utilize o Associe um recurso de computação do Databricks existente à área de trabalho fornecida. |
attach_configuration |
Crie um objeto de configuração para anexar um destino de computação do Databricks. |
delete |
A eliminação não é suportada para um objeto DatabricksCompute. Em vez disso, utilize detach. |
deserialize |
Converta um objeto JSON num objeto DatabricksCompute. |
detach |
Desanexa o objeto do Databricks da área de trabalho associada. Os objetos de cloud subjacentes não são eliminados, apenas a associação é removida. |
get_credentials |
Obtenha as credenciais para o destino do Databricks. |
refresh_state |
Efetue uma atualização no local das propriedades do objeto. Este método atualiza as propriedades com base no estado atual do objeto de cloud correspondente. Isto é utilizado principalmente para consultas manuais do estado de computação. |
serialize |
Converta este objeto DatabricksCompute num dicionário serializado JSON. |
attach
PRETERIDO. Em alternativa, utilize o attach_configuration
método .
Associe um recurso de computação do Databricks existente à área de trabalho fornecida.
static attach(workspace, name, resource_id, access_token)
Parâmetros
Name | Description |
---|---|
workspace
Necessário
|
O objeto da área de trabalho ao qual associar o recurso de computação. |
name
Necessário
|
O nome a associar ao recurso de computação dentro da área de trabalho fornecida. Não tem de corresponder ao nome do recurso de computação a anexar. |
resource_id
Necessário
|
O ID de recurso do Azure para o recurso de computação que está a ser anexado. |
access_token
Necessário
|
O token de acesso do recurso que está a ser anexado. |
Devoluções
Tipo | Description |
---|---|
Uma representação de objeto DatabricksCompute do objeto de computação. |
Exceções
Tipo | Description |
---|---|
attach_configuration
Crie um objeto de configuração para anexar um destino de computação do Databricks.
static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')
Parâmetros
Name | Description |
---|---|
resource_group
|
O nome do grupo de recursos no qual o Databricks está localizado. Default value: None
|
workspace_name
|
O nome da área de trabalho do Databricks. Default value: None
|
resource_id
|
O ID de recurso do Azure para o recurso de computação que está a ser anexado. Default value: None
|
access_token
Necessário
|
O token de acesso do recurso de computação que está a ser anexado. |
Devoluções
Tipo | Description |
---|---|
Um objeto de configuração a ser utilizado ao anexar um objeto de Computação. |
Exceções
Tipo | Description |
---|---|
delete
A eliminação não é suportada para um objeto DatabricksCompute. Em vez disso, utilize detach.
delete()
Exceções
Tipo | Description |
---|---|
deserialize
Converta um objeto JSON num objeto DatabricksCompute.
static deserialize(workspace, object_dict)
Parâmetros
Name | Description |
---|---|
workspace
Necessário
|
O objeto de área de trabalho ao que o objeto DatabricksCompute está associado. |
object_dict
Necessário
|
Um objeto JSON para converter num objeto DatabricksCompute. |
Devoluções
Tipo | Description |
---|---|
A representação DatabricksCompute do objeto JSON fornecido. |
Exceções
Tipo | Description |
---|---|
Observações
Gera um ComputeTargetException se a área de trabalho fornecida não for a área de trabalho à que a Computação está associada.
detach
Desanexa o objeto do Databricks da área de trabalho associada.
Os objetos de cloud subjacentes não são eliminados, apenas a associação é removida.
detach()
Exceções
Tipo | Description |
---|---|
get_credentials
Obtenha as credenciais para o destino do Databricks.
get_credentials()
Devoluções
Tipo | Description |
---|---|
As credenciais para o destino do Databricks. |
Exceções
Tipo | Description |
---|---|
refresh_state
Efetue uma atualização no local das propriedades do objeto.
Este método atualiza as propriedades com base no estado atual do objeto de cloud correspondente. Isto é utilizado principalmente para consultas manuais do estado de computação.
refresh_state()
Exceções
Tipo | Description |
---|---|
serialize
Converta este objeto DatabricksCompute num dicionário serializado JSON.
serialize()
Devoluções
Tipo | Description |
---|---|
A representação JSON deste objeto DatabricksCompute. |
Exceções
Tipo | Description |
---|---|