Monitorizar a utilização com etiquetas
Para monitorar o custo e atribuir com precisão o uso do Azure Databricks às unidades de negócios e equipes da sua organização (para estornos, por exemplo), você pode marcar espaços de trabalho (grupos de recursos) e recursos de computação. Estas etiquetas são propagadas para relatórios de análise de custos detalhados aos quais pode aceder no portal do Azure.
Nota: Os dados da tag podem ser replicados globalmente. Não utilize nomes de etiquetas ou valores que possam comprometer a segurança dos seus recursos. Por exemplo, não use nomes de tags que contenham informações pessoais ou confidenciais.
Aqui está um relatório de detalhes da fatura de análise de custos no portal do Azure que detalha o custo por clusterid
tag durante um período de um mês:
Objetos e recursos com etiquetas
Object | Interface de marcação (UI) | Interface de marcação (API) |
---|---|---|
Área de trabalho | Portal do Azure | API de Recursos do Azure |
Conjunto | Interface do usuário de pools no espaço de trabalho do Azure Databricks | API do pool de instâncias |
Computação polivalente e de trabalho | Interface do usuário de computação no espaço de trabalho do Azure Databricks | API de Clusters |
Armazém SQL | Interface do usuário do SQL warehouse no espaço de trabalho do Azure Databricks | API de Armazéns |
Aviso
Não atribua uma tag personalizada com a chave Name
a um cluster. Cada cluster tem uma marca Name
cujo valor é definido pelo Azure Databricks. Se você alterar o valor associado à chave Name
, o cluster não poderá mais ser rastreado pelo Azure Databricks. Como consequência, o cluster pode não ser encerrado depois de ficar ocioso e continuará a incorrer em custos de uso.
Tags padrão
O Azure Databricks adiciona as seguintes marcas padrão à computação para todos os fins:
Tecla de etiqueta | Value |
---|---|
Vendor |
Valor constante: Databricks |
ClusterId |
ID interna do Azure Databricks do cluster |
ClusterName |
Nome do cluster |
Creator |
Nome de usuário (endereço de e-mail) do usuário que criou o cluster |
Em clusters de trabalho, o Azure Databricks também aplica as seguintes tags padrão:
Tecla de etiqueta | Value |
---|---|
RunName |
Nome da tarefa |
JobId |
ID da tarefa |
O Azure Databricks adiciona as seguintes marcas padrão a todos os pools:
Tecla de etiqueta | Value |
---|---|
Vendor |
Valor constante: Databricks |
DatabricksInstancePoolCreatorId |
ID interna do Azure Databricks do usuário que criou o pool |
DatabricksInstancePoolId |
ID interna do Azure Databricks do pool |
Na computação usada pelo Lakehouse Monitoring, o Azure Databricks também aplica as seguintes tags:
Tecla de etiqueta | Value |
---|---|
LakehouseMonitoring |
verdadeiro |
LakehouseMonitoringTableId |
ID da tabela monitorada |
LakehouseMonitoringWorkspaceId |
ID do espaço de trabalho onde o monitor foi criado |
LakehouseMonitoringMetastoreId |
ID do metastore onde a tabela monitorada existe |
Marcação de cargas de trabalho de computação sem servidor
Para atribuir o uso de computação sem servidor a usuários, grupos ou projetos, você pode usar políticas de orçamento. Quando um usuário recebe uma política de orçamento, seu uso sem servidor é automaticamente marcado com as tags da política. Consulte Atributo de uso sem servidor com políticas de orçamento.
Propagação de etiquetas
As tags de espaço de trabalho, pool e cluster são agregadas pelo Azure Databricks e propagadas para VMs do Azure para relatórios de análise de custos. Mas as tags de pool e cluster são propagadas de forma diferente uma da outra.
As tags de espaço de trabalho e pool são agregadas e atribuídas como marcas de recursos das VMs do Azure que hospedam os pools.
As etiquetas da área de trabalho e do cluster são agregadas e atribuídas como etiquetas de recursos das VMs do Azure que alojam os clusters.
Quando os clusters são criados a partir de conjuntos, apenas as etiquetas da área de trabalho e as etiquetas de conjunto são propagadas para as VMs. As tags de cluster não são propagadas para preservar o desempenho de inicialização do cluster de pool.
Resolução de conflitos de tags
Se uma marca de cluster personalizada, uma tag de pool ou uma tag de espaço de trabalho tiver o mesmo nome que uma tag de cluster ou pool padrão do Azure Databricks, a marca personalizada será prefixada com uma x_
quando for propagada.
Por exemplo, se um espaço de trabalho estiver marcado com vendor = Azure Databricks
, essa tag entrará em conflito com a tag vendor = Databricks
de cluster padrão. As tags serão, portanto, propagadas como x_vendor = Azure Databricks
e vendor = Databricks
.
Limitações
- As etiquetas de área de trabalho personalizadas podem demorar até uma hora a ser propagadas para o Azure Databricks após qualquer alteração.
- Não podem ser atribuídas mais de 50 etiquetas a um recurso do Azure. Se a contagem geral de etiquetas agregadas exceder este limite,
x_
as etiquetas com prefixo são avaliadas por ordem alfabética e as que excedem o limite serão ignoradas. Se todas asx_
etiquetas com prefixo forem ignoradas e a contagem continuar a ultrapassar o limite, as restantes etiquetas serão avaliadas por ordem alfabética e as que excederem o limite serão ignoradas. - As chaves e valores de tag só podem conter letras, espaços, números ou os caracteres
+
,-
,=
,.
,_
,:
,/
.@
As tags que contêm outros caracteres são inválidas. - Se alterar os nomes ou valores das chaves de etiqueta, estas alterações aplicam-se apenas após o reinício do cluster ou a expansão do conjunto.
- Se as etiquetas personalizadas do cluster entrarem em conflito com as etiquetas personalizadas de um conjunto, não é possível criar o cluster.
Marcação de práticas recomendadas
- Como as tags podem ser inseridas manualmente, sua organização deve padronizar seus pares chave-valor. A Databricks recomenda o desenvolvimento de uma política de negócios para nomenclatura de chaves e valores que você pode compartilhar com todos os usuários.
- Todos os recursos devem ser marcados com chaves gerais que atribuem o uso a uma unidade de negócios ou projeto. Por exemplo, um recurso de computação de trabalho criado pela equipe de finanças para seu orçamento anual pode incluir as tags
business-unit:finance
eproject:annual-budget
. - Para obter informações mais granulares, atribua tags usando chaves de alta especificidade. Por exemplo, você pode criar chaves com base em funções, produtos, serviços ou clientes.
- Quando aplicável, os administradores do espaço de trabalho devem impor tags usando políticas de computação e políticas de orçamento. Consulte a imposição de "tags" personalizadas em .