Outubro de 2019

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em outubro de 2019.

As métricas de suporte foram movidas para os Hubs de Eventos do Azure

Outubro 22-29, 2019

As métricas de capacidade de suporte que permitem que o Azure Databricks monitore a integridade do cluster foram migradas do armazenamento de Blob do Azure para pontos de extremidade de Hubs de Eventos. Isso permite que o Azure Databricks forneça respostas de latência mais baixa para resolver incidentes de clientes. Para espaços de trabalho de injeção de VNet, adicionamos uma regra adicional ao grupo de segurança de rede para o EventHub ponto de extremidade de serviço. Os detalhes estão disponíveis nas Regras do grupo de segurança de redetable. Não é necessária qualquer ação para a disponibilidade contínua dos serviços.

Para obter uma list das métricas de suporte do Azure Databricks referentes aos pontos de extremidade dos Hubs de Eventos por região, consulte o Metastore, o armazenamento de artefatos em Blob, o armazenamento de sistema tables, o armazenamento de logs em Blob e os endereços IP dos pontos de extremidade dos Hubs de Eventos.

O pass-through de credenciais do Azure Data Lake Storage em clusters padrão e em Scala está em disponibilidade geral

22 a 29 de outubro de 2019: Versão 3.5

A passagem de credenciais para Python, SQL e Scala em clusters padrão que executam o Databricks Runtime 5.5 e superior, bem como o SparkR no Databricks Runtime 6.0 e superior está geralmente disponível. Consulte Habilitar passagem de credenciais do Armazenamento do Azure Data Lake para um cluster Padrão.

Disponibilidade Geral do Databricks Runtime 6.1 para o Genomics

Outubro 22, 2019

O Databricks Runtime 6.1 for Genomics está geralmente disponível.

Disponibilidade Geral do Databricks Runtime 6.1 para Machine Learning

Outubro 22, 2019

O Databricks Runtime 6.1 ML está disponível em geral. Ele inclui suporte para clusters de GPU e atualizações para as seguintes bibliotecas de aprendizado de máquina:

• TensorFlow para 1.14.0
• PyTorch para 1.2.0
• Torchvision para 0.4.0
• MLflow para 1.3.0

Para obter mais informações, consulte as notas de versão completas do Databricks Runtime 6.1 for ML (EoS ).

As chamadas à API do MLflow têm agora limite de taxa

22 a 29 de outubro de 2019: Versão 3.5

Para garantir alta qualidade de serviço sob carga pesada, o Azure Databricks agora impõe limites de taxa de API para todas as chamadas de API MLflow. Os limites são set por conta para garantir o uso justo e a alta disponibilidade para todas as organizações que compartilham um espaço de trabalho.

Os clientes MLflow com repetições automáticas estão disponíveis no MLflow 1.3.0 e estão no Databricks Runtime 6.1 for ML (EoS). Aconselhamos todos os clientes a mudar para a versão mais recente do cliente MLflow.

Para obter detalhes, consulte API de experimentos.

Os conjuntos de instâncias para início rápido de clusters está em disponibilidade geral

22 a 29 de outubro de 2019: Versão 3.5

O recurso Azure Databricks que dá suporte à anexação de um cluster a um pool predefinido de instâncias ociosas agora está disponível ao público em geral.

O Azure Databricks não cobra DBUs quando as instâncias estão inativas no conjunto. A cobrança do provedor de instância se aplica. Veja os preços.

Para obter detalhes, consulte Referência de configuração do pool.

Disponibilidade Geral do Databricks Runtime 6.1

Outubro 16, 2019

O Databricks Runtime 6.1 traz várias melhorias para o Delta Lake:

• Converta facilmente tables para o formato Delta Lake
• APIs Python para Delta tables (Visualização pública)
• Remoção dinâmica de arquivos (DFP) habilitada por padrão

O Databricks Runtime 6.1 também remove várias limitações na passagem de credenciais.

Para obter mais informações, consulte as notas de versão completas do Databricks Runtime 6.1 (EoS ).

Disponibilidade Geral do Databricks Runtime 6.0 para o Genomics

Outubro 16, 2019

O Databricks Runtime for Genomics (Databricks Runtime Genomics) é uma variante do Databricks Runtime otimizado para trabalhar com dados genômicos e biomédicos. A partir da versão 6.0, o Databricks Runtime for Genomics está disponível em geral.

A capacidade de implantar um espaço de trabalho do Azure Databricks em sua própria rede virtual, também conhecida como injeção de VNet, é GA

Outubro 9, 2019

Temos o prazer de anunciar a GA da capacidade de implantar um espaço de trabalho do Azure Databricks em sua própria rede virtual, também conhecida como injeção de VNet. Esta opção destina-se àqueles que necessitam de personalização de rede e, portanto, não querem usar a VNet padrão que é criada quando você implanta um espaço de trabalho do Azure Databricks da maneira padrão. Com a injeção de VNet, pode:

• Conecte o Azure Databricks a outros serviços do Azure (como o Armazenamento do Azure) de maneira mais segura usando pontos de extremidade de serviço.
• Conecte-se a fontes de dados locais para uso com o Azure Databricks, aproveitando as rotas definidas pelo usuário.
• Conecte o Azure Databricks a um dispositivo virtual de rede inspecionar todo o tráfego de saída e executar ações de acordo com as regras de permissão e deny.
• Configure o Azure Databricks para usar DNS personalizado.
• Configure regras de NSG (grupo de segurança de rede) para especificar restrições de tráfego de saída.
• Implante clusters do Azure Databricks em sua rede virtual existente.

A implantação do Azure Databricks em sua própria rede virtual também permite que você aproveite os intervalos CIDR flexíveis (em qualquer lugar entre /16-/24 para a rede virtual e até /26 para as sub-redes).

A configuração através da interface de utilizador do portal do Azure é rápida e fácil: quando o utilizador cria um espaço de trabalho, basta selectimplantar o espaço de trabalho do Azure Databricks na sua Rede Virtual, configurar a sua rede virtual select e fornecer intervalos CIDR para duas sub-redes. O Azure Databricks atualiza a rede virtual com as duas novas sub-redes e grupos de segurança de rede, permite o acesso ao tráfego de sub-rede de entrada e saída e implanta o espaço de trabalho na rede virtual atualizada.

Se você preferir configurar a rede virtual para injeção de VNet por conta própria — por exemplo, quiser usar sub-redes existentes, usar grupos de segurança de rede existentes ou criar suas próprias regras de segurança — poderá usar modelos ARM fornecidos pelo Azure-Databricks em vez da interface do usuário do portal.

Para obter detalhes, consulte Implantar o Azure Databricks em sua rede virtual do Azure (injeção de VNet) e Conectar seu espaço de trabalho do Azure Databricks à sua rede local.

Os utilizadores não administradores do Azure Databricks podem ler nomes e IDs de utilizadores e de grupos com a API de SCIM

8 a 15 de outubro de 2019: Versão 3.4

Os utilizadores não administradores agora podem invocar a API GruposGet e os endpoints de Utilizadores e Grupos Get para ler apenas os nomes de exibição e os IDs de utilizadores e grupos. Todas as outras operações da API SCIM continuam a exigir acesso de administrador.

A API de Área de Trabalho devolve IDs de blocos de notas e de objetos de pastas

8 a 15 de outubro de 2019: Versão 3.4

Os get-status pontos de extremidade e list da API de espaço de trabalho agora retornam IDs de objeto de bloco de anotações e pastas, oferecendo a capacidade de fazer referência a esses objetos em outras chamadas de API.

Disponibilidade Geral do Databricks Runtime 6.0 ML

Outubro 4, 2019

O Databricks Runtime 6.0 ML inclui as seguintes atualizações:

• MLflow
  • Uma nova fonte de dados do Spark para experimentos MLflow agora fornece uma API padrão para carregar dados de execução de experimento MLflow.
  • Cliente Java MLflow adicionado
  • O MLflow agora é promovido como uma biblioteca de primeira linha
• Hyperopt GA - Melhorias notáveis desde a visualização pública incluem suporte para registro MLflow em trabalhadores do Spark, manipulação correta de variáveis de transmissão do PySpark, bem como um novo guia sobre a seleção de modelos usando o Hyperopt.
• Bibliotecas Horovod e MLflow atualizadas e distribuição Anaconda.

Para obter mais informações, consulte as notas de versão completas do Databricks Runtime 6.0 for ML (EoS ).

Novas regiões: Brasil Sul e França Central

Outubro 1, 2019

O Azure Databricks agora está disponível no Sul do Brasil (Estado de São Paulo) e na França Central (Paris).

Disponibilidade Geral do Databricks Runtime 6.0

Outubro 1, 2019

O Databricks Runtime 6.0 traz muitas atualizações de biblioteca e novos recursos, incluindo:

• Novas APIs Scala e Java para comandos Delta Lake DML, bem como os comandos vacuum e history utility.
• Cliente DBFS FUSE aprimorado para leituras e gravações mais rápidas e confiáveis durante o treinamento do modelo.
• Suporte para vários gráficos matplotlib por célula de notebook.
• Update para Python 3.7, bem como numpy, pandas, matplotlib e outras bibliotecas atualizadas.
• Pôr do sol do suporte ao Python 2.

Para obter mais informações, consulte as notas de versão completas do Databricks Runtime 6.0 (EoS ).