Abril de 2019
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em abril de 2019.
Nota
Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.
MLflow no Azure Databricks (Disponibilidade Geral)
Abril 25, 2019
O MLflow gerenciado no Azure Databricks agora está disponível ao público em geral. O MLflow no Azure Databricks oferece uma versão hospedada do MLflow totalmente integrada ao modelo de segurança Databricks e ao espaço de trabalho interativo. Consulte MLflow parade ciclo de vida do agente de IA de geração e do modelo de ML.
Delta Lake no Azure Databricks
Abril 24, 2019
A Databricks abriu o projeto Delta Lake . O Delta Lake é uma camada de armazenamento que traz confiabilidade aos data lakes construídos em HDFS e armazenamento em nuvem, fornecendo transações ACID por meio de controle de simultaneidade otimista entre gravações e isolamento de snapshot para leituras consistentes durante as gravações. O Delta Lake também fornece controle de versão de dados integrado para facilitar reversões e reprodução de relatórios.
Nota
O que antes era chamado de Databricks Delta agora é o projeto de código aberto Delta Lake, além de otimizações disponíveis no Azure Databricks. Veja O que é Delta Lake?.
Barra lateral de execuções do MLflow
9 a 16 de abril de 2019: Versão 2.95
Agora você pode visualizar as execuções do MLflow e as revisões do bloco de anotações que produziram essas execuções em uma barra lateral ao lado do seu bloco de anotações. Na barra lateral direita do bloco de notas, clique no Experiment iconícone Experiência .
Consulte Criar experiência de bloco de anotações.
Acesse o Azure Data Lake Storage Gen1 e Gen2 automaticamente com seu Microsoft Entra ID credentials (GA)
9 a 16 de abril de 2019: Versão 2.95
Temos o prazer de anunciar a disponibilidade geral da autenticação automática para o Azure Data Lake Storage Gen1 e Gen2 a partir de clusters do Azure Databricks usando a mesma identidade de ID do Microsoft Entra que você usa para fazer logon no Azure Databricks.
Basta habilitar seu cluster para passagem de credenciais do Microsoft Entra ID e os comandos executados nesse cluster poderão ler e gravar seus dados no Azure Data Lake Storage Gen1 e Gen2 sem exigir que você configure o credentials principal de serviço para acesso ao armazenamento.
Para obter mais informações, consulte Access Azure Data Lake Storage using Microsoft Entra ID credential passthrough (legacy).
Databricks Runtime 5.3 (Disponibilidade Geral)
Abril 3, 2019
O Databricks Runtime 5.3 agora está disponível para o público em geral. O Databricks Runtime 5.3 inclui novos recursos e atualizações do Delta Lake e bibliotecas Python, R, Java e Scala atualizadas.
As principais atualizações incluem:
- Databricks Delta viagem no tempo GA
- MySQL table replicação para Delta, visualização pública
- Pasta DBFS FUSE otimizada para cargas de trabalho de aprendizagem profunda
- Melhorias na biblioteca com escopo de bloco de anotações
- Novas dicas do Databricks Advisor
Para obter detalhes, consulte Databricks Runtime 5.3 (EoS).
Databricks Runtime 5.3 ML (Disponibilidade Geral)
Abril 3, 2019
Com o Databricks Runtime 5.3 para Machine Learning, alcançamos nosso primeiro GA de Databricks Runtime ML! O Databricks Runtime ML fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados. Ele se baseia no Databricks Runtime e adiciona muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, Keras e XGBoost. Também suporta a preparação distribuída com o Horovod.
Esta versão é construída no Databricks Runtime 5.3, com bibliotecas adicionais, algumas versões de bibliotecas diferentes e gerenciamento de pacotes Conda para bibliotecas Python. Os principais novos recursos desde o Databricks Runtime 5.2 ML Beta incluem:
Integração MLlib com MLflow (Private Preview), que fornece registro automático de execuções MLflow para modelos ajustados usando os algoritmos
CrossValidatorde ajuste PySpark eTrainValidationSplit.Se você quiser participar da visualização, entre em contato com sua equipe de conta Databricks.
Atualizações para as bibliotecas PyArrow, Orovod e TensorboardX.
O PyArrow update adiciona a capacidade de usar
BinaryTypequando o utilizador realiza a conversão baseada em Arrow e disponibiliza essa funcionalidade em pandas UDF.
Para obter mais informações, consulte Databricks Runtime 5.3 ML (EoS). Para obter instruções sobre como criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.