Partilhar via

Novembro de 2018

  • Artigo

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em novembro de 2018.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Interface do usuário da biblioteca

Importante

Esta update foi revertida em 7 de dezembro de 2018.

27 de novembro a 4 de dezembro de 2018: Versão 2.85

Nesta versão, a interface do usuário da biblioteca foi significativamente melhorada.

A interface do usuário do Azure Databricks agora dá suporte a bibliotecas de espaço de trabalho e bibliotecas conectadas a cluster. Existe uma biblioteca de espaço de trabalho no espaço de trabalho e pode ser anexada a um ou mais clusters. Uma biblioteca anexada a cluster é uma biblioteca que existe apenas no contexto do cluster ao qual está anexada. Além disso:

  • Agora você pode criar uma biblioteca a partir de um arquivo carregado para o armazenamento de objetos.
  • Agora você pode anexar e desanexar bibliotecas da página de detalhes da biblioteca e da guia Bibliotecas de um cluster.
  • As bibliotecas instaladas usando a API agora são exibidas na guia Bibliotecas de um cluster.

Definições personalizadas da memória da área dinâmica para dados do Spark ativadas

27 de novembro a 4 de dezembro de 2018: Versão 2.85

As seguintes configurações de memória do Spark agora entram em vigor:

  • spark.executor.memory
  • spark.driver.memory

Importante

  • O Azure Databricks tem serviços em execução em cada nó, portanto, a memória máxima permitida para o Spark é menor do que a capacidade de memória da VM relatada pelo provedor de nuvem. Se você quiser fornecer ao Spark a quantidade máxima de memória de pilha para o executor ou driver, não especifique spark.executor.memory ou spark.driver.memory respectivamente.
  • Algumas configurações de cluster que anteriormente eram inválidas, mas ignoradas, podem resultar em falhas de cluster.

Remoção de trabalhos e de contexto de execuções inativas

27 de novembro a 4 de dezembro de 2018: Versão 2.85

Os trabalhos agora removem automaticamente contextos de execução ociosos. Para minimizar a remoção automática, o Azure Databricks recomenda que você use clusters diferentes para trabalhos e cargas de trabalho interativas.

Lançamento do Databricks Runtime 5.0 para Machine Learning (Beta)

Novembro 19, 2018

O Databricks Runtime 5.0 ML (Beta) fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados. Ele contém várias bibliotecas populares, incluindo TensorFlow, Keras e XGBoost. Ele também suporta treinamento distribuído do TensorFlow usando Horovod. O Databricks Runtime 5.0 ML é construído sobre o Databricks Runtime 5.0. O Databricks Runtime 5.0 ML inclui os seguintes novos recursos:

Consulte as notas de versão completas do Databricks Runtime 5.0 ML (EoS).

Lançamento do Databricks Runtime 5.0

Novembro 8, 2018

O Databricks Runtime 5.0 já está disponível. O Databricks Runtime 5.0 inclui o Apache Spark 2.4.0, novos recursos e upgrades do Delta Lake e do Structured Streaming e bibliotecas Python, R e Java e Scala atualizadas. Para obter detalhes, consulte Databricks Runtime 5.0 (EoS).

No Databricks Runtime 5.0, o Azure Databricks agora expulsa contextos de execução inativos uma vez que um cluster atinge o limite máximo do contexto limit (145).

displayHTML Suporte para carregamento irrestrito de conteúdo de terceiros

6 a 13 de novembro de 2018: Versão 2.84

Anteriormente, a sandbox do displayHTML iframe não tinha o atributo allow-same-origin . Isso significava que o iframe tinha uma origem nula, que não era amigável para solicitações XHR de origem cruzada, cookies ou acesso a iframes incorporados. Com esta versão, o displayHTML iframe é servido a partir de um novo domínio, databricksusercontent.come a sandbox do iframe agora inclui o allow-same-origin atributo.

Não há necessidade de alterar seu uso de displayHTML se ele já estiver funcionando para você.

databricksusercontent.com terá de estar acessível a partir do seu browser. Se a sua rede empresarial o bloquear, o administrador de TI terá de o adicionar à lista de permissões.