Janeiro de 2018

Os lançamentos são encenados. Sua conta Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Pontos de montagem para contentores de armazenamento de Blobs do Azure e para arquivos do Data Lake Storage

16-23 de janeiro de 2018: Versão 2.63

Fornecemos instruções para montar contêineres de armazenamento de Blob do Azure e Armazenamentos Data Lake por meio do Sistema de Arquivos Databricks (DBFS). Isso dá a todos os usuários no mesmo espaço de trabalho a capacidade de acessar o contêiner de armazenamento de Blob ou o Repositório Data Lake (ou pasta dentro do contêiner ou armazenamento) através do ponto de montagem. O DBFS gerencia as credenciais usadas para acessar um contêiner de armazenamento de Blob montado ou Repositório Data Lake e lida automaticamente com a autenticação com o armazenamento de Blob do Azure ou o Repositório Data Lake em segundo plano.

A montagem de contêineres de armazenamento de Blob e Armazenamentos Data Lake requer o Databricks Runtime 4.0 e superior. Depois que um contêiner ou armazenamento é montado, você pode usar o Runtime 3.4 ou superior para acessar o ponto de montagem.

Consulte Conectar-se ao Azure Data Lake Storage Gen2 e Blob Storage e Acessando o Azure Data Lake Storage Gen1 a partir do Azure Databricks para obter mais informações.

Etiquetas de clusters

4-11 de janeiro de 2018: Versão 2.62

Agora você pode especificar marcas de cluster que serão propagadas para todos os recursos do Azure (VMs, discos, NICs, etc.) associados a um cluster. Além das tags fornecidas pelo usuário, os recursos serão automaticamente marcados com o nome do cluster, a ID do cluster e o nome de usuário do criador do cluster.

Consulte Tags para obter mais informações.

Controlo de Acesso a Tabelas para SQL e Python (Pré-visualização Privada)

4-11 de janeiro de 2018: Versão 2.62

No ano passado, introduzimos o controle de acesso a objetos de dados para usuários SQL. Hoje temos o prazer de anunciar a visualização privada do Table Access Control (ACL) para usuários SQL e Python. Com o Controle de Acesso à Tabela, você pode restringir o acesso a objetos protegíveis, como tabelas, bancos de dados, exibições ou funções. Você também pode fornecer controle de acesso refinado (para linhas e colunas que correspondem a condições específicas, por exemplo) definindo permissões em exibições derivadas que contêm consultas arbitrárias.

Consulte Privilégios de metastore do Hive e objetos protegíveis (legado) para obter mais informações.

Exportação de resultados de trabalhos de blocos de notas através da API

4-11 de janeiro de 2018: Versão 2.62

Para melhorar sua capacidade de compartilhar e colaborar nos resultados de trabalhos, agora temos um novo ponto de extremidade da API de trabalhos, jobs/runs/export que permite recuperar a representação HTML estática dos resultados de execução de um trabalho de bloco de anotações na visualização de código e painel.

Consulte Executa exportação para obter mais informações.

O Apache Airflow 1.9.0 inclui integração no Databricks

2 de janeiro, 2018

No ano passado, lançamos um recurso de visualização no Airflow — uma solução popular para gerenciar o agendamento de ETL — que permite que os clientes criem nativamente tarefas que acionam execuções do Databricks em um DAG de fluxo de ar. Temos o prazer de anunciar que essas integrações foram lançadas publicamente na versão 1.9.0 do Airflow.

Consulte Orquestrar trabalhos do Azure Databricks com o Apache Airflow para obter mais informações.