Compartilhar via


O que são Conjuntos de dados abertos do Azure e como você pode usá-los?

Os Conjuntos de dados abertos do Azure são conjuntos de dados públicos coletados aos quais você pode adicionar recursos específicos do cenário para soluções de aprendizado de máquina para obter modelos mais precisos. O Conjunto de Dados em Aberto no Azure estão disponíveis na nuvem no Microsoft Azure. Eles são integrados ao Azure Machine Learning e estão prontamente disponíveis para o Azure Databricks e o Machine Learning Studio (clássico). Você também pode acessar os conjuntos de dados por meio de APIs e usá-los em outros produtos, como o Power BI e o Azure Data Factory.

Os conjuntos de dados incluem dados de domínio público de clima, censo, feriados, segurança pública e localização que ajudam você a treinar os modelos de machine learning e aprimorar as soluções de previsão. Você também pode compartilhar seus conjuntos de dados públicos através de Conjuntos de dados abertos do Azure.

Diagrama que mostra os blocos de construção do serviço Azure Open Datasets.

Coletados, conjuntos de dados preparados

Os conjuntos de dados públicos abertos coletados nos Conjuntos de dados abertos do Azure são otimizados para consumo em fluxos de trabalho de aprendizado de máquina.

Para obter mais informações sobre os conjuntos de dados disponíveis, visite o Catálogo de Conjuntos de Dados Abertos do Azure.

Os cientistas de dados geralmente gastam a maior parte do tempo limpando e preparando os dados para análise avançada. Para economizar tempo, os conjuntos de dados abertos são copiados para a nuvem do Azure e pré-processados. Em intervalos regulares, os dados são extraídos das fontes,por exemplo, em uma conexão de FTP para a NOAA (National Oceanic and Atmospheric Administration). Em seguida, os dados são analisados em um formato estruturado e aprimorados conforme necessário com recursos como CEP ou local da estação meteorológica mais próxima.

Os conjuntos de dados são hospedados em conjunto com a computação de nuvem do Azure facilitando o acesso e a manipulação.

Aqui estão exemplos de conjuntos de dados disponíveis:

Dados de clima

Dataset Notebooks Descrição
ISD (Dados de superfície integrados) da NOAA Azure Notebooks
Azure Databricks
Dados meteorológicos globais por hora da NOAA com a melhor cobertura espacial na América do Norte, Europa, Austrália e partes da Ásia. Atualizado diariamente.
GFS (Sistema de previsão global) da NOAA Azure Notebooks
Azure Databricks
15 dias de dados de previsão meteorológica por hora dos EUA da NOAA. Atualizado diariamente.

Dados de calendário

Dataset Notebooks Descrição
Feriados Azure Notebooks
Azure Databricks
Dados de feriados em todo o mundo, abrangendo 41 nações ou regiões de 1970 a 2099. Inclui o país/região e indica se a maioria das pessoas tem folga naquele dia.

Acesso ao conjuntos de dados

Com uma conta do Azure, você pode acessar os conjuntos de dados abertos usando o código ou por meio da interface de serviço do Azure. Os dados são colocados em uso nas suas soluções de aprendizado de máquina por meio dos recursos de computação em nuvem do Azure.

Os Conjuntos de dados abertos estão disponíveis por meio da interface do usuário e do SDK do Azure Machine Learning. Os Conjuntos de dados abertos fornecem notebooks do Azure Notebooks e do Azure Databricks que podem conectar os dados ao Azure Machine Learning e ao Azure Databricks. Os Conjuntos de dados também podem ser acessados por meio de um SDK de Python.

No entanto, você não precisa de uma conta do Azure para acessar o Conjunto de Dados em Aberto no Azure. Você pode acessá-lo em qualquer ambiente do Python com ou sem Spark.

Solicitar ou contribuir com conjuntos de dados

Se você não pode localizar os dados desejados, envie um email para nós para solicitar um conjunto de dados ou contribuir com um conjunto de dados.

Próximas etapas