Identificar cargas de trabalho do Azure Databricks
O Azure Databricks oferece recursos para várias cargas de trabalho, incluindo Machine Learning e Large Language Models (LLM), Ciência de Dados, Engenharia de Dados, BI e Data Warehousing e Processamento de Streaming.
Ciência e Engenharia de Dados
Essa carga de trabalho foi projetada para cientistas e engenheiros de dados que precisam colaborar em tarefas complexas de processamento de dados. Ele fornece um ambiente integrado com o Apache Spark para processamento de big data em um data lakehouse e suporta várias linguagens, incluindo Python, R, Scala e SQL. A plataforma facilita a exploração, visualização e desenvolvimento de pipelines de dados.
Machine Learning
A carga de trabalho do Aprendizado de Máquina no Azure Databricks é otimizada para criar, treinar e implantar modelos de aprendizado de máquina em escala. Ele inclui MLflow, uma plataforma de código aberto para gerenciar o ciclo de vida do ML, incluindo experimentação, reprodutibilidade e implantação. Ele também suporta várias estruturas de ML, como TensorFlow, PyTorch e Scikit-learn, tornando-o versátil para diferentes tarefas de ML.
SQL
A carga de trabalho SQL é voltada para analistas de dados que interagem principalmente com dados por meio de SQL. Ele fornece um editor SQL familiar, painéis e ferramentas de visualização automática para analisar e visualizar dados diretamente no Azure Databricks. Essa carga de trabalho é ideal para executar consultas ad-hoc rápidas e criar relatórios a partir de grandes conjuntos de dados.
