Apresentando o machine learning do Spark em Clusters de Big Data do SQL Server
Aplica-se a: 
SQL Server 2019 (15.x)
Importante
O complemento Clusters de Big Data do Microsoft SQL Server 2019 será desativado. O suporte para Clusters de Big Data do SQL Server 2019 será encerrado em 28 de fevereiro de 2025. Todos os usuários existentes do SQL Server 2019 com Software Assurance terão suporte total na plataforma e o software continuará a ser mantido por meio de atualizações cumulativas do SQL Server até esse momento. Para obter mais informações, confira a postagem no blog de anúncio e as opções de Big Data na plataforma do Microsoft SQL Server.
Este artigo explica como usar efetivamente o Spark para machine learning nos Clusters de Big Data do SQL Server.
Machine learning do Spark em Clusters de Big Data do SQL Server
Os Clusters de Big Data do SQL Server habilitam cenários e soluções de machine learning usando diferentes pilhas de tecnologia: Serviços de Machine Learning do SQL Server e Apache Spark ML.
Para entender melhor quando usar cada pilha de tecnologia, confira o guia de machine learning para Clusters de Big Data do SQL Server. Este guia abrange o Apache Spark ML.
Em cenários de machine learning baseados em Big Data, o uso do HDFS para hospedagem de Big Data e dos recursos do Apache Spark ML é uma abordagem mais econômica, escalonável e eficiente. Ainda assim, isso está longe de uma lista completa das possibilidades do machine learning do Spark. Confira a lista completa de recursos em Spark MLlib.
A próxima seção contém uma lista organizada de cenários e referências do Spark nos Clusters de Big Data do SQL Server.
Componentes do machine learning do Spark nos Clusters de Big Data do SQL Server
| Learn | Sumário | Link |
|---|---|---|
| Runtime dos Clusters de Big Data do SQL Server para Apache Spark | Isso mostra o que está incluído em cada versão | Guia do runtime dos Clusters de Big Data do SQL Server para Apache Spark |
| O pool de armazenamento | Como armazenar e usar o HDFS + Spark juntos para desbloquear dados para machine learning | Introdução ao pool de armazenamento em Clusters de Big Data do SQL Server |
| Use experiências baseadas em notebook e as ferramentas de sua escolha | Conecte ponto de extremidade Spark-Livy usando as ferramentas de sua escolha | Enviar trabalhos do Spark nos Clusters de Big Data do SQL Server no Azure Data Studio Enviar trabalhos do Spark em clusters de Big Data do SQL Server no Visual Studio Code Usar o sparklyr em clusters de Big Data do SQL Server |
| Como instalar pacotes extras | No caso de um pacote não ser fornecido pronto para uso, instale-o | Gerenciamento de bibliotecas do Spark |
| Como solucionar os problemas | Caso haja problemas | Solucionar problemas de notebooks pysparkDepurar e diagnosticar aplicativos Spark nos Clusters de Big Data do SQL Server no Servidor de Histórico do Spark |
| Como enviar trabalhos em lotes de machine learning | Executar treinamento de ML e pontuação em lote usando a linha de comando | Enviar trabalhos do Spark usando ferramentas de linha de comando |
| Como mover dados rapidamente entre o SQL Server e o Spark | Torne o SQL Server a origem e/ou o destino dos cenários de ML do Spark. O uso do HDFS não é obrigatório | Usar o Conector do Apache Spark para SQL Server e Azure SQL |
| Operacionalização do modelo Spark | Após o treinamento, operacionalize usando MLeap | Criar, exportar e pontuar modelos de machine learning do Spark nos Clusters de Big Data do SQL Server |
| Estruturação de dados | Juntamente com os poderosos recursos de estruturação de dados do Spark, enviamos o PROSE | Estruturação de dados usando o Acelerador de Código PROSE |
Próximas etapas
Para saber mais, confira Introdução a Clusters de Big Data do SQL Server.