Gestão de bibliotecas no Spark
Nota
Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.
Apenas o apoio básico estará disponível até à data da reforma.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.
O objetivo do Gerenciamento de Biblioteca é disponibilizar código aberto ou personalizado para blocos de anotações e trabalhos em execução em seus clusters. Você pode carregar bibliotecas Python a partir de repositórios PyPI. Este artigo se concentra no gerenciamento de bibliotecas na interface do usuário do cluster. O Azure HDInsight no AKS já inclui muitas bibliotecas comuns no cluster. Para ver quais bibliotecas estão incluídas no HDI no cluster AKS, consulte a página de gerenciamento de bibliotecas.
Instalar bibliotecas
Você pode instalar bibliotecas em dois modos:
- Instalado em cluster
- Escopo do bloco de anotações
Cluster instalado
Todos os blocos de anotações executados em um cluster podem usar bibliotecas de cluster. Você pode instalar uma biblioteca de cluster diretamente de um repositório público, como o PyPi. Upload de repositórios Maven, upload de bibliotecas personalizadas de armazenamento em nuvem estão no roteiro.
Escopo do bloco de anotações
Bibliotecas com escopo de notebook, disponíveis para Python e Scala, que permitem instalar bibliotecas e criar um ambiente com escopo para uma sessão de notebook. Essas bibliotecas não afetam outros blocos de anotações executados no mesmo cluster. As bibliotecas com escopo de bloco de anotações não persistem e devem ser reinstaladas para cada sessão.
Nota
Use bibliotecas com escopo de bloco de anotações quando precisar de um ambiente personalizado para um bloco de anotações específico.
Modos de instalação da biblioteca
PyPI: Procure bibliotecas do repositório PyPI de código aberto mencionando o nome e a versão da biblioteca na interface do usuário de instalação.
Ver as bibliotecas instaladas
Na página Visão geral, navegue até Gerenciador de bibliotecas.
No Spark Cluster Manager, clique em Library Manager.
Você pode visualizar a lista de bibliotecas instaladas aqui.
Adicionar widget de biblioteca
PyPI
Na guia PyPI, insira o Nome do Pacote e a Versão do Pacote..
Clique em Install (Instalar).
Desinstalando bibliotecas
Se você decidir não usar mais as bibliotecas, poderá excluir facilmente os pacotes de bibliotecas através do botão de desinstalação na página de gerenciamento de bibliotecas.
Selecione e clique no nome da biblioteca
Clique em Desinstalar no widget
Nota
- Os pacotes instalados a partir do notebook Jupyter só podem ser excluídos do Jupyter Notebook.
- Os pacotes instalados a partir do gestor de bibliotecas só podem ser desinstalados a partir do gestor de bibliotecas.
- Para atualizar uma biblioteca/pacote, desinstale a versão atual da biblioteca e reinstale a versão necessária da biblioteca.
- A instalação de bibliotecas a partir do notebook Jupyter é específica para a sessão. Não é persistente.
- A instalação de pacotes pesados pode levar algum tempo devido ao seu tamanho e complexidade.