Enviar trabalhos do Spark em clusters de Big Data do SQL Server no Visual Studio Code

Saiba como usar as Ferramentas do Spark & Hive para Visual Studio Code para criar e enviar scripts de PySpark para o Apache Spark. Primeiro, descreveremos como instalar as ferramentas do Spark & Hive no Visual Studio Code e, em seguida, veremos como enviar trabalhos para o Spark.

As Ferramentas do Spark & Hive podem ser instaladas em plataformas com suporte do Visual Studio Code, que incluem Windows, Linux e macOS. A seguir, você verá os pré-requisitos das diferentes plataformas.

Pré-requisitos

Os itens a seguir são necessários para concluir as etapas neste artigo:

• Um cluster de Big Data do SQL Server. Confira Clusters de Big Data do SQL Server.
• Visual Studio Code.
• Python e a extensão Python no Visual Studio Code.
• Mono. O Mono é necessário apenas para Linux e macOS.
• Configurar o ambiente interativo do PySpark para Visual Studio Code.
• Um diretório local chamado SQLBDCexample. Este artigo usa C:\SQLBDC\SQLBDCexample.

Instalar Ferramentas do Spark & Hive

Após concluir os pré-requisitos, você poderá instalar as Ferramentas do Spark & Hive para Visual Studio Code. Conclua as etapas a seguir para instalar as Ferramentas do Spark & Hive:

1. Abra o Visual Studio Code.

2. Na barra de menus, navegue até Exibir>Extensões.

3. Na caixa de pesquisa, insira Spark & Hive.

4. Selecione Ferramentas Spark e Hive, publicadas pela Microsoft, nos resultados da pesquisa, e escolha Instalar.

   

5. Recarregue quando necessário.

Abrir a pasta de trabalho

Conclua as etapas a seguir para abrir uma pasta de trabalho e criar um arquivo no Visual Studio Code:

1. Na barra de menus, navegue até Arquivo>Abrir Pasta...>C:\SQLBDC\SQLBDCexamplee, em seguida, selecione o botão Selecionar Pasta. A pasta aparece no modo de exibição do Explorer à esquerda.

2. No modo de exibição do Explorer, selecione a pasta SQLBDCexample e, em seguida, o ícone Novo Arquivo ao lado da pasta de trabalho.

   

3. Nomeie o novo arquivo com a extensão de arquivo .py (script de Spark). Este exemplo usa HelloWorld.py.

4. Copie e cole o seguinte código no arquivo de script:

   import sys
   from operator import add
   from pyspark.sql import SparkSession, Row
   
   spark = SparkSession\
      .builder\
      .appName("PythonWordCount")\
      .getOrCreate()
   
   data = [Row(col1='pyspark and spark', col2=1), Row(col1='pyspark', col2=2), Row(col1='spark vs hadoop', col2=2), Row(col1='spark', col2=2), Row(col1='hadoop', col2=2)]
   df = spark.createDataFrame(data)
   lines = df.rdd.map(lambda r: r[0])
   
   counters = lines.flatMap(lambda x: x.split(' ')) \
      .map(lambda x: (x, 1)) \
      .reduceByKey(add)
   
   output = counters.collect()
   sortedCollection = sorted(output, key = lambda r: r[1], reverse = True)
   
   for (word, count) in sortedCollection:
      print("%s: %i" % (word, count))
   

Vincular um cluster de Big Data do SQL Server

Antes de enviar scripts para a seus clusters do Visual Studio Code, você precisa vincular um cluster de Big Data do SQL Server.

1. Na barra de menus, navegue até Exibir>Paleta de Comandos... e insira Spark / Hive: Vincular um Cluster.

   

2. Selecione o tipo de cluster vinculado Big Data do SQL Server.

3. Insira o ponto de extremidade de Big Data do SQL Server.

4. Insira o nome de usuário do cluster de big data do SQL Server.

5. Insira a senha do administrador do usuário.

6. Defina o nome para exibição do cluster de big data (opcional).

7. Liste os clusters e examine a exibição SAÍDA para verificação.

Listar clusters

1. Na barra de menus, navegue até Exibir>Paleta de Comandos... e insira Spark / Hive: Vincular um Cluster.

2. Examine a exibição SAÍDA. A exibição mostrará seus clusters vinculados.

   

Definir cluster padrão

1. Abra novamente a pasta SQLBDCexample criada anteriormente se estiver fechada.

2. Selecione o arquivo HelloWorld.py criado anteriormente e ele será aberto no editor de scripts.

3. Vincule um cluster se ainda não tiver feito isso.

4. Clique com o botão direito do mouse no editor de scripts e selecione Spark / Hive: Definir Cluster Padrão.

5. Selecione um cluster como o cluster padrão para o arquivo de script atual. As ferramentas atualizam automaticamente o arquivo de configuração .VSCode\settings.json.

   

Enviar consultas interativas de PySpark

Você pode enviar consultas de PySpark interativas seguindo as etapas abaixo:

1. Abra novamente a pasta SQLBDCexample criada anteriormente se estiver fechada.

2. Selecione o arquivo HelloWorld.py criado anteriormente e ele será aberto no editor de scripts.

3. Vincule um cluster se ainda não tiver feito isso.

4. Escolha todo o código e clique com o botão direito do mouse no editor de scripts, selecione Spark: PySpark Interativo para enviar a consulta ou use o atalho Ctrl+Alt+I.

   

5. Selecione o cluster se não tiver especificado um cluster padrão. Após alguns instantes, os resultados do Python Interativo aparecem em uma nova guia. As ferramentas também permitem que você envie um bloco de código em vez de todo o arquivo de script usando o menu de contexto.

   

6. Insira "%%info" e, em seguida, pressione Shift + Enter para exibir informações do trabalho. (Opcional)

   

   Observação

   Quando Extensão do Python Habilitada é desmarcado nas configurações (a configuração padrão é estar marcado), os resultados da interação de pyspark enviados usarão a janela antiga.

   

Enviar trabalho em lotes PySpark

1. Abra novamente a pasta SQLBDCexample criada anteriormente se estiver fechada.

2. Selecione o arquivo HelloWorld.py criado anteriormente e ele será aberto no editor de scripts.

3. Vincule um cluster se ainda não tiver feito isso.

4. Clique com o botão direito do mouse no editor de scripts e selecione Spark: Lote do PySpark ou use o atalho Ctrl+Alt+H.

5. Selecione o cluster se não tiver especificado um cluster padrão. Após você enviar um trabalho do Python, os logs de envio aparecem na janela de SAÍDA no Visual Studio Code. A URL da interface do usuário do Spark e a URL da interface do usuário do YARN também são mostradas. Você pode abrir a URL em um navegador da Web para acompanhar o status do trabalho.

   

Configuração do Apache Livy

A configuração do Apache Livy tem suporte, ela pode ser definida no .VSCode\settings.json na pasta de espaço de trabalho. Atualmente, a configuração do Livy dá suporte apenas ao script de Python. Para obter mais detalhes, confira o LEIAME do Livy.

Como disparar a configuração do Livy

Método 1

1. Na barra de menus, navegue até Arquivo>Preferências>Configurações.
2. Na caixa de texto Configurações de pesquisa, insira Envio de Trabalho do HDInsight: Livy Conf.
3. Selecione Editar em settings.json para o resultado da pesquisa relevante.

Método 2

Envie um arquivo, observe que a pasta .vscode é adicionada automaticamente à pasta de trabalho. Você pode encontrar a configuração do Livy selecionando settings.json em .vscode.

As configurações do projeto:

Configurações do Livy com suporte

POST /lotes

Corpo da solicitação

Corpo da resposta

O objeto de lote criado.

Recursos adicionais

O Spark & Hive para Visual Studio Code tem suporte para os seguintes recursos:

• Preenchimento automático do IntelliSense. Aparecerão sugestões de palavras-chave, métodos, variáveis e muito mais. Ícones diferentes representam tipos diferentes de objetos.

  

• Marcador de erro do IntelliSense. O serviço de linguagem sublinha os erros de edição para o script do Hive.

• Destaques da sintaxe. O serviço de linguagem usa cores diferentes para distinguir variáveis, palavras-chave, tipo de dados, funções, entre outros.

  

Desvincular cluster

1. Na barra de menus, navegue até Exibir>Paleta de Comandos... e insira Spark / Hive: Desvincular um Cluster.

2. Selecione o cluster a ser desvinculado.

3. Examine a exibição SAÍDA para verificação.

Próximas etapas

Para obter mais informações sobre os clusters de Big Data do SQL Server e os cenários relacionados, confira Clusters de Big Data do SQL Server.