Esportare in una query Hive

Questo articolo descrive come usare l'opzione Esporta dati in Hive nel modulo Esporta dati in Machine Learning Studio (versione classica). Questa opzione è utile quando si lavora con set di dati di dimensioni molto grandi e si vogliono salvare i dati dell'esperimento di Machine Learning in un cluster Hadoop o in una risorsa di archiviazione distribuita di HDInsight. È anche possibile esportare i risultati intermedi o altri dati in Hadoop in modo che sia possibile elaborarlo usando un MapReduce processo.

Come esportare i dati in Hive

1. Aggiungere il modulo Export Data (Esporta dati) all'esperimento. È possibile trovare questo modulo nella categoria Input e output dei dati in Machine Learning Studio (versione classica).

   Connessione il modulo al set di dati da esportare.

2. Per Origine dati selezionare Query Hive.

3. Per Nome tabella Hive digitare il nome della tabella Hive in cui archiviare il set di dati.

4. Nella casella di testo URI server HCatalog digitare il nome completo del cluster.

   Ad esempio, se è stato creato un cluster con il nome mycluster001, usare questo formato:

   https://mycluster001.azurehdinsight.net

5. Nella casella di testo Hadoop user account name (Nome account utente Hadoop ) incollare l'account utente Hadoop usato durante il provisioning del cluster.

6. Nella casella di testo Password account utente Hadoop digitare le credenziali usate durante il provisioning del cluster.

7. Per Posizione dei dati di output selezionare l'opzione che indica dove archiviare i dati: HDFS o Azure.

   Se i dati si trova in Hadoop Distributed file system (HDFS), devono essere accessibili tramite lo stesso account e la stessa password appena immessi.

   Se i dati si trova in Azure, specificare la posizione e le credenziali dell'account di archiviazione.

8. Se è stata selezionata l'opzione HDFS , per URI server HDFS specificare il nome del cluster HDInsight senza il https:// prefisso.

9. Se è stata selezionata l'opzione Azure , specificare il nome dell'account di archiviazione e le credenziali che il modulo può usare per connettersi all'archiviazione.

   • Nome account di archiviazione di Azure: digitare il nome dell'account Azure. Ad esempio, se l'URL completo dell'account di archiviazione è https://myshared.blob.core.windows.net, digitare myshared.

   • Chiave di archiviazione di Azure: copiare e incollare la chiave fornita per accedere all'account di archiviazione.

   • Nome del contenitore di Azure: specificare il contenitore predefinito per il cluster. Per suggerimenti su come determinare il contenitore predefinito, vedere la sezione Note tecniche.

10. Usa risultati memorizzati nella cache: selezionare questa opzione se si vuole evitare di riscrivere la tabella Hive ogni volta che si esegue l'esperimento. Se non sono presenti altre modifiche ai parametri del modulo, l'esperimento scrive la tabella Hive solo alla prima esecuzione del modulo o in caso di modifiche ai dati.

    Se si vuole scrivere la tabella Hive ogni volta che viene eseguito l'esperimento, deselezionare l'opzione Usa risultati memorizzati nella cache .

11. Eseguire l'esperimento.

Esempio

Per esempi su come usare il modulo Export Data (Esporta dati), vedere il Azure AI Gallery.

• Advanced Analytics Process and Technology in Action: Using HDInsight Hadoop clusters (Processo di analisi avanzata e tecnologia in azione: uso dei cluster Hadoop di HDInsight): questo articolo fornisce una procedura dettagliata su come creare un cluster, caricare dati e chiamare i dati da Studio (versione classica) usando Hive.

Note tecniche

Questa sezione contiene informazioni dettagliate sull'implementazione, suggerimenti e risposte alle domande frequenti.

Domande frequenti

Come evitare problemi di memoria insufficiente durante la scrittura di set di dati di grandi dimensioni

In alcuni casi la configurazione predefinita del cluster Hadoop è troppo limitata per supportare l'esecuzione MapReduce processo. Ad esempio, in queste note sulla versione per HDInsight le impostazioni predefinite sono definite come cluster a quattro nodi.

Se i requisiti del processo MapReduce superano la capacità disponibile, le query Hive potrebbero restituire un messaggio di errore Memoria insufficiente, che causa l'esito negativo dell'operazione di esportazione dei dati. In questo caso, è possibile modificare l'allocazione di memoria predefinita per le query Hive.

Come evitare di ricaricare inutilmente gli stessi dati

Se non si vuole ricreare la tabella Hive ogni volta che si esegue l'esperimento, selezionare l'opzione Usa risultati memorizzati nella cache su TRUE. Quando questa opzione è impostata su TRUE, il modulo controlla se l'esperimento è stato eseguito in precedenza e, se viene trovata un'esecuzione precedente, l'operazione di scrittura non viene eseguita.

Suggerimenti per l'uso

Può essere difficile capire il contenitore predefinito per il cluster. Ecco alcuni suggerimenti:

• Se il cluster è stato creato usando le impostazioni predefinite, è stato creato un contenitore con lo stesso nome nello stesso momento in cui è stato creato il cluster. Tale contenitore è il contenitore predefinito per il cluster.

• Se il cluster è stato creato usando l'opzione CUSTOM CREATE , sono state fornite due opzioni per la selezione del contenitore predefinito.

  Contenitore esistente: se è stato selezionato un contenitore esistente, tale contenitore è il contenitore di archiviazione predefinito per il cluster.

  Crea contenitore predefinito: se è stata selezionata questa opzione, è stato creato un contenitore con lo stesso nome del cluster ed è necessario specificare il nome del contenitore come contenitore predefinito per il cluster.

Parametri del modulo

Eccezioni

Per un elenco degli errori specifici dei moduli di Studio (versione classica), vedere Machine Learning codici di errore.

Per un elenco delle eccezioni API, vedere Machine Learning di errore dell'API REST.

Vedi anche

Importazione dei dati
Esportazione dei dati
Esportare in database SQL di Azure
Esportare i dati in Archiviazione BLOB di Azure
Esportare in una tabella di Azure