Avvio rapido: Cercare immagini con Esplora ricerche nel portale di Azure

Questo avvio rapido mostra come iniziare a usare la ricerca di immagini tramite la procedura guidata Importare e vettorizzare i dati nel portale di Azure. Mostra anche come usare Esplora ricerche per eseguire query basate su immagini.

I dati di esempio sono costituiti da file di immagini nel repository azure-search-sample-data, ma è possibile continuar a seguire questa procedura dettagliata usando immagini diverse.

Prerequisiti

• Una sottoscrizione di Azure. Crearne una gratuitamente.

• Account multiservizio di Servizi di Azure AI da usare per la vettorizzazione di immagini e il riconoscimento ottico dei caratteri (OCR). Per la vettorizzazione delle immagini sono necessari incorporamenti di azure per visione artificiale. Per un elenco aggiornato delle aree, vedere la documentazione .

• Azure AI Search per l’indicizzazione e le query. Può trovarsi in qualsiasi livello, ma deve trovarsi nella stessa area del multiservizio di Azure per intelligenza artificiale.

  Il livello di servizio determina il numero di BLOB che è possibile indicizzare. È stato usato il Livello gratuito per creare questa procedura dettagliata e limitare il contenuto a 10 file JPG.

• Archiviazione di Azure per l’archiviazione di file di immagine come BLOB. Usare Archiviazione BLOB di Azure o Azure Data Lake Storage Gen2 (un account di archiviazione con uno spazio dei nomi gerarchico), un account di prestazioni standard (utilizzo generico v2). I livelli di accesso possono essere ad accesso frequente, sporadico e sporadico.

Tutte le risorse precedenti devono avere l'accesso pubblico abilitato per consentire ai nodi del portale di accedervi. In caso contrario, la procedura guidata ha esito negativo. Dopo l'esecuzione della procedura guidata, è possibile abilitare i firewall e gli endpoint privati nei componenti di integrazione per la sicurezza. Per altre informazioni, vedere Proteggere le connessioni nelle procedure guidate di importazione.

Se gli endpoint privati sono già presenti e non possono essere disabilitati,è possibile eseguire in alternativa il rispettivo flusso end-to-end da uno script o programma in una macchina virtuale. La macchina virtuale deve appartenere alla stessa rete virtuale dell’endpoint privato. Di seguito è riportato un esempio di codice Python per la vettorizzazione integrata. Nello stesso Archivio GitHub sono disponibili esempi in altri linguaggi di programmazione.

Un servizio di ricerca gratuito supporta il controllo degli accessi in base al ruolo per le connessioni a Ricerca di intelligenza artificiale di Azure, ma non supporta le identità gestite nelle connessioni in uscita ad Archiviazione di Azure o a Visione artificiale di Azure. Questo livello di supporto significa che è necessario usare l'autenticazione basata su chiave per le connessioni tra un servizio di ricerca gratuito ad altri servizi di Azure. Per connessioni più sicure:

• Usare il livello Basic o superiore.
• Configurare un'identità gestita e le assegnazioni di ruolo per ammettere le richieste da Azure AI Search in altri servizi di Azure.

Verificare lo spazio

Se si inizia con il servizio gratuito, sono limitati a tre indici, tre origini dati, tre set di competenze e tre indicizzatori. Assicurarsi di avere spazio per gli elementi aggiuntivi prima di iniziare, Questo avvio rapido crea uno di ogni oggetto.

Preparare i dati di esempio

1. Scaricare la cartella dell'immagine con segni di barra in una cartella locale o trovare alcune immagini personalizzate. In un servizio di ricerca gratuito mantenere i file di immagine sotto 20 per non superare la quota gratuita per l'elaborazione dell'arricchimento.

2. Accedere al portale di Azure con l'account Azure e passare all'account di archiviazione di Azure.

3. Nel riquadro sinistro in Archiviazione dati selezionare Contenitori.

4. Creare un nuovo contenitore e quindi caricare le immagini.

Avviare la procedura guidata

Se il servizio di ricerca e il servizio di Azure per Intelligenza artificiale si trovano nella stessa area supportata e nello stesso tenant, e se il contenitore BLOB di Archiviazione di Azure usa la configurazione predefinita, si è pronti per avviare la procedura guidata.

1. Accedere al portale di Azure con l'account Azure e andare al servizio Azure AI Search.

2. Nella pagina Panoramica selezionare Importa e vettorizza dati.

   

Connettersi ai dati

Il passaggio successivo consiste nel connettersi a un'origine dati che fornisce le immagini.

1. Nella pagina Configura connessione dati selezionare Archiviazione BLOB di Azure.

2. Specificare la sottoscrizione di Azure.

3. Per Archiviazione di Azure selezionare l'account e il contenitore che forniscono i dati. Usare i valori predefiniti per i campi rimanenti.

   

4. Selezionare Avanti.

Vettorizzare il testo

Se il contenuto non elaborato include testo o se il set di competenze produce testo, la procedura guidata chiama un modello di incorporamento di testo per generare i vettori per tale contenuto. In questo esercizio il testo verrà generato dalla competenza OCR che verrà aggiunta nel passaggio successivo.

Visione artificiale di Azure fornisce incorporamenti di testo; usare quindi tale risorsa per la vettorizzazione del testo.

1. Nella pagina Vettorizzare il testo selezionare vettorizzazione di Visione artificiale. Se non è disponibile, assicurarsi che Azure AI Search e l'account multiservizio di Azure per l’Intelligenza artificiale si trovino entrambi in un'area che supporta le API multimodali di Visione di Azure AI.

   

2. Selezionare Avanti.

Vettorizzare e arricchire le immagini

Usare Visione artificiale di Azure per generare una rappresentazione vettoriale dei file di immagine.

In questo passaggio è anche possibile applicare l'intelligenza artificiale per estrarre testo dalle immagini. La procedura guidata usa OCR dei servizi di intelligenza artificiale di Azure per riconoscere il testo nei file di immagine.

Nell'indice vengono visualizzati altri due output quando viene aggiunto OCR al flusso di lavoro:

• Il campo chunk viene popolato con una stringa generata da OCR di qualsiasi testo presente nell'immagine.
• Il campo text_vector viene popolato con un incorporamento che rappresenta la stringa chunk.

L'inclusione di testo normale nel campo chunk è utile se si vogliono usare le funzionalità di pertinenza che operano su stringhe, come la classificazione semantica e i profili di punteggio.

1. Nella pagina Vettorizza le tue immagini selezionare la casella di controllo Vettorizza immagini e quindi selezionare Vettorizzazione di Visione artificiale.

2. Selezionare Usa lo stesso servizio di intelligenza artificiale selezionato per la vettorizzazione del testo.

3. Nella sezione Arricchimento selezionare Estrai testo dalle immagini e Usa lo stesso servizio di intelligenza artificiale selezionato per la vettorizzazione delle immagini.

   

4. Selezionare Avanti.

Eseguire il mapping di nuovi campi

Nella pagina Impostazioni avanzate è possibile aggiungere facoltativamente nuovi campi. Per impostazione predefinita, la procedura guidata genera i campi seguenti con questi attributi:

Non è possibile modificare i campi generati o i relativi attributi, ma è possibile aggiungere nuovi campi se l'origine dati li fornisce. Ad esempio, Archiviazione BLOB di Azure fornisce una raccolta di campi di metadati.

1. Seleziona Aggiungi nuovo.

2. Scegliere un campo di origine dall'elenco dei campi disponibili, specificare un nome di campo per l'indice e accettare il tipo di dati predefinito o eseguire l'override in base alle esigenze.

   I campi dei metadati sono ricercabili, ma non recuperabili, filtrabili, visualizzabili o ordinabili.

3. Selezionare Reimposta se si vuole ripristinare lo schema nella versione originale.

Pianificare l'indicizzazione

1. Nella pagina Impostazioni avanzate in Pianifica indicizzazione specificare una pianificazione dell’esecuzione per l'indicizzatore. Per questo esercizio si consiglia di selezionareUna volta. Per le origini dati dove i dati sottostanti sono volatili, è possibile pianificare l'indicizzazione per individuare le modifiche.

   

2. Selezionare Avanti.

Completare la procedura guidata

1. Nella pagina Esamina la configurazione specificare un prefisso per gli oggetti che verranno creati dalla procedura guidata. Un prefisso comune consente di rimanere organizzati.

   

2. Seleziona Crea.

Al termine della configurazione, la procedura guidata crea gli oggetti seguenti:

• Indicizzatore che guida la pipeline di indicizzazione.

• Connessione all'origine dati a Archiviazione BLOB di Azure.

• Indice con campi vettoriali, campi di testo, vettorizzatori, profili vettoriali e algoritmi vettoriali. Non è possibile modificare l'indice predefinito durante il flusso di lavoro della procedura guidata. Gli indici sono conformi all'API REST 01-05-2024- anteprima in moda da poter usare le funzionalità di anteprima.

• Set di competenze con le cinque competenze seguenti:

  • La competenza OCR riconosce il testo nei file di immagine.
  • La competenza Unione del testo unisce i vari output dell'elaborazione OCR.
  • La competenza Divisione del testo aggiunge la suddivisione in blocchi di dati. Questa competenza è incorporata nel flusso di lavoro della procedura guidata.
  • La competenza Incorporamenti multimodali di Visione di Azure AI viene usata per vettorizzare il testo generato da OCR.
  • La competenza Incorporamenti multimodali di Visione di Azure AI viene nuovamente chiamata per la vettorizzazione delle immagini.

Controllare i risultati

Esplora ricerche accetta testo, vettori e immagini come input di query. È possibile trascinare o selezionare un'immagine nell'area di ricerca. Esplora ricerche vettorizza l'immagine e invia il vettore come input di query al motore di ricerca. La vettorizzazione delle immagini presuppone che l'indice abbia una definizione di vettore, che importa e vettorizza i dati crea in base agli input del modello di incorporamento.

1. Nel portale di Azure passare a Gestione ricerca>Indici e quindi selezionare l'indice creato. Esplora ricerche è la prima scheda.

2. Scegliere il menu Visualizza e selezionare quindi Visualizzazione immagine.

   

3. Trascinare un'immagine dalla cartella locale che contiene i file di immagine di esempio. In alternativa, aprire il browser file per selezionare un file di immagine locale.

4. Selezionare Cerca per eseguire la query.

   La prima corrispondenza deve essere l'immagine cercata. Poiché una ricerca vettoriale trova le corrispondenze tra vettori simili, il motore di ricerca restituisce qualsiasi documento sufficientemente simile all'input della query, fino al numero di risultati k. È possibile passare alla visualizzazione JSON per query più avanzate che includono l'ottimizzazione della pertinenza.

   

5. Provare altre opzioni di query per confrontare i risultati della ricerca:

   • Nascondere i vettori per ottenere risultati più leggibili (scelta consigliata).
   • Selezionare un campo vettoriale su cui eseguire una query. Il valore predefinito è i vettori di testo, ma è possibile specificare il vettore di immagine per escludere i vettori di testo dall'esecuzione della query.

Eseguire la pulizia

Questa demo usa risorse di Azure fatturabili. Se le risorse non sono più necessarie, eliminarle dalla sottoscrizione per evitare addebiti.

Passaggio successivo

Questo avvio rapido mostra la procedura guidata per Importare e vettorializzare i dati che crea tutti gli oggetti necessari per la ricerca di immagini. Per esplorare in dettaglio ogni passaggio, provare un esempio di vettorizzazione integrata.