Ricerca vettoriale in Azure Cosmos DB for NoSQL

Azure Cosmos DB per NoSQL offre ora un'efficiente indicizzazione e ricerca di vettori. Questa funzionalità è progettata per gestire vettori di alta dimensionalità, consentendo una ricerca vettoriale efficiente e accurata su qualsiasi scala. È ora possibile archiviare i vettori direttamente nei documenti insieme ai dati. Ogni documento nel database può contenere non solo dati tradizionali senza schema, ma anche vettori ad alta dimensionalità come altre proprietà dei documenti. Questa coubicazione di dati e vettori consente un'indicizzazione e una ricerca efficienti, poiché i vettori vengono archiviati nella stessa unità logica dei dati che rappresentano. Mantenere insieme vettori e dati semplifica la gestione dei dati, le architetture delle applicazioni di intelligenza artificiale e l'efficienza delle operazioni basate su vettori.

Azure Cosmos DB for NoSQL offre la flessibilità offerta nella scelta del metodo di indicizzazione vettoriale:

• Una ricerca esatta "flat" o k-nearest neighbors o vicino più prossimo (talvolta chiamata anche forza bruta) può fornire il 100% di richiamo di recupero per ricerche vettoriali più piccole e incentrate. in particolare quando si combinano con filtri di query e chiavi di partizione.
• Indice flat quantizzato che comprime i vettori usando metodi di quantizzazione basati su DiskANN per migliorare l'efficienza nella ricerca kNN.
• DiskANN, una suite di algoritmi di indicizzazione vettoriali all'avanguardia sviluppati da Microsoft Research per una ricerca vettoriale efficiente e ad alta precisione su qualsiasi scala.

Altre informazioni sull'indicizzazione vettoriale sono disponibili qui

La ricerca vettoriale in Azure Cosmos DB può essere combinata con tutti gli altri filtri e indici di query NoSQL supportati di Azure Cosmos DB tramite clausole WHERE. Ciò consente alle ricerche vettoriali di essere i dati più rilevanti per le applicazioni.

Questa funzionalità migliora le funzionalità di base di Azure Cosmos DB, rendendola più versatile per la gestione dei dati vettoriali e dei requisiti di ricerca nelle applicazioni di intelligenza artificiale.

Che cos'è un archivio di vettori?

Un archivio vettoriale o un database vettoriale è un database progettato per archiviare e gestire incorporamenti vettoriali, che sono rappresentazioni matematiche dei dati in uno spazio ad alta dimensionalità. In questo spazio, ogni dimensione corrisponde a una caratteristica dei dati e decine di migliaia di dimensioni possono essere usate per rappresentare dati sofisticati. La posizione di un vettore in questo spazio rappresenta le sue caratteristiche. Parole, frasi o interi documenti, immagini, audio e altri tipi di dati possono essere vettorizzati.

Come funziona un archivio vettoriale?

In un archivio vettoriale, gli algoritmi di ricerca vettoriale vengono usati per indicizzare ed eseguire query sugli incorporamenti. Alcuni algoritmi di ricerca vettoriale noti includono Hierarchical Navigable Small World (HNSW), Inverted File (IVF), DiskANN e così via. La ricerca vettoriale è un metodo che consente di trovare elementi simili in base alle caratteristiche dei dati anziché in base alle corrispondenze esatte in un campo di proprietà. Questa tecnica è utile nelle applicazioni come la ricerca di testi simili o di immagini correlate, la creazione di elementi consigliati o anche il rilevamento di anomalie. Viene usato per eseguire query sui vettori di incorporamento dei dati, creati usando un modello di Machine Learning usando un'API di incorporamento. Esempi di API di incorporamento sono gli incorporamenti OpenAI di Azure o Hugging Face in Azure. La ricerca vettoriale misura quindi la distanza tra i vettori di dati e i vettori di query. I vettori di dati più vicini al vettore di query sono quelli che risultano più simili dal punto di vista semantico.

Nel database vettoriale integrato in Azure Cosmos DB for NoSQL è possibile archiviare, indicizzare ed eseguire query insieme ai dati originali. Questo approccio elimina il costo aggiuntivo della replica dei dati in un database vettoriale puro separato. Inoltre, questa architettura mantiene insieme gli incorporamenti vettoriali e i dati originali, che facilitano meglio le operazioni di dati multi modale e consentono una maggiore coerenza, scalabilità e prestazioni dei dati.

Abilitare la funzionalità di indicizzazione e ricerca dei vettori

L'indicizzazione vettoriale e la ricerca in Azure Cosmos DB per NoSQL richiedono l'abilitazione nella pagina Funzionalità di Azure Cosmos DB. Per effettuare la registrazione, seguire questa procedura:

1. Passare alla pagina della risorsa Azure Cosmos DB for NoSQL.

2. Selezionare il riquadro "Funzionalità" nella voce di menu "Impostazioni".

3. Selezionare la funzionalità "Ricerca vettoriale in Azure Cosmos DB per NoSQL".

4. Leggere la descrizione della funzionalità per confermare che si vuole abilitarla.

5. Selezionare "Abilita" per attivare l'indicizzazione vettoriale e la funzionalità di ricerca.

   Suggerimento

   In alternativa, usare l'interfaccia della riga di comando di Azure per aggiornare le funzionalità dell'account per supportare la ricerca vettoriale NoSQL.

   az cosmosdb update \
        --resource-group <resource-group-name> \
        --name <account-name> \
        --capabilities EnableNoSQLVectorSearch
   

Criteri vettoriali dei contenitori

Per eseguire la ricerca vettoriale con Azure Cosmos DB for NoSQL è necessario definire criteri vettoriali per il contenitore. In questo modo vengono fornite informazioni essenziali per il motore di database per eseguire una ricerca efficiente di somiglianza per i vettori presenti nei documenti del contenitore. In questo modo si informa anche il criterio di indicizzazione vettoriale delle informazioni necessarie, se si sceglie di specificarne una. Le informazioni seguenti sono incluse nei criteri vettoriali contenuti:

• "path": proprietà contenente il vettore (obbligatorio).
• "datatype": tipo di dati della proprietà vettoriale (valore predefinito Float32). 
• "dimensions": la dimensionalità o la lunghezza di ogni vettore nel percorso. Tutti i vettori in un percorso devono avere lo stesso numero di dimensioni. (Valore predefinito=1536).
• "distanceFunction": metrica usata per calcolare la distanza/somiglianza. Metriche supportate:
  • cosine, con valori compresi tra -1 (meno simili) e +1 (più simili).
  • dot product, con valori compresi tra -inf (meno simili) e +inf (più simili).
  • euclidean, con valori compresi tra 0 (meno simili) e +inf (più simili).

I criteri del vettore del contenitore possono essere descritti come oggetti JSON. Di seguito sono riportati due esempi di criteri di vettori di contenitori validi:

Criteri con un singolo percorso vettoriale

{
    "vectorEmbeddings": [
        {
            "path":"/vector1",
            "dataType":"float32",
            "distanceFunction":"cosine",
            "dimensions":1536
        }
    ]
}

Criteri con due percorsi vettoriali

{
    "vectorEmbeddings": [
        {
            "path":"/vector1",
            "dataType":"float32",
            "distanceFunction":"cosine",
            "dimensions":1536
        },
        {
            "path":"/vector2",
            "dataType":"int8",
            "distanceFunction":"dotproduct",
            "dimensions":100
        }
    ]
}

Criteri di indicizzazione vettoriale

Gli indici vettoriali aumentano l'efficienza durante l'esecuzione di ricerche vettoriali usando la funzione di sistema VectorDistance. Le ricerche vettoriali hanno una latenza inferiore, una velocità effettiva più elevata e un consumo minore di UR quando si usa un indice vettoriale. È possibile specificare i tipi seguenti di criteri di indice vettoriale:

Alcuni punti da notare:

• I tipi di indice flat e quantizedFlat usano l'indice di Azure Cosmos DB per archiviare e leggere ogni vettore durante l'esecuzione di una ricerca vettoriale. Le ricerche vettoriali con un indice flat sono ricerche di forza bruta e producono precisione o richiamo al 100%. Ovvero, è garantito trovare i vettori più simili nel set di dati. Tuttavia, esiste una limitazione delle dimensioni 505 per i vettori in un indice flat.

• L'indice quantizedFlat archivia i vettori quantizzati (compressi) nell'indice. Le ricerche vettoriali con indice quantizedFlat sono anche ricerche di forza bruta, ma la loro accuratezza potrebbe essere leggermente inferiore al 100% perché i vettori vengono quantizzati prima di aggiungere all'indice. Tuttavia, le ricerche vettoriali con quantized flat devono avere una latenza inferiore, una velocità effettiva più elevata e un costo UR inferiore rispetto alle ricerche vettoriali su un indice flat. Questa è un'opzione valida per gli scenari più piccoli o per gli scenari in cui si usano filtri di query per restringere la ricerca vettoriale a un set relativamente ridotto di vettori. quantizedFlat è consigliabile quando il numero di vettori da indicizzare è in una posizione di circa 50.000 o meno per partizione fisica. Tuttavia, questa è solo una linea guida generale e le prestazioni effettive devono essere testate perché ogni scenario può essere diverso.

• L'indice diskANN è un indice separato definito in modo specifico per i vettori che usano DiskANN, una suite di algoritmi di indicizzazione a vettori con prestazioni elevate sviluppati da Microsoft Research. Gli indici DiskANN possono offrire una certa latenza più bassa, la velocità effettiva più elevata e le query sui costi delle UR più basse, mantenendo comunque un'accuratezza elevata. In generale, DiskANN è il più efficiente di tutti i tipi di indice se sono presenti più di 50.000 vettori per partizione fisica.

Ecco alcuni esempi di criteri di indice vettoriale validi:

{
    "indexingMode": "consistent",
    "automatic": true,
    "includedPaths": [
        {
            "path": "/*"
        }
    ],
    "excludedPaths": [
        {
            "path": "/_etag/?"
        },
        {
            "path": "/vector1/*"
        }
    ],
    "vectorIndexes": [
        {
            "path": "/vector1",
            "type": "diskANN"
        }
    ]
}

{
    "indexingMode": "consistent",
    "automatic": true,
    "includedPaths": [
        {
            "path": "/*"
        }
    ],
    "excludedPaths": [
        {
            "path": "/_etag/?"
        },
        {
            "path": "/vector1/*",
        },
        {
            "path": "/vector2/*",
        }
    ],
    "vectorIndexes": [
        {
            "path": "/vector1",
            "type": "quantizedFlat"
        },
        {
            "path": "/vector2",
            "type": "diskANN"
        }
    ]
}

Eseguire la ricerca vettoriale con query usando VectorDistance()

Dopo aver creato un contenitore con i criteri vettoriali desiderati e aver inserito i dati vettoriali nel contenitore, è possibile eseguire una ricerca vettoriale usando la funzione di sistema Vector Distance in una query. Un esempio di query NoSQL che proietta il punteggio di somiglianza con l'alias SimilarityScore e li ordina dal più simile a quello meno simile:

SELECT TOP 10 c.title, VectorDistance(c.contentVector, [1,2,3]) AS SimilarityScore   
FROM c  
ORDER BY VectorDistance(c.contentVector, [1,2,3])   

Limitazioni correnti

L'indicizzazione vettoriale e la ricerca in Azure Cosmos DB per NoSQL presentano alcune limitazioni.

• quantizedFlat gli indici e diskANN richiedono l'indicizzazione di almeno 1.000 vettori per garantire che la quantizzazione sia accurata. Se vengono indicizzati meno di 1.000 vettori, viene invece usata un'analisi completa e gli addebiti per le UR potrebbero essere maggiori.
• I vettori indicizzati con il tipo di indice flat possono essere al massimo di 505 dimensioni. I vettori indicizzati con il tipo di indice quantizedFlat o DiskANN possono essere al massimo di 4.096 dimensioni.
• L'indice quantizedFlat usa lo stesso metodo di quantizzazione di DiskANN.
• La frequenza di inserimenti vettoriali deve essere limitata. L'inserimento molto grande (in eccesso a 5 milioni di vettori) può richiedere tempi di compilazione aggiuntivi per l'indice.
• I database con velocità effettiva condivisa non sono supportati.
• Al momento, l'indicizzazione vettoriale e la ricerca non sono supportate per gli account con l'archivio analitico (e Collegamento a Synapse) e la velocità effettiva condivisa.
• Dopo aver abilitato l'indicizzazione e la ricerca vettoriale in un contenitore, non può essere disabilitata.

Contenuto correlato

• DiskANN + Azure Cosmos DB - Microsoft Mechanics Video
• .NET - Procedura per indicizzare ed eseguire query sui dati vettoriali
• Python - Procedura per indicizzare ed eseguire query sui dati vettoriali
• Java - Procedura per indicizzare ed eseguire query sui dati vettoriali
• Funzione di sistema VectorDistance
• Panoramica dell'indice vettoriale
• Criteri di indice vettoriale
• Gestire l'indice
• Integrazioni:
  • LangChain, Python
  • Semantic Kernel, .NET
  • Semantic Kernel, Python

Passaggio successivo