MongoDB için Azure Cosmos DB sanal çekirdeğinde vektör deposu

DiskANN dizinleri M40 katmanlarında ve üzerinde kullanılabilir. DiskANN dizinini oluşturmak için parametresini "kind" "vector-diskann" aşağıdaki şablonu izleyerek ayarlayın:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-diskann", 
                "dimensions": <integer_value>,
                "similarity": <string_value>,
                "maxDegree" : <integer_value>, 
                "lBuild" : <integer_value>, 
            } 
        } 
    ] 
}

DiskANN ile vektör araması yapma

Vektör araması yapmak için toplama işlem hattı aşamasını $search kullanın ve işleciyle sorgulayın cosmosSearch . DiskANN, jeo-uzamsal veya metin tabanlı filtreler gibi isteğe bağlı filtreleme ile büyük veri kümelerinde yüksek performanslı aramalara olanak tanır.

{
  "$search": {
    "cosmosSearch": {
      "path": "<path_to_property>",
      "query": "<query_vector>",  
      "k": <num_results_to_return>,  
      "filter": {"$and": [
        { "<attribute_1>": { "$eq": <value> } },
        {"<location_attribute>": {"$geoWithin": {"$centerSphere":[[<longitude_integer_value>, <latitude_integer_value>], <radius>]}}}
      ]}
    }
  }
},

Yeni bir kümede DiskANN'yi etkinleştirme

MongoDB için Yeni Sağlanan Azure Cosmos DB (sanal Çekirdek) kümesinde DiskANN Vektör Dizini'ni etkinleştirmek için, Azure CLI aracılığıyla küme düzeyinde kayıt gerçekleştirmek için şu adımları izleyin:

1. Azure CLI'da oturum açma

az login

2. Kümenizdeki özellik bayrakları için geçerli ayarları alın. Bu, yeni özelliği eklerken mevcut bayrakları korumanızı sağlar.

az resource show --ids "/subscriptions/<sub id>/resourceGroups/<resource group name>/providers/Microsoft.DocumentDB/mongoClusters/<resource name of your Cosmos DB for MongoDB cluster>" --api-version <cluster's api version>

3. DiskANNIndex Mevcut özellikleri kaldırmadan önizleme özellikleri listesine bayrağını ekleyin.

az resource patch --ids "/subscriptions/<sub id>/resourceGroups/<resource group name>/providers/Microsoft.DocumentDB/mongoClusters/<resource name of your Cosmos DB for MongoDB cluster>" --api-version <cluster's api version> --properties "{\"previewFeatures\": [\"GeoReplicas\", \"DiskANNIndex\"]}" 

Filtreleme ile DiskANN Dizini kullanma örneği

Veritabanınıza vektör ekleme

Vektör aramasını jeo-uzamsal filtrelerle kullanmak için hem vektör eklemeleri hem de konum koordinatlarını içeren belgeler ekleyin. Eklemeleri kendi modelinizi, Azure OpenAI Embeddings'i veya başka bir API'yi (Azure'da Yüz Tanıma gibi) kullanarak oluşturabilirsiniz.

from pymongo import MongoClient

client = MongoClient("<your_connection_string>")
db = client["test"]
collection = db["testCollection"]

documents = [
    {"name": "Eugenia Lopez", "bio": "CEO of AdventureWorks", "is_open": 1, "location": [-118.9865, 34.0145], "contentVector": [0.52, 0.20, 0.23]},
    {"name": "Cameron Baker", "bio": "CFO of AdventureWorks", "is_open": 1, "location": [-0.1278, 51.5074], "contentVector": [0.55, 0.89, 0.44]},
    {"name": "Jessie Irwin", "bio": "Director of Our Planet initiative", "is_open": 0, "location": [-118.9865, 33.9855], "contentVector": [0.13, 0.92, 0.85]},
    {"name": "Rory Nguyen", "bio": "President of Our Planet initiative", "is_open": 1, "location": [-119.0000, 33.9855], "contentVector": [0.91, 0.76, 0.83]}
]

collection.insert_many(documents)

DiskANN vektör dizini oluşturma

Aşağıdaki örnekte, filtreleme özelliklerine sahip bir DiskANN vektör dizininin nasıl ayarlanacağı gösterilmektedir. Buna benzerlik araması için vektör dizini oluşturma, vektör ve jeo-uzamsal özelliklere sahip belgeler ekleme ve ek filtreleme için dizin oluşturma alanları dahildir.

db.command({
    "createIndexes": "testCollection",
    "indexes": [
        {
            "name": "DiskANNVectorIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": {
                "kind": "vector-diskann",
                "dimensions": 3,
                "similarity": "COS",
                "maxDegree": 32,
                "lBuild": 64
            }
        },
        { 
            "name": "is_open",
            "key": { 
                "is_open": 1 
            }      
        },
        {
            "name": "locationIndex",
            "key": {
                "location": 1
            }
        }
    ]
})

Bu komut, içinde contentVector alanında exampleCollectionbir DiskANN vektör dizini oluşturur ve benzerlik aramalarını etkinleştirir. Ayrıca şunları da ekler:

• İşletmelerin is_open açık olup olmadığına göre sonuçları filtrelemenize olanak sağlayan alandaki bir dizin.
• Coğrafi yakınlık ölçütüne göre filtrelemek için alandaki jeo-uzamsal dizin location .

Vektör Araması Gerçekleştirme

Belirli bir coğrafi yarıçap içinde benzer vektörlere sahip belgeleri bulmak için benzerlik aramasını queryVector belirtin ve jeo-uzamsal filtre ekleyin.

query_vector = [0.52, 0.28, 0.12]
pipeline = [
    {
        "$search": {
            "cosmosSearch": {
                "path": "contentVector",
                "vector": query_vector,
                "k": 5,
                "filter": {
                    "$and": [
                        {"is_open": {"$eq": 1}},
                        {"location": {"$geoWithin": {"$centerSphere": [[-119.7192861804, 34.4102485028], 100 / 3963.2]}}}
                    ]
                }
            }
        }
    }
]

results = list(collection.aggregate(pipeline))
for result in results:
    print(result)

Bu örnekte vektör benzerlik araması, belirtilen COS benzerlik ölçümüne göre en k yakın vektörleri döndürürken sonuçları yalnızca 100 mil yarıçapı içindeki açık işletmeleri içerecek şekilde filtrelemektedir.

[
  {
    similarityScore: 0.9745354109084544,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'CEO of AdventureWorks',
      is_open: 1,
      location: [-118.9865, 34.0145],
      contentVector: [0.52, 0.20, 0.23]
    }
  },
  {
    similarityScore: 0.9006955671333992,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'President of Our Planet initiative',
      is_open: 1,
      location: [-119.7302, 34.4005],
      contentVector: [0.91, 0.76, 0.83]
    }
  }
]

Bu sonuç, 100 mil yarıçapı ve açık işletmelerle kısıtlanmış, ile en çok benzer belgeleri queryVectorgösterir. Her sonuç, MongoDB için Cosmos DB'deki DiskANN'nin zenginleştirilmiş, konuma duyarlı arama deneyimleri için birleştirilmiş vektör ve jeo-uzamsal sorguları nasıl desteklediğini gösteren benzerlik puanı ve meta verileri içerir.

M40 küme katmanları ve üzeri üzerinde HNSW (Hiyerarşik Gezinilebilir Küçük Dünya) dizinleri oluşturabilirsiniz. HSNW dizinini oluşturmak için parametresi aşağıdaki şablonu izleyerek ayarlanmış "vector-hnsw" bir vektör dizini "kind" oluşturmanız gerekir:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": <integer_value>, 
                "efConstruction": <integer_value>, 
                "similarity": "<string_value>", 
                "dimensions": <integer_value> 
            } 
        } 
    ] 
}

HNSW ile vektör araması yapma

Vektör araması yapmak için toplama işlem hattını kullanarak $search sorguyu işleçle birlikte hazırlayın cosmosSearch .

{
    "$search": {
        "cosmosSearch": {
            "vector": <query_vector>,
            "path": "<path_to_property>",
            "k": <num_results_to_return>,
            "efSearch": <integer_value>
        },
    }
}

HNSW dizini kullanma örneği

Aşağıdaki örneklerde vektörleri dizine alma, vektör özelliklerine sahip belgeler ekleme, vektör araması gerçekleştirme ve dizin yapılandırmasını alma işlemleri gösterilmektedir.

use test;

db.createCollection("exampleCollection");

db.runCommand({ 
    "createIndexes": "exampleCollection",
    "indexes": [
        {
            "name": "VectorSearchIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": 16, 
                "efConstruction": 64, 
                "similarity": "COS", 
                "dimensions": 3
            } 
        } 
    ] 
});

Bu komut, belirtilen koleksiyonda exampleCollectiondepolanan belgelerde özelliğine karşı contentVector bir HNSW dizini oluşturur. özelliği, cosmosSearchOptions HNSW vektör dizini için parametreleri belirtir. Belgenizde vektör iç içe bir özellikte depolanmışsa, noktalı bir gösterimi yolu kullanarak bu özelliği ayarlayabilirsiniz. Örneğin, öğesinin bir alt özelliğiyse contentVector textkullanabilirsiniztext.contentVector.

Veritabanınıza vektör ekleme

Veritabanınızın koleksiyonuna vektör eklemek için önce kendi modelinizi, Azure OpenAI Embeddings'i veya başka bir API'yi (Azure'da Yüz Tanıma gibi) kullanarak eklemeler oluşturmanız gerekir. Bu örnekte, örnek eklemeler aracılığıyla yeni belgeler eklenir:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Vektör araması yapma

Son örnekle devam ederek başka bir vektör oluşturun: queryVector. Vektör araması, belgelerinizin yolundaki vektörlerle arasındaki queryVector mesafeyi contentVector ölçer. Aramanın döndürdüğü sonuç sayısını, parametresini kburada olarak ayarlayarak ayarlayabilirsiniz 2 . Ayrıca, aday vektör listesinin boyutunu denetleyen bir tamsayı olan değerini de ayarlayabilirsiniz efSearch. Daha yüksek bir değer doğruluğu artırabilir, ancak sonuç olarak arama daha yavaş olacaktır. Bu, varsayılan değeri 40 olan isteğe bağlı bir parametredir.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    "$search": {
        "cosmosSearch": {
            "vector": "queryVector",
            "path": "contentVector",
            "k": 2,
            "efSearch": 40
        },
    }
  }
}
]);

Bu örnekte, Mongo kabuğu aracılığıyla giriş olarak kullanılarak queryVector bir vektör araması gerçekleştirilir. Arama sonucu, benzerlik puanlarına göre sıralanmış, sorgu vektörine en çok benzeyen iki öğenin listesidir.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]

IVF (Ters Dosya) algoritmasını kullanarak vektör dizini oluşturmak için aşağıdaki createIndexes şablonu kullanın ve parametresini "kind" olarak "vector-ivf"ayarlayın:

{
  "createIndexes": "<collection_name>",
  "indexes": [
    {
      "name": "<index_name>",
      "key": {
        "<path_to_property>": "cosmosSearch"
      },
      "cosmosSearchOptions": {
        "kind": "vector-ivf",
        "numLists": <integer_value>,
        "similarity": "<string_value>",
        "dimensions": <integer_value>
      }
    }
  ]
}

IVF ile vektör araması yapma

Vektör araması yapmak için mongoDB sorgusunda $search toplama işlem hattı aşamasını kullanın. Dizini kullanmak cosmosSearch için yeni cosmosSearch işlecini kullanın.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <query_vector>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

Benzerlik puanını (searchScore) vektör araması tarafından bulunan belgelerle birlikte almak için işlecini $project kullanarak sonuçlara ekleyin searchScore ve sonuçları olarak <custom_name_for_similarity_score> yeniden adlandırın. Daha sonra belge de iç içe nesne olarak yansıtılır. Benzerlik puanının vektör dizininde tanımlanan ölçüm kullanılarak hesaplandığını unutmayın.

IVF Dizini kullanma örneği

Ters Dosya (IVF) Dizin oluşturma, vektörleri kümeler halinde düzenleyen bir yöntemdir. Vektör araması sırasında, sorgu vektöru ilk olarak bu kümelerin merkezleriyle karşılaştırılır. Daha sonra arama, merkezi sorgu vektörine en yakın olan küme içinde yapılır.

numLists parametresi, oluşturulacak küme sayısını belirler. Tek bir küme, aramanın bir deneme yanılma veya kNN aramasına karşılık gelen veritabanındaki tüm vektörlere karşı yürütüldüğünü gösterir. Bu ayar en yüksek doğruluğu sağlarken aynı zamanda en yüksek gecikme süresini de sağlar.

Değerin numLists artırılması, her birinin daha az vektör içeren daha fazla kümeye neden olur. Örneğin, if ise numLists=2, her küme if numLists=3değerinden daha fazla vektör içerir ve bu şekilde devam eder. Küme başına daha az vektör aramayı hızlandırıyor (daha düşük gecikme süresi, saniyede daha yüksek sorgu sayısı). Ancak bu, veritabanınızda sorgu vektörünün en benzer vektörünün eksik olma olasılığını artırır. Bunun nedeni, gerçek "en yakın" vektör farklı bir kümede yer alırken aramanın bir kümeye odaklanabileceği kümelemenin kusurlu doğasıdır.

nProbes parametresi aranacak küme sayısını denetler. Varsayılan olarak, 1 olarak ayarlanır, yani yalnızca sorgu vektöre en yakın merkezi olan kümede arama gerçekleştirir. Bu değerin artırılması, aramanın daha fazla kümeyi kapsamasına olanak tanır ve daha fazla küme ve vektör arandıkça doğruluğu artırır, ancak gecikme süresini artırır (böylece saniye başına sorgu sayısını azaltır).

Aşağıdaki örneklerde vektörleri dizine alma, vektör özelliklerine sahip belgeler ekleme, vektör araması gerçekleştirme ve dizin yapılandırmasını alma işlemleri gösterilmektedir.

Vektör dizini oluşturma

use test;

db.createCollection("exampleCollection");

db.runCommand({
  createIndexes: 'exampleCollection',
  indexes: [
    {
      name: 'vectorSearchIndex',
      key: {
        "vectorContent": "cosmosSearch"
      },
      cosmosSearchOptions: {
        kind: 'vector-ivf',
        numLists: 3,
        similarity: 'COS',
        dimensions: 3
      }
    }
  ]
});

Bu komut, exampleCollectionbelirtilen koleksiyonda depolanan belgelerde özelliğine karşı vectorContent bir vector-ivf dizin oluşturur. özelliği, cosmosSearchOptions IVF vektör dizini için parametreleri belirtir. Belgenizde vektör iç içe bir özellikte depolanmışsa, noktalı bir gösterimi yolu kullanarak bu özelliği ayarlayabilirsiniz. Örneğin, öğesinin bir alt özelliğiyse vectorContent textkullanabilirsiniztext.vectorContent.

Veritabanınıza vektör ekleme

Veritabanınızın koleksiyonuna vektör eklemek için önce kendi modelinizi, Azure OpenAI Embeddings'i veya başka bir API'yi (Azure'da Yüz Tanıma gibi) kullanarak eklemeler oluşturmanız gerekir. Bu örnekte, örnek eklemeler aracılığıyla yeni belgeler eklenir:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Vektör araması yapma

Vektör araması yapmak için mongoDB sorgusunda $search toplama işlem hattı aşamasını kullanın. Dizini kullanmak cosmosSearch için yeni cosmosSearch işlecini kullanın.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <vector_to_search>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

Benzerlik puanını (searchScore) vektör araması tarafından bulunan belgelerle birlikte almak için işlecini $project kullanarak sonuçlara ekleyin searchScore ve sonuçları olarak <custom_name_for_similarity_score> yeniden adlandırın. Daha sonra belge de iç içe nesne olarak yansıtılır. Benzerlik puanının vektör dizininde tanımlanan ölçüm kullanılarak hesaplandığını unutmayın.

$search kullanarak vektörleri ve vektör uzaklıklarını (benzerlik puanları) sorgula"

Son örnekle devam ederek başka bir vektör oluşturun: queryVector. Vektör araması, belgelerinizin yolundaki vektörlerle arasındaki queryVector mesafeyi vectorContent ölçer. Aramanın döndürdüğü sonuç sayısını, parametresini kburada olarak ayarlayarak ayarlayabilirsiniz 2 . Ayrıca, her aramada incelenen yakındaki kümelerin sayısını denetleyen bir tamsayı olan değerini de ayarlayabilirsiniz nProbes. Daha yüksek bir değer doğruluğu artırabilir, ancak sonuç olarak arama daha yavaş olacaktır. Bu, varsayılan değeri 1 olan isteğe bağlı bir parametredir ve vektör dizininde belirtilen değerden numLists büyük olamaz.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    $search: {
      "cosmosSearch": {
        "vector": queryVector,
        "path": "vectorContent",
        "k": 2
      },
    "returnStoredSource": true }},
  {
    "$project": { "similarityScore": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
]);

Bu örnekte, Mongo kabuğu aracılığıyla giriş olarak kullanılarak queryVector bir vektör araması gerçekleştirilir. Arama sonucu, benzerlik puanlarına göre sıralanmış, sorgu vektörine en çok benzeyen iki öğenin listesidir.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]