Come usare il modello di intelligenza artificiale medImageParse per la segmentazione di immagini mediche

Questo articolo illustra come distribuire MedImageParse come endpoint online per l'inferenza in tempo reale ed eseguire una chiamata di base all'API. I passaggi da eseguire sono:

• Distribuire il modello in un ambiente di calcolo gestito self-hosted.
• Concedere le autorizzazioni all'endpoint.
• Inviare dati di test al modello, ricevere e interpretare i risultati.

MedImageParse - segmentazione basata su richiesta di immagini mediche

L'analisi delle immagini biomediche è fondamentale per la scoperta in campi come biologia cellulare, patologia e radiologia. Tradizionalmente, le attività come la segmentazione, il rilevamento e il riconoscimento degli oggetti pertinenti vengono indirizzate separatamente, che possono limitare l'efficacia complessiva dell'analisi delle immagini. Tuttavia, MedImageParse unifica queste attività tramite l'analisi delle immagini, eseguendo congiuntamente segmentazione, rilevamento e riconoscimento in numerosi tipi di oggetti e modalità di imaging. Applicando le interdipendenze tra queste sottoattività, ad esempio le etichette semantiche degli oggetti segmentati, il modello migliora l'accuratezza e abilita nuove applicazioni. Ad esempio, consente agli utenti di segmentare tutti gli oggetti pertinenti in un'immagine usando una semplice richiesta di testo. Questo approccio elimina la necessità di specificare manualmente i rettangoli di selezione per ogni oggetto.

L'immagine seguente mostra l'architettura concettuale del modello MedImageParse in cui un modello di incorporamento di immagini è aumentato con un livello di adattamento delle attività per produrre maschere di segmentazione e descrizioni testuali.

Notevolmente, le maschere di segmentazione e le descrizioni testuali sono state ottenute usando solo set di dati di segmentazione standard, incrementati da etichette in linguaggio naturale, o descrizioni armonizzate con le onlogie degli oggetti biomedici stabiliti. Questo approccio non solo ha migliorato le prestazioni delle singole attività, ma ha anche offerto uno strumento all-in-one per l'analisi delle immagini biomediche, aprendo la strada alla scoperta biomedica più efficiente e accurata basata su immagini.

Prerequisiti

Per usare il modello MedImageParse, sono necessari i prerequisiti seguenti:

Una distribuzione modello

Distribuzione in un ambiente di calcolo gestito self-hosted

Il modello MedImageParse può essere distribuito nella soluzione di inferenza gestita self-hosted, che consente di personalizzare e controllare tutti i dettagli su come viene gestito il modello. È possibile distribuire il modello tramite l'interfaccia utente del catalogo (in Azure AI Foundry o studio di Azure Machine Learning) o distribuire a livello di codice.

Per distribuire il modello tramite l'interfaccia utente:

1. Passare al catalogo.

2. Cercare MedImageParse e selezionare la scheda del modello.

3. Nella pagina di panoramica del modello selezionare Distribuisci.

4. Se si ha la possibilità di scegliere tra la distribuzione dell'API serverless e la distribuzione usando un calcolo gestito, selezionare Calcolo gestito.

5. Compilare i dettagli nella finestra di distribuzione.

   Nota

   Per la distribuzione in un ambiente di calcolo gestito self-hosted, è necessario disporre di una quota sufficiente nella propria sottoscrizione. Se non è disponibile una quota sufficiente, è possibile usare l’accesso temporaneo alla quota selezionando l'opzione Voglio usare la quota condivisa e accetto che questo endpoint venga eliminato tra 168 ore.

6. Seleziona Distribuisci.

Per distribuire il modello a livello di codice, vedere Come distribuire e dedurre una distribuzione di calcolo gestita con codice.

Usare un modello di segmentazione

In questa sezione si utilizza il modello e si effettuano chiamate di base.

Usare l'API REST per usare il modello

Utilizzare il modello di segmentazione MedImageParse come API REST, usando richieste GET semplici o creando un client come indicato di seguito:

from azure.ai.ml import MLClient
from azure.identity import DeviceCodeCredential

credential = DefaultAzureCredential()

ml_client_workspace = MLClient.from_config(credential)

Nella configurazione di distribuzione è possibile scegliere il metodo di autenticazione. Questo esempio usa l'autenticazione basata su token di Azure Machine Learning. Per altre opzioni di autenticazione, vedere la pagina della documentazione corrispondente. Si noti anche che il client viene creato da un file di configurazione creato automaticamente per le macchine virtuali di Azure Machine Learning. Per altre informazioni, vedere la pagina della documentazione dell'API corrispondente.

Effettuare chiamate di base al modello

Dopo aver distribuito il modello, usare il codice seguente per inviare dati e recuperare maschere di segmentazione.

import base64
import json
import os

sample_image_xray = os.path.join(image_path)

def read_image(image_path):
    with open(image_path, "rb") as f:
        return f.read()

sample_image =  "sample_image.png"
data = {
    "input_data": {
        "columns": [ "image", "text" ],
        "index": [ 0 ],
        "data": [
            [
                base64.encodebytes(read_image(sample_image)).decode("utf-8"),
                "neoplastic cells in breast pathology & inflammatory cells"
            ]
        ]
    }
}
data_json = json.dumps(data)

# Create request json
request_file_name = "sample_request_data.json"
with open(request_file_name, "w") as request_file:
    json.dump(data, request_file)

response = ml_client_workspace.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment_name,
    request_file=request_file_name,
)

Usare l'API REST MedImageParse

Il modello MedImageParse presuppone una semplice interazione a turno singolo in cui una richiesta produce una risposta.

Schema della richiesta

Il payload della richiesta è una stringa in formato JSON contenente i parametri seguenti:

L'oggetto input_data contiene i campi seguenti:

Esempio di richiesta

Richiesta di segmentazione di tutte le cellule in un'immagine patologia

{
  "input_data": {
    "columns": [
      "image",
      "text"
    ],
    "index":[0],
    "data": [
      ["iVBORw0KGgoAAAANSUhEUgAAAAIAAAACCAYAAABytg0kAAAAAXNSR0IArs4c6QAAAARnQU1BAACx\njwv8YQUAAAAJcEhZcwAAFiUAABYlAUlSJPAAAAAbSURBVBhXY/gUoPS/fhfDfwaGJe///9/J8B8A\nVGwJ5VDvPeYAAAAASUVORK5CYII=\n",
      "neoplastic & inflammatory cells "]
    ]
  }
}

Schema della risposta

Il payload della risposta è un elenco di stringhe in formato JSON, ognuna corrispondente a un'immagine inviata. Ogni stringa contiene un segmentation_object oggetto .

segmentation_object contiene i campi seguenti:

segmentation_mask contiene i campi seguenti:

Risposta di esempio

Una semplice inferenza che richiede la segmentazione di due oggetti

[
  {
    "image_features": "{ 
    'data': '4oCwUE5HDQoa...',
    'shape': [2, 1024, 1024], 
    'dtype': 'uint8'}",
    "text_features": ['liver', 'pancreas']
  }
]

Formati di immagine supportati

L'API del modello distribuito supporta immagini codificate in formato PNG. Per ottenere risultati ottimali, è consigliabile usare i gruppi di sicurezza APN non compressi/senza perdita con immagini RGB.

Come descritto nella specifica DELL'API, il modello accetta solo immagini nella risoluzione dei 1024x1024pixel. Le immagini devono essere ridimensionate e riempite (nel caso di proporzioni non quadrate).

Per le tecniche e il codice di esempio utili per l'invio di immagini di immagini di varie dimensioni archiviate usando vari formati di imaging biomedico, vedere il notebook Generazione di segmentazione.

Altre informazioni dagli esempi

MedImageParse è un modello versatile che può essere applicato a un'ampia gamma di attività e modalità di imaging. Per altri esempi, vedere i notebook Python interattivi seguenti:

Introduzione

• Distribuzione e uso di MedImageParse: informazioni su come distribuire il modello MedImageParse e integrarlo nel flusso di lavoro.

Tecniche e esempi avanzati di inferenza

• Generazione di segmentazione per una varietà di modalità di imaging: comprendere come usare MedImageParse per segmentare un'ampia gamma di immagini mediche diverse e apprendere alcune tecniche di richiesta.

Contenuto correlato

• CXRReportGen per la generazione di report a terra
• MedImageInsight per la generazione di report a terra