Come usare il modello di intelligenza artificiale CXRReportGen Healthcare per generare risultati basati

Questo articolo illustra come distribuire CXRReportGen come endpoint online per l'inferenza in tempo reale ed eseguire una chiamata di base all'API. I passaggi da eseguire sono:

• Distribuire il modello in un ambiente di calcolo gestito self-hosted.
• Concedere le autorizzazioni all'endpoint.
• Inviare dati di test al modello, ricevere e interpretare i risultati

CXRReportGen - Modello di generazione di report a terra per i raggi X del torace

La segnalazione di radiologia richiede una comprensione dettagliata delle immagini, l'integrazione di più input (inclusi i confronti con la creazione di immagini precedenti) e una generazione precisa del linguaggio, rendendola un candidato ideale per i modelli generativi. CXRReportGen genera un elenco di risultati di uno studio sui raggi X del torace ed esegue anche un'attività di generazione o di base di report a terra. Ovvero, il modello CXRReportGen incorpora anche la localizzazione dei singoli risultati nell'immagine. Il grounding migliora la chiarezza dell'interpretazione dell'immagine e la trasparenza del testo generato dall'IA, che finisce per migliorare l'utilità della stesura automatica dei report.

L'animazione seguente illustra l'architettura concettuale del modello CXRReportGen, costituito da un modello di incorporamento associato a un modello di linguaggio LLM (Reasoner Large Language Model).

Il modello CXRReportGen combina un codificatore di immagini specifico della radiologia con un modello linguistico di grandi dimensioni e accetta come input un set di dati più completo rispetto a molti approcci tradizionali. I dati di input includono l'immagine frontale corrente, l'immagine laterale corrente, l'immagine anteriore precedente, il report precedente e le sezioni di indicazione, tecnica e confronto del report corrente. Queste aggiunte migliorano significativamente la qualità dei report e riducono le informazioni errate, dimostrando infine la fattibilità della segnalazione a terra come un'attività nuova e più ricca in un'automazione della radiologia.

Prerequisiti

Per usare il modello CXRReportGen, sono necessari i prerequisiti seguenti:

Una distribuzione modello

Distribuzione in un ambiente di calcolo gestito self-hosted

Il modello CXRReportGen può essere distribuito nella soluzione di inferenza gestita self-hosted, che consente di personalizzare e controllare tutti i dettagli su come viene gestito il modello. È possibile distribuire il modello tramite l'interfaccia utente del catalogo (in Azure AI Foundry o studio di Azure Machine Learning) o distribuire a livello di codice.

Per distribuire il modello tramite l'interfaccia utente:

1. Passare al catalogo.

2. Cercare CxrReportGen e selezionare la scheda del modello.

3. Nella pagina di panoramica del modello selezionare Distribuisci.

4. Se si ha la possibilità di scegliere tra la distribuzione dell'API serverless e la distribuzione usando un calcolo gestito, selezionare Calcolo gestito.

5. Compilare i dettagli nella finestra di distribuzione.

   Nota

   Per la distribuzione in un ambiente di calcolo gestito self-hosted, è necessario disporre di una quota sufficiente nella propria sottoscrizione. Se non è disponibile una quota sufficiente, è possibile usare l’accesso temporaneo alla quota selezionando l'opzione Voglio usare la quota condivisa e accetto che questo endpoint venga eliminato tra 168 ore.

6. Seleziona Distribuisci.

Per distribuire il modello a livello di codice, vedere Come distribuire e dedurre una distribuzione di calcolo gestita con codice.

Usare un modello di generazione di report a terra per l'analisi dei raggi X del torace

In questa sezione si utilizza il modello e si effettuano chiamate di base.

Usare l'API REST per usare il modello

Utilizzare il modello di generazione di report CXRReportGen come API REST, usando richieste GET semplici o creando un client come indicato di seguito:

from azure.ai.ml import MLClient
from azure.identity import DeviceCodeCredential

credential = DefaultAzureCredential()

ml_client_workspace = MLClient.from_config(credential)

Nella configurazione di distribuzione è possibile scegliere il metodo di autenticazione. Questo esempio usa l'autenticazione basata su token di Azure Machine Learning. Per altre opzioni di autenticazione, vedere la pagina della documentazione corrispondente. Si noti anche che il client viene creato da un file di configurazione creato automaticamente per le macchine virtuali di Azure Machine Learning. Per altre informazioni, vedere la pagina della documentazione dell'API corrispondente.

Effettuare chiamate di base al modello

Dopo aver distribuito il modello, usare il codice seguente per inviare dati e recuperare un elenco di risultati e i rettangoli di delimitazione corrispondenti.

input_data = {
        "frontal_image": base64.encodebytes(read_image(frontal_path)).decode("utf-8"),
        "lateral_image": base64.encodebytes(read_image(lateral_path)).decode("utf-8"),
        "indication": indication,
        "technique": technique,
        "comparison": comparison,
    }

    data = {
        "input_data": {
            "columns": list(input_data.keys()),
            #  IMPORANT: Modify the index as needed
            "index": [0],  # 1, 2],
            "data": [
                list(input_data.values()),
            ],
        }
    }

    # Create request json
    request_file_name = "sample_request_data.json"
    with open(request_file_name, "w") as request_file:
        json.dump(data, request_file)

    response = ml_client_workspace.online_endpoints.invoke(
        endpoint_name=endpoint_name,
        deployment_name=deployment_name,
        request_file=request_file_name,
    )

Usare l'API REST CXRReportGen

Il modello CXRReportGen presuppone una semplice interazione a turno singolo in cui una richiesta produce una risposta.

Schema della richiesta

Il payload della richiesta è una stringa in formato JSON contenente i parametri seguenti:

L'oggetto input_data contiene i campi seguenti:

Esempio di richiesta

Semplice inferenza che richiede un elenco di risultati per una singola immagine frontale senza alcuna indicazione fornita

{
  "input_data": {
    "columns": [
      "frontal_image"
    ],
    "index":[0],
    "data": [
      ["iVBORw0KGgoAAAANSUhEUgAAAAIAAAACCAYAAABytg0kAAAAAXNSR0IArs4c6QAAAARnQU1BAACx\njwv8YQUAAAAJcEhZcwAAFiUAABYlAUlSJPAAAAAbSURBVBhXY/gUoPS/fhfDfwaGJe///9/J8B8A\nVGwJ5VDvPeYAAAAASUVORK5CYII=\n"]
    ]
  }
}

Richiesta più complessa che passa frontal, laterale, indicazione e tecnica

{
  "input_data": {
    "columns": [
      "frontal_image",
      "lateral_image",
      "indication",
      "technique"
    ],
    "index":[0],
    "data": [
      ["iVBORw0KGgoAAAANSUhEUgAAAAIAAAACCAYAAABytg0kAAAAAXNSR0IArs4c6QAAAARnQU1BAACx\njwv8YQUAAAAJcEhZcwAAFiUAABYlAUlSJPAAAAAbSURBVBhXY/gUoPS/fhfDfwaGJe///9/J8B8A\nVGwJ5VDvPeYAAAAASUVORK5CYII=\n",
        "iVBORw0KGgoAAAANSUhEUgAAAAIAAAACCAYAAABytg0kAAAAAXNSR0IArs4c6QAAAARnQU1BAACx\njwv8YQUAAAAJcEhZcwAAFiUAABYlAUlSJPAAAAAbSURBVBhXY/gUoPS/fhfDfwaGJe///9/J8B8A\nVGwJ5VDvPeYAAAAASUVORK5CYII=\n",
       "Cough and wheezing for 5 months",
       "PA and lateral views of the chest were obtained"]
    ]
  }
}

Schema della risposta

Il payload della risposta è una stringa in formato JSON contenente i campi seguenti:

Risposta di esempio

Una semplice inferenza che richiede l'incorporamento di una singola stringa

{
    "output": [
        ["The heart size is normal.", null],
        ["Lungs demonstrate blunting of both costophrenic angles.", [[0.005, 0.555, 0.965, 0.865]]],
        ["There is an area of increased radiodensity overlying the left lower lung.", [[0.555, 0.405, 0.885, 0.745]]],
        ["Healed fractures of the left fourth, fifth, sixth, seventh, and eighth posterior ribs are noted.", [[0.585, 0.135, 0.925, 0.725]]]
    ]
}

Formati di immagine supportati

L'API del modello distribuito supporta immagini codificate in formati PNG o JPEG. Per ottenere risultati ottimali, è consigliabile usare i gruppi di sicurezza APN non compressi/senza perdita con immagini monocromatiche a 8 bit.

Altre informazioni dagli esempi

CXRReportGen è un modello versatile che può essere applicato a un'ampia gamma di attività e modalità di imaging. Per altri esempi, vedere il notebook Python interattivo seguente:

• Distribuzione e uso di CXRReportGen: informazioni su come distribuire il modello CXRReportGen e integrarlo nel flusso di lavoro. Questo notebook illustra anche le tecniche di analisi e visualizzazione dei rettangoli delimitatore.

Contenuto correlato

• MedImageParse per la segmentazione di immagini mediche
• MedImageInsight per la generazione di report a terra