Usare Trasformazione di dati DICOM nelle soluzioni per dati sanitari

La funzionalità Trasformazione di dati DICOM nelle soluzioni per dati sanitari ti consente di inserire, archiviare e analizzare dati DICOM (Digital Imaging and Communications in Medicine) provenienti da vari origini. Per altre informazioni sulla funzionalità e su come distribuirla e configurarla, vedi:

• Panoramica di Trasformazione di dati DICOM
• Trasformazione dei metadati DICOM mapping
• Distribuire e configurare Trasformazione di dati DICOM

Trasformazione di dati DICOM è una funzionalità facoltativa delle soluzioni per dati sanitari in Microsoft Fabric.

Prerequisiti

Prima di eseguire la pipeline di Trasformazione di dati DICOM, assicurati i di soddisfare i prerequisiti, il processo di distribuzione e i passaggi di configurazione descritti in Distribuire e configurare Trasformazione di dati DICOM.

Opzioni di inserimento di dati

Questo articolo fornisce una guida dettagliata su come utilizzare la funzionalità di trasformazione dei dati DICOM per acquisire, trasformare e unificare l'imaging DICOM set di dati. La funzionalità supporta le due seguenti opzioni di inserimento:

• Opzione 1: inserimento end-to-end di file DICOM. I file DICOM, in formato nativo (DCM) o compresso (ZIP), vengono inseriti nel lakehouse. Questa opzione è denominata Inserisci.

• Opzione 2: Integrazione con il servizio DICOM. L'inserimento è facilitato dall'integrazione nativa con il servizio DICOM in Servizi per i dati sanitari di Azure. In questa opzione, i file DCM vengono prima trasferiti dal servizio DICOM di Servizi per i dati sanitari di Azure a Data Lake Storage Gen2. La pipeline segue quindi il modello di ingestione Bring Your Own Storage (BYOS). ... Questa opzione è denominata opzione Servizi per i dati sanitari di Azure.

Per comprendere i dettagli della trasformazione mapping, vedere Trasformazione dei metadati DICOM mapping nelle soluzioni di dati sanitari.

Opzione 1: inserimento end-to-end di file DICOM

In questa opzione, acquisiamo e trasformiamo i dati di imaging dai file DICOM nelle lakehouse delle soluzioni di dati sanitari utilizzando la pipeline di dati predefinita. La trasformazione end-to-end consiste nei seguenti passaggi consecutivi:

1. Inserire file DICOM in OneLake
2. Organizzare i file DICOM in OneLake
3. Estrarre metadati DICOM nel lakehouse Bronze
4. Convertire i metadati DICOM nel formato FHIR (Fast Health Interoperability Resources)
5. Inserire dati nella tabella delta ImagingStudy nel lakehouse Bronze
6. Rendere flat e trasformare i dati nella tabella delta ImagingStudy nel lakehouse Silver
7. Convertire e inserire i dati nella tabella Image_Occurrence nel lakehouse Gold (facoltativo)

Passaggio 1: Ingerisci file DICOM in OneLake

La cartella Ingest nel lakehouse Bronze funge da cartella di rilascio (coda). Puoi rilasciare i file DICOM in questa cartella. I file vengono quindi spostati in una struttura di cartelle organizzata nel lakehouse Bronze.

1. Vai alla cartella Ingest\Imaging\DICOM\DICOM-HDS nel file bronzeo lakehouse.

2. Seleziona ... (puntini di sospensione) >Carica>Carica cartella.

3. Seleziona e carica 340ImagingStudies imaging set di dati dalla cartella SampleData in SampleData\Imaging\DICOM\DICOM-HDS. In alternativa, puoi anche utilizzare OneLake file explorer o Azure Storage Explorer per caricare il campione set di dati.

Passaggio 2: Esegui la pipeline dei dati di imaging

Dopo aver spostato i file DCM/ZIP nella cartella Ingest nel file bronze lakehouse, è ora possibile eseguire la pipeline dei dati di imaging per organizzare ed elaborare i dati nel file silver lakehouse.

1. Nelle tue soluzioni di dati sanitari ambiente, apri la pipeline di dati healthcare#_msft_imaging_with_clinical_foundation_ingestion .

2. Seleziona ha premuto il pulsante Esegui per iniziare a elaborare i dati di imaging dal bronzo all'argento lakehouse.

Questa pipeline di dati esegue in sequenza cinque notebook: tre distribuiti come parte della funzionalità di basi di dati sanitari e due dalla funzionalità di trasformazione dei dati DICOM. Per saperne di più su questi notebook, vedere Trasformazione dei dati DICOM: Artefatti.

Passaggio 3: Esegui il notebook di trasformazione da argento a oro

Dopo aver eseguito la pipeline di imaging, i dati di imaging vengono trasformati nel codice silver lakehouse. Il lakehouse argentato funge da puntare iniziale, dove i dati provenienti da varie modalità iniziano a convergere in modo strutturato. Per trasformare ulteriormente i tuoi dati nello OMOP standard di ricerca da utilizzare nella funzionalità Scopri e crea coorti (anteprima) , esegui il notebook di trasformazione da argento a oro.

1. Nelle tue soluzioni di dati sanitari ambiente, apri il notebook healthcare#_msft_omop_silver_gold_transformation .

   Questo notebook utilizza le API delle soluzioni per i dati sanitari per trasformare le risorse dal lakehouse silver nelle tabelle delta CDM nel lakehouse gold. OMOP OMOP Per impostazione predefinita, non devi apportare modifiche alla configurazione del notebook.

2. Seleziona Esegui tutto per eseguire il notebook.

   Il notebook implementa l' OMOP approccio di tracciamento per tracciare ed elaborare record nuovi o aggiornati nella tabella delta ImagingStudy nel file lakehouse silver. Trasforma i dati dalle tabelle delta FHIR nella tabella argento lakehouse (inclusa la tabella ImagingStudy ) nelle corrispondenti tabelle delta OMOP nella tabella oro lakehouse (inclusa la tabella Image_Occurrence ). Per maggiori informazioni su questa trasformazione, vedere Trasformazione mapping per la tabella delta argento-oro.

   Per informazioni dettagliate su OMOP mapping, vedere FHIR su OMOP mapping.

Passaggio 4: Convalida i dati

Negli scenari reali, l'inserimento dei dati coinvolge fonti con diversi livelli di qualità. Il motore di convalida, descritto in dettaglio in Convalida dei dati, attiva intenzionalmente le convalide su alcuni dei dati campione di imaging forniti. I file non conformi agli standard DICOM vengono spostati nella cartella Failed e non vengono elaborati. Tuttavia, un singolo errore di file non interrompe l'intera pipeline, come dimostrano i dati di esempio dell'immagine. La pipeline e i notebook associati vengono eseguiti correttamente, ma la cartella Failed in Imaging\DICOM\DICOM-HDS\YYYY\MM\DD contiene un file non conforme. Tutti gli altri file validi vengono elaborati correttamente, determinando uno stato complessivo di pipeline riuscito. Includiamo intenzionalmente questo file non valido nei dati di esempio dell'imaging per illustrare come la pipeline di imaging gestisce i file non validi e per aiutarti a identificare i problemi set di dati.

Per confermare che la pipeline abbia estratto correttamente tutti i metadati dai file DICOM non elaborati, aprire il file bronze lakehouse, passare all'analisi SQL endpoint e alla query SelezionaNew SQL .

Se la pipeline è stata eseguita correttamente, nella tabella ImagingDicom dovresti vedere 7739 istanze DICOM elaborate correttamente. Per verificare, eseguire la seguente query SQL. Per un'elaborazione corretta, dovresti vedere 7739 nel riquadro Risultati . Questo numero rappresenta il numero totale di istanze DICOM nei dati campione, comprendenti dati provenienti da diverse modalità quali tomografia computerizzata (TC) e risonanza magnetica per immagini (RMI).

select count(*) from ImagingDicom

Per confermare che la pipeline abbia idratato correttamente le lakehouse, aprire il file lakehouse in argento, passare all'analisi SQL, endpoint e alla query SelezionaNew SQL . Per un'esecuzione corretta della pipeline, è necessario visualizzare 339 risorse ImagingStudy elaborate correttamente. Per verificare, eseguire la seguente query SQL. Inizialmente, partiamo con 340 risorse ImagingStudy , ma si verifica un errore durante l'elaborazione.

 select count(*) from ImagingStudy

Opzione 2: Integrazione con il servizio DICOM

Questo approccio di trasformazione estende il modello Bring Your Own Storage (BYOS) con il servizio DICOM Azure Health Data Services. ... Il servizio DICOM è un sottoinsieme di API DICOMweb che consentono di archiviare, rivedere, cercare ed eliminare oggetti DICOM. Si integra con l'account Gen2 collegato al tuo spazio di lavoro Fabric, in modo che la pipeline di trasformazione possa accedere direttamente ai tuoi dati DICOM. Azure Data Lake Storage

In alternativa, puoi evitare di utilizzare l'API DICOM Azure e importare i file DICOM archiviati nel tuo account Storage Gen2 Data Lake (in questo caso, inizia da passaggio 5).

1. Rivedere e completare la configurazione in Distribuire l'API DICOM in Azure Health Data Services.

2. Dopo aver distribuito il servizio DICOM Azure, utilizzare l'API Store (STOW-RS) per acquisire i file DCM. Per testarlo, scarica un file DCM dai dati di esempio dell'immagine utilizzando OneLake File Explorer o Azure Storage Explorer.

3. A seconda della lingua preferita, carica i file DCM sul server utilizzando una delle seguenti opzioni:

   • Utilizzare le API standard DICOMweb con C#
   • Utilizzare le API standard DICOMweb con cURL
   • Utilizzare le API standard DICOMweb con Python

4. Verifica se il caricamento del file è riuscito:

   1. Nel portale Azure, Seleziona è l'account di archiviazione collegato al servizio DICOM.
   2. Vai a Contenitori e usa seguire per trovare il percorso [ContainerName]/AHDS/[AzureHealthDataServicesWorkspaceName]/dicom/[DICOMServiceName].
   3. Controlla se riesci a vedere il file DCM caricato qui.

   

   Nota

   • Il nome del file potrebbe cambiare durante il caricamento sul server. Tuttavia, il contenuto del file rimane invariato.
   • Per informazioni sui limiti delle dimensioni dei file, vedere Dimensioni dei file di ingestione.

5. Creare un collegamento nel file bronze lakehouse per il file DICOM archiviato nella posizione Data Lake Storage Gen2. Seguire i passaggi in Crea un Azure Data Lake Storage collegamento Gen2.

   • Per il servizio DICOM Azure, assicurati di utilizzare l'account Storage Gen2 Data Lake creato con il servizio.
   • Se non si utilizza il servizio DICOM Azure, è possibile creare un nuovo account Storage Gen2 Data Lake o utilizzarne uno esistente. Per saperne di più, consulta Creare un account di archiviazione da utilizzare con Azure Data Lake Storage.

   Per coerenza, utilizzare la seguente struttura di cartelle per creare il collegamento: Files\External\Imaging\DICOM\[Namespace]\[BYOSShortcutName]. Il valore Namespace garantisce la separazione logica delle scorciatoie provenienti da diversi sistemi di origine. Ad esempio, è possibile utilizzare il nome Data Lake Storage Gen2 per il valore Namespace .

   

   Nota

   Le scorciatoie OneLake supportano anche più sistemi di archiviazione oltre a Data Lake Storage Gen2. Per un elenco completo dei tipi di archiviazione supportati, vedere Scelte rapide di OneLake.

6. Configurare l' amministratore lakehouse per abilitare BYOS:

   1. Vai a healthcare#_msft_admin lakehouse e apri il file deploymentParametersConfiguration.json in Files\system-configurations.

   2. Abilitare l'impostazione BYOS in questo file di configurazione. Utilizzare Esplora file di OneLake per aprire il file deploymentParametersConfiguration.json dal seguente percorso di cartella: OneLake - Microsoft\[WorkspaceName]\healthcare#_msft_admin.Lakehouse\Files\system-configurations. Utilizzare un qualsiasi editor JSON o di testo (ad esempio Blocco note di Windows) per aprire il file, cercare il parametro byos_enabled e impostarlo su true.

      

7. La funzionalità di trasformazione dei dati DICOM ora può accedere a tutti i file DICOM nella loro posizione di origine Data Lake Storage Gen2, indipendentemente dalla gerarchia/struttura delle cartelle. Non è necessario acquisire manualmente i file DICOM come Fatto nell'opzione Ingest . Inizia l'esecuzione da passaggio 2: esegui la pipeline di dati di imaging nella sezione precedente per utilizzare la pipeline di imaging e trasformare i tuoi dati DICOM.

Informazioni correlate

• Trasformazione dei metadati DICOM mapping nelle soluzioni di dati sanitari
• Distribuire e configurare Trasformazione di dati DICOM
• Considerazioni sull'utilizzo di Trasformazione di dati DICOM