Azure Data Manager for Energy에서 사용할 수 있는 OSDU® M23 서비스
Azure Data Manager for Energy는 현재 M23 OSDU® 마일스톤 릴리스를 준수합니다. 아래에서는 현재 Azure Data Manager for Energy에서 사용할 수 있는 OSDU® 서비스의 개요를 확인할 수 있습니다. 이 페이지는 서비스 버전 및 가용성이 발전함에 따라 정기적으로 업데이트됩니다.
Core 및 도우미 서비스
- CRS 카탈로그: 측지 참조 데이터 작업을 위한 API 엔드포인트를 제공하여 개발자가 CRS 정의를 검색하고, 데이터 수집에 적절한 CRS를 선택하고, 다양한 제약 조건에 따라 CRS를 검색할 수 있도록 합니다.
- CRS 변환: 한 CRS(참조 좌표계)에서 다른 CRS로 좌표를 변환할 수 있습니다.
- 데이터 세트: 다양한 형식의 데이터 세트에 대한 애플리케이션 또는 사용자 페치 스토리지/검색 지침을 허용하는 내부 및 외부 API 엔드포인트를 제공합니다.
- 권한: OSDU 데이터 에코시스템에서 권한 부여를 사용하도록 설정하는 데 사용됩니다. 이 서비스를 사용하면 그룹을 만들 수 있습니다. 그룹 이름은 권한을 정의합니다. 해당 그룹에 추가된 사용자는 해당 권한을 가져옵니다. 권한 서비스는 주로 데이터 권한를 부여하기 위한 것이지만, 이 기능을 사용하면 데이터 권한 부여에 사용되는 데이터 그룹, 서비스 권한 부여에 사용되는 서비스 그룹, 사용자 및 서비스 ID의 계층적 그룹화에 사용되는 사용자 그룹의 세 가지 사용 사례가 가능합니다.
- 파일: 애플리케이션이나 사용자가 시스템에서 레코드를 가져오거나 파일 위치 데이터를 요청할 수 있도록 내부 및 외부 API 엔드포인트를 제공합니다.
- 인덱서: 구조화된 데이터 또는 구조화되지 않은 데이터가 포함된 문서의 인덱스를 생성하기 위한 메커니즘을 제공합니다. 문서와 인덱스는 검색 작업에 최적화된 별도의 영구 저장소에 저장됩니다. 인덱서 API는 원하는 수의 문서를 인덱싱할 수 있습니다.
- 인덱서 큐: 스토리지 서비스에서 인덱서 서비스로 메시지를 전달하는 데 도움이 되는 API 집합을 제공합니다.
- 법적 정보: 데이터 세트와 관련된 LegalTag를 관리합니다. LegalTag는 데이터 에코시스템에서 데이터의 법적 상태를 나타내는 엔터티입니다. 이는 데이터를 사용하고 수집하는 방법을 제어하는 속성 컬렉션입니다.
- 알림: 관심 있는 소비자가 게시/구독자 패턴을 사용하여 데이터 및 메타데이터 변경 내용을 구독할 수 있습니다.
- Python SDK: 개발자가 Python을 사용하여 OSDU 서비스와 상호 작용할 수 있는 도구와 라이브러리를 제공합니다.
- 등록: 애플리케이션이 작업(트리거할 함수)을 등록할 수 있도록 허용합니다. 작업을 사용하도록 설정하려면 데이터(컨텍스트)가 OSDU에서 나올 것으로 예상하며, 애플리케이션은 필터(사용/사용 안 함)를 등록하여 이 작업에 사용할 수 있는 데이터를 표시할 수 있습니다.
- 스키마: 데이터 에코시스템에서 스키마의 중앙 집중식 거버넌스 및 관리를 가능하게 합니다. 이는 스키마 표준의 구현을 제공합니다. 스키마 서비스는 스키마를 가져오고, 만들고, 업데이트하고, 사용되지 않는 것으로 표시하는 데 필요한 모든 API를 제공합니다.
- 검색: 인덱스 검색 메커니즘을 제공합니다. 지리 공간 검색과 함께 문자열 필드에 대한 전체 텍스트 검색, 날짜, 숫자 또는 문자열 필드에 대한 범위 쿼리 등을 지원합니다.
- 비밀(미리 보기): 지정된 리포지토리에서 다양한 형식의 비밀을 쉽게 저장하고 검색할 수 있어 비밀을 안전하게 보호하고 인프라 리포지토리의 비밀과 분리하며, 애플리케이션 인터페이스를 통해 쉽게 관리할 수 있습니다.
- Seismic 파일 메타데이터: Seismic 데이터와 관련된 메타데이터를 관리합니다. 차원, 값 채널 및 제네릭 키/값 쌍에 주석을 답니다.
- 스토리지: 수집(지속성), 수정, 삭제, 버전 관리, 데이터 스키마 등 전체 메타데이터 수명 주기를 관리하기 위한 API 집합을 제공합니다.
- 단위: 차원/측정 및 단위 정의를 제공합니다.
DDMS(Domain Data Management Services)
- Seismic DDMS: Seismic 데이터 세트에 대한 보안 액세스 및 효율적인 처리를 지원합니다.
- Wellbore DDMS: Wellbore 관련 데이터에 안전하게 액세스하고 처리할 수 있습니다.
- Well Delivery DDMS: Well Delivery(계획 및 실행) 데이터의 안전한 액세스, 스토리지 및 상호 작용을 가능하게 합니다.
수집 서비스
- EDS DMS [미리 보기]: 요청 시 검색을 위해 외부 원본에 연결된 데이터 세트 파일(LAS, SEG-Y 등)을 저장해 두고 예약된 작업을 통해 OSDU 호환 데이터 원본에서 지정된 데이터(메타데이터)를 끌어옵니다.
- EDS 페치 및 수집 DAG: 외부 공급자로부터 데이터를 가져와서 OSDU 플랫폼으로 수집하는 작업을 용이하게 합니다. 여기에는 공급자 등록, 데이터 작업 만들기, 수집 트리거와 같은 단계가 포함됩니다. M23 릴리스에서 EDS Fetch 및 수집 DAG에는 부모 및 참조 데이터 매핑과 같은 새로운 기능이 포함되어 있습니다.
- EDS 스케줄러 DAG: 미리 정의된 일정에 따라 데이터 페치를 자동화하고 필요에 따라 수신자에게 이메일을 보냅니다. 수동 개입 없이 데이터가 최신 상태로 유지되도록 보장합니다.
- 처리 워크플로: 시스템 내에서 비즈니스 프로세스를 시작합니다. 프로토타입 단계에서는 워크플로 메타데이터에 대한 CRUD 작업을 지원하고 Apache Airflow에서 워크플로를 트리거합니다. 또한 이 서비스는 Airflow 함수에 대한 래퍼 역할을 하여 프로세스 시작 기록을 관리합니다.
- 매니페스트 수집 DAG: Azure Data Manager for Energy 인스턴스의 데이터 세트에 대한 단일 또는 여러 메타데이터 아티팩트 수집에 사용합니다. 매니페스트 기반 수집에 관해 자세히 알아보세요.
- CSV 파서 DAG: 수집 및 처리를 위한 형식으로 CSV 파일을 구문 분석하는 데 도움이 됩니다.
- osdu-airflow-lib: Airflow 워크플로 내에서 사용자 컨텍스트 수집을 가능하게 하는 라이브러리입니다.
- osdu-ingestion-lib: 사용자 컨텍스트 수집을 지원하고 Python 버전 관리 및 권한 대체와 관련된 다양한 수정 사항을 포함하는 라이브러리입니다.
- SegY-to-oVDS DAG: SegY 파일 형식을 oVDS로 변환합니다.
- SegY-to-oZGY DAG: SrgY 파일 형식을 ZGY로 변환합니다.
Azure Data Manager for Energy에서는 OSDU® 서비스를 사용할 수 없습니다.
참고: 다음 OSDU® 서비스는 현재 Azure Data Manager for Energy에서 사용할 수 없습니다.
- Reservoir DDMS
- EDS 귀화 DAG
- 참조 DAG를 통한 매니페스트 수집
- Seismic DDMS v4 API
- 암석 및 유체 샘플 DDMS
- 생산 DDMS - 히스토리안
- WITSML 파서 DAG
- Energistcs 분석 파서 DAG(WITSML 파서 v2, Resqml 파서, ProdML 파서)
- 지리 공간적 사용량 영역
- 파티션 참고: 사용 가능한 데이터 파티션 API를 사용하거나 Azure Portal을 통해 작업을 계속 수행할 수 있습니다.
- 정책 서비스
- 스키마 업그레이드
- Wellbore Domain Services 작업자