다음을 통해 공유

Spark Batch - Create Spark Batch Job

  • 참조
서비스:
Synapse
API 버전:
2020-12-01

새 Spark 일괄 처리 작업을 만듭니다.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches
선택적 매개 변수: 
POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI 매개 변수

Name In(다음 안에) 필수 형식 Description
endpoint
 path True

string

작업 영역 개발 엔드포인트(예: https://myworkspace.dev.azuresynapse.net )입니다.
livyApiVersion
 path True

string

요청에 대한 유효한 api-version입니다.
sparkPoolName
 path True

string

spark 세션의 이름입니다.
detailed
 query

boolean

자세한 응답이 일반 livy 이상으로 반환되는지 여부를 지정하는 선택적 쿼리 매개 변수입니다.

요청 본문

Name 필수 형식 Description
file True

string

name True

string

archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

files

string[]

jars

string[]

numExecutors

integer

pyFiles

string[]

tags

object

응답

Name 형식 Description
200 OK

SparkBatchJob

Success

예제

Create new spark batch job.

샘플 요청

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

샘플 응답

상태 코드:
200 
{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

정의

Name Description
LivyStates

일괄 처리 상태
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType

Spark 일괄 처리 작업 결과입니다.
SparkBatchJobState
SparkErrorSource
SparkJobType

작업 유형입니다.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

일괄 처리 상태

Name 형식 Description
busy

string

dead

string

error

string

idle

string

killed

string

not_started

string

recovering

string

running

string

shutting_down

string

starting

string

success

string

PluginCurrentState

Name 형식 Description
Cleanup

string

Ended

string

Monitoring

string

Preparation

string

Queued

string

ResourceAcquisition

string

Submission

string

SchedulerCurrentState

Name 형식 Description
Ended

string

Queued

string

Scheduled

string

SparkBatchJob

Name 형식 Description
appId

string

이 세션의 애플리케이션 ID
appInfo

object

자세한 애플리케이션 정보입니다.
artifactId

string

아티팩트 식별자입니다.
errorInfo

SparkServiceError[]

오류 정보입니다.
id

integer

세션 ID입니다.
jobType

SparkJobType

작업 유형입니다.
livyInfo

SparkBatchJobState

log

string[]

로그 줄입니다.
name

string

일괄 처리 이름입니다.
pluginInfo

SparkServicePlugin

플러그 인 정보입니다.
result

SparkBatchJobResultType

Spark 일괄 처리 작업 결과입니다.
schedulerInfo

SparkScheduler

스케줄러 정보입니다.
sparkPoolName

string

Spark 풀 이름입니다.
state

LivyStates

일괄 처리 상태
submitterId

string

제출자 식별자입니다.
submitterName

string

제출자 이름입니다.
tags

object

태그입니다.
workspaceName

string

작업 영역 이름입니다.

SparkBatchJobOptions

Name 형식 Description
archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

tags

object

SparkBatchJobResultType

Spark 일괄 처리 작업 결과입니다.

Name 형식 Description
Cancelled

string

Failed

string

Succeeded

string

Uncertain

string

SparkBatchJobState

Name 형식 Description
currentState

string

Spark 작업 상태입니다.
deadAt

string

"죽은" livy 상태가 처음 나타난 시간입니다.
jobCreationRequest

SparkRequest

killedAt

string

"죽은" livy 상태가 처음 나타난 시간입니다.
notStartedAt

string

"not_started" livy 상태가 처음 표시된 시간입니다.
recoveringAt

string

"복구 중" livy 상태가 처음 표시된 시간입니다.
runningAt

string

"실행 중" livy 상태가 처음 표시된 시간입니다.
startingAt

string

"시작" livy 상태가 처음 표시된 시간입니다.
successAt

string

"성공" livy 상태가 처음 표시된 시간입니다.

SparkErrorSource

Name 형식 Description
Dependency

string

System

string

Unknown

string

User

string

SparkJobType

작업 유형입니다.

Name 형식 Description
SparkBatch

string

SparkSession

string

SparkRequest

Name 형식 Description
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

SparkScheduler

Name 형식 Description
cancellationRequestedAt

string

currentState

SchedulerCurrentState

endedAt

string

scheduledAt

string

submittedAt

string

SparkServiceError

Name 형식 Description
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Name 형식 Description
cleanupStartedAt

string

currentState

PluginCurrentState

monitoringStartedAt

string

preparationStartedAt

string

resourceAcquisitionStartedAt

string

submissionStartedAt

string