ParallelRunConfig クラス

Python 環境を構成する環境定義。 既存の Python 環境を使用するように構成することも、実験用の一時環境をセットアップすることもできます。 環境定義は、conda や pip パッケージなど、必要なアプリケーションの依存関係を定義する役割を担います。

複数のノードで並列に実行されるユーザー スクリプト。 これは、ローカル ファイル パスとして指定されます。 source_directory が指定された場合は、entry_script がディレクトリ内部の相対パスになります。 そうでない場合は、マシン上でアクセス可能な任意のパスを指定できます。 entry_script には、次の 2 つの関数が含まれている必要があります。init(): この関数は、モデルの逆シリアル化やグローバル オブジェクトへの読み込みなど、後で推論するためのコストのかかる準備、または一般的な準備を行うときに使用する必要があります。 run(mini_batch): 並列化するメソッド。 各呼び出しには 1 つのミニバッチがあります。 'mini_batch': バッチ推論は run メソッドを呼び出して、そのメソッドに、リストまたは Pandas データフレームのいずれかを引数として渡します。 min_batch のエントリはそれぞれ、filepath (入力が FileDataset の場合) または Pandas データフレーム (入力が TabularDataset の場合) になります。 run() メソッドは、Pandas データフレームまたは配列を返します。 append_row output_action の場合、これらの返される要素は、共通の出力ファイルに追加されます。 summary_only の場合、要素のコンテンツは無視されます。 すべての出力アクションについて、返される出力要素はそれぞれ、入力ミニバッチ内で成功した 1 つの入力要素の推論を示します。 各並列ワーカー プロセスは、init を 1 回呼び出してから、すべてのミニバッチが処理されるまで run 関数をループします。

処理中に無視する必要のあるエラーの数。TabularDataset の場合はレコード エラー数、FileDataset の場合はファイル エラー数を示します。 エラー数がこの値を超えた場合は、ジョブが中止されます。 エラーのしきい値は、入力全体を対象にしており、run() メソッドに送信された個々のミニバッチを対象にしていません。 範囲は [-1, int.max] です。 -1 は、処理中のすべての失敗を無視することを示します。

出力を整理する方法。 現在サポートされている値は、'append_row' と 'summary_only' です。

1. 'append_row' - run() メソッドの呼び出しによって出力されるすべての値は、出力場所に作成された parallel_run_step.txt という名前の 1 つの一意のファイルに集約されます。
2. 'summary_only' - ユーザー スクリプトは、それ自体で出力を格納することが想定されます。 出力行は、引き続き、正常に処理された入力項目ごとに必要です。 システムは、この出力をエラーしきい値の計算にのみ使用します (行の実際の値は無視します)。

ParallelRunStep の実行に使用するコンピューティング先。 このパラメーターは、コンピューティング先オブジェクトとして、または、ワークスペース上のコンピューティング先の名前として指定できます。

ParallelRunStep の実行に使用されるコンピューティング先のノードの数。

エントリ スクリプトを並列で実行するノードあたりのワーカー プロセスの数。 GPU マシンの場合、既定値は 1 です。 CPU マシンの場合、既定値はコア数です。 ワーカー プロセスが、取得したミニ バッチを渡すことで run() を繰り返し呼び出します。 ジョブ内のワーカー プロセスの総数は process_count_per_node * node_count で、これにより並列で実行する run() の最大数が決定します。

FileDataset 入力の場合は、このフィールドが、ユーザー スクリプトが 1 回の run() 呼び出しで処理できるファイルの数です。 TabularDataset 入力の場合、このフィールドは、ユーザー スクリプトが 1 回の run() 呼び出しで処理できるデータのおおよそのサイズです。 値の例は、1024、1024 KB、10 MB、1 GB です。 (省略可能。既定値は、FileDataset の場合は 10 ファイル、TabularDataset の場合は 1MB です。)

コンピューティング先で実行するために使用される entry_script およびサポート ファイルが格納されているフォルダーへのパス。

表示目的に使用されるバッチ サービスに関する説明。

ログ レベル名の文字列。'logging' で定義されます。 指定可能な値は、'WARNING'、'INFO'、'DEBUG' です。 (省略可能。既定値は 'INFO' です。)

run () メソッドの呼び出しごとのタイムアウト (秒単位) (省略可能。既定値は 60 です。)

失敗した、またはタイムアウトになったミニ バッチの最大再試行回数。 範囲は [1, int.max] です。 既定値は、3 です。 デキュー回数がこの値を超えるミニバッチは再び処理されず、直接削除されます。

output_action が 'append_row' の場合の出力ファイルの名前。 (省略可能、既定値は 'parallel_run_step.txt')

処理中に無視する必要のある、失敗したミニバッチの数。 失敗した数がこの値を超えた場合は、ジョブが中止されます。 このしきい値は、run() メソッドに送信された個々のミニバッチではなく、入力全体に対して使用されます。 範囲は [-1, int.max] です。 -1 は、処理中のすべての失敗を無視することを示します。 ミニバッチは最初に処理されるときに失敗し、2 回目の試行で成功する場合があります。 1 回目から 2 回目までの間にチェックすると、失敗としてカウントされます。 2 回目以降のチェックでは、失敗としてカウントされません。 引数 –error_threshold、–allowed_failed_count および –allowed_failed_percent は連携させることができます。 複数が指定されている場合、ジョブはそのいずれかを超えた場合に中止されます。

処理中に無視する必要のある、失敗したミニバッチの割合。 失敗した割合がこの値を超えた場合は、ジョブが中止されます。 このしきい値は、run() メソッドに送信された個々のミニバッチではなく、入力全体に対して使用されます。 範囲は [0, 100] です。 100 または 100.0 は、処理中のすべての失敗を無視することを示します。 すべてのミニバッチがスケジュールされた後、チェックが開始されます。 引数 –error_threshold、–allowed_failed_count および –allowed_failed_percent は連携させることができます。 複数が指定されている場合、ジョブはそのいずれかを超えた場合に中止されます。

データセットをミニバッチにパーティション分割するために使用されるキー。 指定した場合、同じキーを持つデータが同じミニバッチにパーティション分割されます。 partition_keys と mini_batch_size の両方が指定されている場合、エラーが発生します。 これは、入力データセットをパーティション分割するために使用するキーである str 要素のリストである必要があります。 ただし、PipelineParameter に昇格した場合、list 型は現時点では PipelineParameter ではサポートされていないため、既定値はリストの json dump str である必要があります。 入力はパーティション分割されたデータセットである必要があり、partition_keys が機能するためには、各入力データセットのキーのサブセットである必要があります。

環境変数の名前と値のディクショナリ。 これらの環境変数は、ユーザー スクリプトが実行されるプロセスで設定されます。

Python 環境を構成する環境定義。 既存の Python 環境を使用するように構成することも、実験用の一時環境をセットアップすることもできます。 環境定義は、conda や pip パッケージなど、必要なアプリケーションの依存関係を定義する役割を担います。

複数のノードで並列に実行されるユーザー スクリプト。 これは、ローカル ファイル パスとして指定されます。 source_directory が指定された場合は、entry_script がディレクトリ内部の相対パスになります。 そうでない場合は、マシン上でアクセス可能な任意のパスを指定できます。 entry_script には、次の 2 つの関数が含まれている必要があります。init(): この関数は、モデルの逆シリアル化やグローバル オブジェクトへの読み込みなど、後で推論するためのコストのかかる準備、または一般的な準備を行うときに使用する必要があります。 run(mini_batch): 並列化するメソッド。 各呼び出しには 1 つのミニバッチがあります。 'mini_batch': バッチ推論は run メソッドを呼び出して、そのメソッドに、リストまたは Pandas データフレームのいずれかを引数として渡します。 min_batch のエントリはそれぞれ、filepath (入力が FileDataset の場合) または Pandas データフレーム (入力が TabularDataset の場合) になります。 run() メソッドは、Pandas データフレームまたは配列を返します。 append_row output_action の場合、これらの返される要素は、共通の出力ファイルに追加されます。 summary_only の場合、要素のコンテンツは無視されます。 すべての出力アクションについて、返される出力要素はそれぞれ、入力ミニバッチ内で成功した 1 つの入力要素の推論を示します。 各並列ワーカー プロセスは、init を 1 回呼び出してから、すべてのミニバッチが処理されるまで run 関数をループします。

処理中に無視する必要のあるエラーの数。TabularDataset の場合はレコード エラー数、FileDataset の場合はファイル エラー数を示します。 エラー数がこの値を超えた場合は、ジョブが中止されます。 エラーのしきい値は、入力全体を対象にしており、run() メソッドに送信された個々のミニバッチを対象にしていません。 範囲は [-1, int.max] です。 -1 は、処理中のすべての失敗を無視することを示します。

出力を整理する方法。 現在サポートされている値は、'append_row' と 'summary_only' です。

1. 'append_row' - run() メソッドの呼び出しによって出力されるすべての値は、出力場所に作成された parallel_run_step.txt という名前の 1 つの一意のファイルに集約されます。
2. 'summary_only' - ユーザー スクリプトは、それ自体で出力を格納することが想定されます。 出力行は、引き続き、正常に処理された入力項目ごとに必要です。 システムは、この出力をエラーしきい値の計算にのみ使用します (行の実際の値は無視します)。

ParallelRunStep の実行に使用するコンピューティング先。 このパラメーターは、コンピューティング先オブジェクトとして、または、ワークスペース上のコンピューティング先の名前として指定できます。

ParallelRunStep の実行に使用されるコンピューティング先のノードの数。

エントリ スクリプトを並列で実行するノードあたりのワーカー プロセスの数。 GPU マシンの場合、既定値は 1 です。 CPU マシンの場合、既定値はコアの数です。 ワーカー プロセスが、取得したミニ バッチを渡すことで run() を繰り返し呼び出します。 ジョブ内のワーカー プロセスの総数は process_count_per_node * node_count で、これにより並列で実行する run() の最大数が決定します。

FileDataset 入力の場合は、このフィールドが、ユーザー スクリプトが 1 回の run() 呼び出しで処理できるファイルの数です。 TabularDataset 入力の場合、このフィールドは、ユーザー スクリプトが 1 回の run() 呼び出しで処理できるデータのおおよそのサイズです。 値の例は、1024、1024 KB、10 MB、1 GB です。 (省略可能。既定値は、FileDataset の場合は 10 ファイル、TabularDataset の場合は 1MB です。)

コンピューティング先で実行するために使用される entry_script およびサポート ファイルが格納されているフォルダーへのパス。

表示目的に使用されるバッチ サービスに関する説明。

ログ レベル名の文字列。'logging' で定義されます。 指定可能な値は、'WARNING'、'INFO'、'DEBUG' です。 (省略可能。既定値は 'INFO' です。)

run () メソッドの呼び出しごとのタイムアウト (秒単位) (省略可能。既定値は 60 です。)

失敗した、またはタイムアウトになったミニ バッチの最大再試行回数。 範囲は [1, int.max] です。 既定値は、3 です。 デキュー回数がこの値を超えるミニバッチは再び処理されず、直接削除されます。

output_action が 'append_row' の場合の出力ファイルの名前。 (省略可能、既定値は 'parallel_run_step.txt')

処理中に無視する必要のある、失敗したミニバッチの数。 失敗した数がこの値を超えた場合は、ジョブが中止されます。 このしきい値は、run() メソッドに送信された個々のミニバッチではなく、入力全体に対して使用されます。 範囲は [-1, int.max] です。 -1 は、処理中のすべての失敗を無視することを示します。 ミニバッチは最初に処理されるときに失敗し、2 回目の試行で成功する場合があります。 1 回目から 2 回目までの間にチェックすると、失敗としてカウントされます。 2 回目以降のチェックでは、失敗としてカウントされません。 引数 –error_threshold、–allowed_failed_count および –allowed_failed_percent は連携させることができます。 複数が指定されている場合、ジョブはそのいずれかを超えた場合に中止されます。

処理中に無視する必要のある、失敗したミニバッチの割合。 失敗した割合がこの値を超えた場合は、ジョブが中止されます。 このしきい値は、run() メソッドに送信された個々のミニバッチではなく、入力全体に対して使用されます。 範囲は [0, 100] です。 100 または 100.0 は、処理中のすべての失敗を無視することを示します。 すべてのミニバッチがスケジュールされた後、チェックが開始されます。 引数 –error_threshold、–allowed_failed_count および –allowed_failed_percent は連携させることができます。 複数が指定されている場合、ジョブはそのいずれかを超えた場合に中止されます。

データセットをミニバッチにパーティション分割するために使用されるキー。 指定した場合、同じキーを持つデータが同じミニバッチにパーティション分割されます。 partition_keys と mini_batch_size の両方が指定されている場合、エラーが発生します。 これは、入力データセットをパーティション分割するために使用するキーである str 要素のリストである必要があります。 ただし、PipelineParameter に昇格した場合、list 型は現時点では PipelineParameter ではサポートされていないため、既定値はリストの json dump str である必要があります。 入力はパーティション分割されたデータセットである必要があり、partition_keys が機能するためには、各入力データセットのキーのサブセットである必要があります。

環境変数の名前と値のディクショナリ。 これらの環境変数は、ユーザー スクリプトが実行されるプロセスで設定されます。