ParallelTask Classe

Type de la tâche parallèle. Les valeurs possibles sont « run_function » et « model ».

Chemin d’accès local ou distant pointant vers le code source.

Script utilisateur qui sera exécuté en parallèle sur plusieurs nœuds. Il s’agit du chemin du fichier local. Le entry_script doit contenir deux fonctions : init() : cette fonction doit être utilisée pour toute préparation coûteuse ou courante pour les inférences ultérieures, par exemple, la désérialisation et le chargement du modèle dans un objet global. run(mini_batch) : méthode à paralléliser. Chaque appel aura un mini-lot. « mini_batch» : l’inférence par lots va appeler la méthode d’exécution et transmettre soit une liste, soit un dataframe Pandas en tant qu’argument de la méthode. Chaque entrée de min_batch sera un filepath (chemin de fichier) si l’entrée est un FileDataset, ou un dataframe Pandas si l’entrée est un TabularDataset. La méthode run() doit retourner un dataframe Pandas ou un tableau. Pour append_row output_action, les éléments retournés sont ajoutés au fichier de sortie commun. Pour summary_only, le contenu des éléments est ignoré. Pour toutes les actions de sortie, chaque élément de sortie retourné indique la réussite de son inférence dans le mini-lot d’entrée. Chaque processus Worker parallèle appelle init une fois, puis effectue une boucle sur la fonction run jusqu’à ce que tous les mini-lots soient traités.

Arguments de la tâche parallèle.

Modèle de la tâche parallèle.

Toutes les valeurs générées par les appels de méthode run() sont agrégées dans un fichier unique créé à l’emplacement de sortie. s’il n’est pas défini, « summary_only » est appelé, ce qui signifie que le script utilisateur est censé stocker la sortie elle-même.

Environnement dans lequel le travail de formation s’exécutera.