FileDataset Classe

Crie um DatacacheConsumptionConfig mapeado para um datacache_store e um conjunto de dados.

as_cache(datacache_store)

Parâmetros

Devoluções

Crie um DatasetConsumptionConfig com o modo definido para transferir.

Na execução submetida, os ficheiros no conjunto de dados serão transferidos para o caminho local no destino de computação. A localização de transferência pode ser obtida a partir de valores de argumentos e do campo input_datasets do contexto de execução. Iremos gerar automaticamente um nome de entrada. Se quiser especificar um nome de entrada personalizado, chame o método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

Parâmetros

Observações

Quando o conjunto de dados é criado a partir do caminho de um único ficheiro, a localização de transferência será o caminho do ficheiro transferido único. Caso contrário, a localização de transferência será o caminho da pasta de colocação em anexo para todos os ficheiros transferidos.

Se path_on_compute começar com um /, será tratado como um caminho absoluto. Se não começar com um /, será tratado como um caminho relativo em relação ao diretório de trabalho. Se tiver especificado um caminho absoluto, certifique-se de que a tarefa tem permissão para escrever nesse diretório.

Defina o modo como hdfs.

Na execução do synapse submetido, os ficheiros nos conjuntos de dados serão convertidos para o caminho local no destino de computação. O caminho do hdfs pode ser obtido a partir dos valores de argumento e das variáveis de ambiente do so.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

Observações

Quando o conjunto de dados é criado a partir do caminho de um único ficheiro, o caminho do hdfs será o caminho do ficheiro único. Caso contrário, o caminho do hdfs será o caminho da pasta que inclui todos os ficheiros montados.

Crie um DatasetConsumptionConfig com o modo definido para montar.

Na execução submetida, os ficheiros nos conjuntos de dados serão montados no caminho local no destino de computação. O ponto de montagem pode ser obtido a partir de valores de argumentos e do campo input_datasets do contexto de execução. Iremos gerar automaticamente um nome de entrada. Se quiser especificar um nome de entrada personalizado, chame o método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

Parâmetros

Observações

Quando o conjunto de dados é criado a partir do caminho de um único ficheiro, o ponto de montagem será o caminho do ficheiro montado único. Caso contrário, o ponto de montagem será o caminho da pasta que inclui todos os ficheiros montados.

Se path_on_compute começar com um /, será tratado como um caminho absoluto. Se não começar com um /, será tratado como um caminho relativo em relação ao diretório de trabalho. Se tiver especificado um caminho absoluto, certifique-se de que a tarefa tem permissão para escrever nesse diretório.

Transfira fluxos de ficheiros definidos pelo conjunto de dados como ficheiros locais.

download(target_path=None, overwrite=False, ignore_not_found=False)

Parâmetros

Devoluções

Observações

Se target_path começar com um /, será tratado como um caminho absoluto. Se não começar com um /, será tratado como um caminho relativo em relação ao diretório de trabalho atual.

Obtenha a expressão de metadados de ficheiro ao especificar o nome da coluna de metadados.

As colunas de metadados de ficheiro suportadas são Tamanho, LastModifiedTime, CreationTime, Extensão e CanSeek

file_metadata(col)

Parâmetros

Devoluções

Filtre os dados, deixando apenas os registos que correspondem à expressão especificada.

filter(expression)

Parâmetros

Devoluções

Observações

As expressões são iniciadas ao indexar o Conjunto de Dados com o nome de uma coluna. Suportam uma variedade de funções e operadores e podem ser combinados com operadores lógicos. A expressão resultante será avaliada preguiçosamente para cada registo quando ocorrer uma solicitação de dados e não onde está definida.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

Hidra o conjunto de dados para as réplicas pedidas especificadas no datacache_store.

hydrate(datacache_store, replica_count=None)

Parâmetros

Devoluções

Crie um gestor de contexto para montar fluxos de ficheiros definidos pelo conjunto de dados como ficheiros locais.

mount(mount_point=None, **kwargs)

Parâmetros

Devoluções

Observações

Será apresentado um gestor de contexto para gerir o ciclo de vida da montagem. Para montar, terá de introduzir o gestor de contexto e desmontar, sair do gestor de contexto.

A montagem só é suportada em sistemas operativos semelhantes a Unix ou Unix com o libfuse de pacote nativo instalado. Se estiver a ser executado dentro de um contentor do Docker, o contentor do docker tem de ser iniciado com o sinalizador com privilégios ou iniciado com –cap-add SYS_ADMIN –device /dev/fuse.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

Se target_path começar com um /, será tratado como um caminho absoluto. Se não começar com um /, será tratado como um caminho relativo em relação ao diretório de trabalho atual.

Divida os fluxos de ficheiros no conjunto de dados em duas partes aleatoriamente e aproximadamente pela percentagem especificada.

O primeiro conjunto de dados devolvido contém aproximadamente percentage o número total de referências de ficheiros e o segundo conjunto de dados contém as referências de ficheiro restantes.

random_split(percentage, seed=None)

Parâmetros

Devoluções

Ignore os fluxos de ficheiros da parte superior do conjunto de dados pela contagem especificada.

skip(count)

Parâmetros

Devoluções

Recolha um exemplo de fluxos de ficheiros a partir da parte superior do conjunto de dados pela contagem especificada.

take(count)

Parâmetros

Devoluções

Veja uma amostra aleatória de fluxos de ficheiros no conjunto de dados aproximadamente pela probabilidade especificada.

take_sample(probability, seed=None)

Parâmetros

Devoluções

Obtenha uma lista de caminhos de ficheiro para cada fluxo de ficheiros definido pelo conjunto de dados.

to_path()

Devoluções

Observações

Os caminhos de ficheiro são caminhos relativos para ficheiros locais quando os fluxos de ficheiros são transferidos ou montados.

Um prefixo comum será removido dos caminhos de ficheiro com base na forma como a origem de dados foi especificada para criar o conjunto de dados. Por exemplo:

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']