Dodawanie parametrów do składników fabryki danych

• 7 min

Parametryzowanie połączonych usług w usłudze Azure Data Factory

W usłudze Azure Data Factory można sparametryzować połączoną usługę, w której można przekazywać wartości dynamiczne w czasie wykonywania. Przypadek użycia w tym scenariuszu polega na połączeniu z kilkoma różnymi bazami danych, które znajdują się na tym samym serwerze SQL, w którym można pomyśleć o sparametryzowaniu nazwy bazy danych w połączonej definicji usługi. Zaletą tego działania jest to, że nie trzeba tworzyć pojedynczej połączonej usługi dla każdej bazy danych, która znajduje się w tym samym programie SQL Server.

Można również sparametryzować inne właściwości połączonej usługi, takie jak nazwa użytkownika.

Jeśli zdecydujesz się sparametryzować połączone usługi w usłudze Azure Data Factory, możesz to zrobić w interfejsie użytkownika usługi Azure Data Factory, witrynie Azure Portal lub interfejsie programowania preferencji.

Jeśli zdecydujesz się utworzyć połączoną usługę za pośrednictwem interfejsu użytkownika, usługa Data Factory może zapewnić wbudowaną parametryzacja niektórych łączników:

• Amazon Redshift
• Azure Cosmos DB (interfejs API SQL)
• Azure Database for MySQL
• Azure SQL Database
• Azure Synapse Analytics (dawniej SQL DW)
• MySQL
• Oracle
• SQL Server
• Ogólne HTTP
• Ogólne REST

Jeśli przejdziesz do bloku tworzenia/edytowania połączonej usługi, znajdziesz opcje parametryzacji.

Jeśli nie możesz użyć wbudowanej parametryzacji, ponieważ używasz innego typu łącznika, możesz edytować kod JSON za pomocą interfejsu użytkownika.

W okienku tworzenia/edytowania połączonej usługi rozwiń pozycję Zaawansowane w dolnej części okienka, zaznacz pole wyboru Określ zawartość dynamiczną w formacie JSON i określ ładunek JSON połączonej usługi.

Lub po utworzeniu połączonej usługi bez parametryzacji w centrum zarządzania wybierz pozycję Połączone usługi i znajdź konkretną połączoną usługę. Następnie wybierz pozycję {} (przycisk Kod), aby edytować kod JSON.

Parametry globalne w usłudze Azure Data Factory

Ustawienie parametrów globalnych w potoku usługi Azure Data Factory umożliwia używanie tych stałych do użycia w wyrażeniach potoku. Przypadek użycia ustawiania parametrów globalnych polega na tym, że istnieje wiele potoków, w których nazwy parametrów i wartości są identyczne.

Jeśli używasz procesu ciągłej integracji i ciągłego wdrażania (CI/CD) w usłudze Azure Data Factory, parametry globalne można zastąpić, jeśli chcesz, dla każdego utworzonego środowiska.

Tworzenie parametrów globalnych w usłudze Azure Data Factory

Aby utworzyć parametr globalny, przejdź do karty Parametry globalne w sekcji Zarządzanie . Wybierz pozycję Nowy , aby otworzyć okienko menu bocznego tworzenia.

W okienku menu bocznego wprowadź nazwę, wybierz typ danych i określ wartość parametru.

Po utworzeniu parametru globalnego można go edytować, wybierając nazwę parametru. Aby zmienić wiele parametrów razem, wybierz pozycję Edytuj wszystko.

Używanie parametrów globalnych w potoku

W przypadku używania parametrów globalnych w potoku w usłudze Azure Data Factory jest ona głównie przywoływane w wyrażeniach potoku. Jeśli na przykład potok odwołuje się do zasobu, takiego jak zestaw danych lub przepływ danych, możesz przekazać wartość parametru globalnego za pośrednictwem parametru zasobu. Polecenie lub odwołanie do parametrów globalnych w przepływach usługi Azure Data Factory w następujący sposób: pipeline().globalParameters.<parameterName>.

Parametry globalne w ramach ciągłej integracji/ciągłego wdrażania

W przypadku integracji parametrów globalnych w potoku przy użyciu ciągłej integracji/ciągłego wdrażania z usługą Azure Data Factory istnieją dwa sposoby, aby to zrobić:

• Uwzględnianie parametrów globalnych w szablonie usługi Azure Resource Manager
• Wdrażanie parametrów globalnych za pomocą skryptu programu PowerShell

W większości praktyk ciągłej integracji/ciągłego wdrażania korzystne jest uwzględnienie parametrów globalnych w szablonie usługi Azure Resource Manager. Jest to zalecane ze względu na natywną integrację z ciągłą integracją/ciągłego wdrażania, gdzie parametry globalne są dodawane jako parametr szablonu usługi Azure Resource Manager. Jest to spowodowane zmianami w kilku środowiskach, w których działa.

Aby włączyć parametry globalne w szablonie usługi Azure Resource Manager, przejdź do centrum zarządzania . Pamiętaj, że po dodaniu parametrów globalnych do szablonu usługi Azure Resource Manager zostanie dodane ustawienie poziomu usługi Azure Data Factory, które może zastąpić inne ustawienia, takie jak konfiguracje usługi Git.

Przypadek użycia wdrażania parametrów globalnych za pomocą skryptu programu PowerShell może być spowodowany tym, że wcześniej opisane ustawienia były włączone w środowisku z podwyższonym poziomem uprawnień, na przykład UAT lub PROD.

Parametryzowanie przepływów danych mapowania

W usłudze Azure Data Factory możesz użyć przepływów danych mapowania, które umożliwiają korzystanie z parametrów. Jeśli ustawisz parametry wewnątrz definicji przepływu danych, możesz użyć parametrów w wyrażeniach. Wartości parametrów zostaną ustawione przez potok wywołujący za pomocą działania Wykonaj Przepływ danych.

Istnieją trzy opcje ustawiania wartości w wyrażeniach działań przepływu danych:

• Użyj języka wyrażeń przepływu sterowania potokiem, aby ustawić wartość dynamiczną.
• Użyj języka wyrażeń przepływu danych, aby ustawić wartość dynamiczną.
• Użyj dowolnego języka wyrażeń, aby ustawić wartość literału statycznego.

Przyczyną parametryzacji przepływów danych mapowania jest upewnienie się, że przepływy danych są uogólnione, elastyczne i wielokrotnego użytku.

Tworzenie parametrów w przepływie danych

Aby dodać parametry do przepływu danych, wybierz pustą część kanwy przepływu danych, aby wyświetlić ogólne właściwości.

W okienku Ustawienia zostanie wyświetlona karta Parametr .

Wybierz pozycję Nowy , aby wygenerować nowy parametr. Dla każdego parametru należy przypisać nazwę, wybrać typ i opcjonalnie ustawić wartość domyślną.

Przypisywanie parametrów z potoku w przepływie danych mapowania

Jeśli utworzono przepływ danych, w którym ustawiono parametry, można go wykonać z potoku przy użyciu działania Wykonaj Przepływ danych.

Po dodaniu działania do kanwy potoku parametry przepływu danych znajdziesz na karcie Parametry działania.

Przypisywanie wartości parametrów zapewnia możliwość używania parametrów w języku wyrażeń potoku lub języku wyrażeń przepływu danych na podstawie typów platformy Spark. Możesz również połączyć te dwa, czyli parametry wyrażenia potoku i przepływu danych.