【Azure Data Factory】BLOBストレージ上に存在するファイルの名前を、パイプラインの判定処理に利用する方法

目次
1. はじめに
2. 作成するパイプラインの全体像
3. 判定処理用のデータセットを作成する
4. 判定処理を作成する
5. コピー処理を作成する
6. まとめ

皆さんこんにちは。

今回では、BLOBストレージ上に存在するファイルの名前を、パイプラインの判定処理に利用する方法を説明していきます。

用途としては、下記が挙げられます。

※ 任意のファイルのみで処理が完結するのであれば、データフローで実現できるかもしれませんが、複数ファイルを用いた判定や、後続で複雑な処理をしたい場合には、今回説明するような判定処理が役立つと考えられます。

今回は例として、BLOBストレージ上にファイル名の異なるExcelファイルが3つ存在し、各ファイルが存在する場合のみコピー処理を行うパイプラインを作成していきます。

アクティビティ「Get Metadata」
BLOBストレージ上のファイル名一覧を取得します。
アクティビティ「If Condition」
アクティビティ「Get Metadata」の出力結果に含まれるファイル名一覧を用いて、ファイル存在チェックを行います。

以下の構成通り、Blobストレージのコンテナ「container001」に、3つのExcelファイルが存在すると想定します。パイプラインアクティビティ「Get Metadata」で使用する、コンテナ「container001」配下のファイル名一覧を取得するためのデータセットを作成していきます。

① ADFポータル画面で「新しいデータセット」をクリックする。

② Azure BLOB ストレージを選択して、「続行」をクリックします。

③「Excel」を選択して、「続行」をクリックします。

④ データセットの構成情報を入力します。

名前：データセット名を入力する（例: container001_dataset）
リンクサービス：Blobストレージへ接続したリンクサービスを選択する。
ファイルバス：各Excelが存在するBLOBストレージの1つ上のパスまで定義する（例: container001）

⑤「編集」を有効にして、「シート名」に「0」等の任意の値を入力します。

⑥「すべて発行」をクリックします。

次に、パイプラインを作成して、データコピーの前にExcelファイルの存在を確認します。

① ADF画面で「新しいパイプライン」をクリックします。

②「Get Metadata」を検索して、「Get Metadata」アクティビティをパイプラインにドラッグアンドドロップします。

③ アクティビティ名を「container001_metadata」に変更します。

④「設定」タブへ移動して、「データセット」項目で作成したデータセットを選択します。

⑤「新規」をクリックして、「フィールドリスト」項目で「子項目」を選択します。
※ 「子項目」を選択することで、データセット「Excel」で定義した、パス配下に存在するファイル名一覧が出力結果(子項目)に格納されます。

⑥ 次に、「If Condition」を利用して、Get Metadataアクティビティの出力結果に「test1.xlsx 」Excelファイルが存在するかどうか確認します。存在する場合、「データのコピー」アクティビティが実施されます。

⑦「If condition」を検索して、「If Condition」アクティビティをパイプラインにドラッグアンドドロップします。

⑧「アクティビティ」タブへ移動して、「式」に以下のコマンドを入力します。

@contains(
    string(activity('container001_metadata').output.childItems),
    '"test1.xlsx"'
)

@contains(

string(activity('container001_metadata').output.childItems),

'"test1.xlsx"'

)

コマンド解説
string()関数にて、「Get Metadata」アクティビティの出力結果から、ファイル名一覧が含まれる子項目を文字列型として取得しています。
contains()関数にて、string()関数で取得した子項目の一覧に”test1.xlsx”が存在するかどうかを確認しています。
今回は例として、特定のファイル名が存在するかの式を記述していますが、And条件やlike関数を使うことで、複数条件やファイル名の部分一致を判定処理に用いることが可能です。