【SQLエンジニア向けAzure Data Factoryの利用方法】データフローの結合処理で、レコードの重複発生を回避する
1. はじめに 皆さんこんにちは。 今回は、データフローの結合処理を行った後に、重複したレコードが発生してしまう事象の対策について説明します。 2. 起きた事象と原因 ADFデータフローでJOIN結合を実行する時に、返却されたレコードが2回以上重複される場合があります。 今回の例では、テーブル…
Web アプリのテストを自動化する「Microsoft Playwright Testing」とは？
Web アプリのテストを自動化する「Microsoft Playwright Testing」とは？
【Azure Data Factory】BLOBストレージ上に存在するファイルの名前を、パイプラインの判定処理に利用する方法
1. はじめに 皆さんこんにちは。 今回では、BLOBストレージ上に存在するファイルの名前を、パイプラインの判定処理に利用する方法を説明していきます。 用途としては、下記が挙げられます。 BLOBストレージ上にファイルAが存在する場合のみ、コピー処理を実施し、その後に特定の処理を実施したい…
Azure Arcを使って進化するハイブリッド・マルチクラウド管理術
Azure Arcを使って進化するハイブリッド・マルチクラウド管理術 クラウド移行というと、パブリッククラウドにすべてのシステムやデータを移すことをイメージするかもしれません。…
Databricksアシスタントの使用方法
1.はじめに 皆さんこんにちは。 今回はDatabricks アシスタントについて紹介します。 Databricks アシスタントは、Databricks…
Azure Databricks AutoMLの使用方法
1.はじめに 皆さんこんにちは。 今回は、Databricks AutoMLの使用方法について説明していきます。 2.前提要件 実施する際の前提条件は ・操作ユーザーは Azure Databricks ワークスペースにアクセス権限があること。…
【Azure Data Factory】データフローのデバッグ時に、ソースの読込レコード数を変更する方法
1. はじめに 皆さんこんにちは。 今回は、AzureDataFactory データフローのデバッグ時に、 ソースの読込レコード数を変更する方法処理レコード数を変更する方法を説明していきます。 用途として、デバッグ時の読込レコード数はデフォルトで1000行のため、 ソースを1000行以上…
【質問】Azure利用料金は為替の影響を受けますか？
はい、受けます。 計算ルールは下記をご参照ください。 前月末の最終営業日の 2 営業日前におけるロンドン終値スポット レートが使用されます。 月末の 2 営業日前が主要市場の銀行休日に当たる場合は一般的に、その 2…
