1. はじめに

皆さんこんにちは。

第1回、第2回でAzure Databricksの診断設定 / Azure Log Analytics Workspace / Azure monitorを利用してジョブエラーを検知する方法をご紹介しました。

今回は別の方法でジョブエラーを検知する方法をご紹介したいと思います。

第1回：ジョブ監視をしてみる(前編) 
第2回：ジョブ監視をしてみる(後編) 
第3回：ジョブ監視をしてみる(番外編) （今回）

2.ジョブにエラー通知先を設定する方法

作成したジョブに通知先のメールアドレスを登録する事で、エラー検知する事ができます。

2-1.通知先のメールアドレス設定

この手順で、ジョブを作成します。

作成時、Emailsに通知先のメールアドレスを指定します。今回はエラーの時のみ通知するよう設定します。

※Start(開始時) / Success(成功時) / Failure(失敗時)にメールを通知する事が出来ます

2-2.設定確認(ジョブ実行)

確認のため、ジョブを実行します。

ジョブエラー後に、エラー通知メールの受信をしました。

詳細を確認するには、View run in Databricksをクリックします。

以下のように、エラーの詳細を即座に確認する事が出来ます。

3.ジョブエラーをSlackやWebhookに送信する(※Public Preview)

ここまでは、エラーの通知先としてメールアドレスを指定してきました。

しかし、システムや運用によってはSlackやWebhookに送信したいといったニーズもあるかもしれません。

2023年4月現在ではPublic Previewの機能ですが、先行してSlackへの送信をご紹介したいと思います。

 

3-1.SlackにてIncoming WebhookのURLを取得

予めSlackにてIncoming Webhooksの設定を行い、URLを取得しておきます(※ご参考)。

3-2.通知先作成

こちらの手順でワークスペースにアクセスします。

画面右上のアカウントを右クリック→Admin Settingsをクリックします。

Admin Settings-Notification destinationsタブのAdd destinationボタンをクリックします。

各項目を設定して、Createをクリックします。

①・・・Slackを選択します。

②・・・任意の名前を設定します。

③・・・予め取得済みのWebhookのURLを設定します。

正常に作成完了すると、一覧に表示されます。

再度開くと、URLが暗号化されていることが分かります。

3-3.ジョブに通知先を指定

続いて、作成した通知先をジョブに指定します。

メニューからWorkflowsを選択、ジョブ一覧から対象ジョブをクリックします。

ジョブ画面右下のEdit system notificationsをクリックします。

事前に作成済みの通知先を選択、On failureにチェックを入れてConfirmをクリックします。

設定が完了すると、以下のように表示されます。

以上でSlackへの通知設定が完了です。ジョブ実行エラーが発生すると、Slackに通知されます。

4. まとめ

前編・後編ではAzureの診断設定/Azure Log Analytics Workspace/Azure monitorを利用した監視でしたが、

今回はさらに簡単な手順で監視設定ができ、メール通知以外の方法も試すことが出来ました。

ただし、今回の設定方法はジョブ単位に行う必要があり、どちらの監視方法を採用するかは検討が必要です。

本連載では、
第1回：ジョブ監視をしてみる(前編) 
第2回：ジョブ監視をしてみる(後編) 
第3回：ジョブ監視をしてみる(番外編) （今回）

についてご説明しています。

今回の記事が少しでもDatabricksを知るきっかけや、業務のご参考になれば幸いです。

日商エレクトロニクスでは、Azure Databricksの環境構築パッケージを用意しています。

Azure DatabricksやAzure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください！

Azure Databricks連載記事のまとめはこちら
お問い合わせはこちら

この記事を読んだ方へのオススメコンテンツはこちら

アセスメントサービス