現在、日本の電話番号に対する音声通知、日本語音声での通知はサポートされておりません。

恐れ入りますが、音声通知は国コードが 1 の地域のみ利用が可能です。
Azure Monitor における現時点での制限事項としてご理解いただけますと幸いです。 

また、Azure のフィードバック サイトに一部の地域での SMS、音声通知をアクション グループに設定できるよう、
機能追加のリクエストが発行されております。
日本につきましては、既に SMS での通知がサポートされており、音声での通知も実装を進めている段階でございます。

Azure のフィードバック サイト>>Add more country codes for SMS alerting and voice alerts

こちら、”投票” 数に応じて機能改善及び調査が進められますので、よろしければ本リクエストに “投票” いただけますと幸いです。
また、投票する際にメール アドレスを登録すると、機能追加された際に機能追加の旨を知らせるメールが送信されます。
こちらからの通知をご利用いただければ、機能追加をより早くご確認できますので、よろしければメール アドレスをご登録ください。