可能です。
アクションルールにて各ルールをスコープ内にし、
抑制の設定をいただくことで指定の時間に監視ルールが無効化されます。

1.AzureMonitor選択後、左のメニューから[アラート]を選択し、[アラートルールの管理]へ移動する

2.[アクションの管理]を選択

3.[アクションルール]を選択後、[新しいアクションルール]を選択

4.監視ルールの無効化/有効化を適用したいリソース、もしくはリソースグループもしくはサブスクリプションを選択後、任意のスケジュールを設定する