目次

AI活用を見据えた新データ活用基盤、
Microsoft Fabricが発表

Microsoft Fabric

Microsoft FabricがBuild2023で発表となりました。

OpenAIやChatGPTの話題がてんこ盛りでしたね。
そんな中、軽めに発表されたMicrosoft Fabricですが、企業がデータ活用を進める上で非常に重要なコンポーネントです。

GenerativeAIを活用したいという企業が増えてきており、企業のデータ活用のニーズが高まっております。AI活用ではその会社独自のソースデータの正確性や量が非常に重要になります。そのためにソースデータを分析できる状態にするためにデータの統合を考えるお客様が増えています。しかしデータはあらゆる場所、フォーマットで点在しておりこれを活用するためには非常に多くの時間と、高い技術力を必要としています。

脱線しますが、AIを見据えたデータ統合基盤では構造、非構造データ、あらゆるデータを活用できる状態にする必要がありますが、最近のデータ統合基盤は構造データしか取り込めないもの、パフォーマンス制御ができないものも多いので要注意です。Microsoft FabricはAIを見据えた統合基盤になっていますのでご安心を。

Microsoft Fabricは、データ統合、データエンジニアリング、データウェアハウス、データサイエンスモデルの構築、リアルタイム分析、ビジネスインテリジェンスを提供する単一の統合サービスとしてリリースされました。

データ統合
 組織内のさまざまなデータソースからデータを統合し、一元化されたデータレイクで管理します。異なるデータエンジンからのデータを統合するためのデータ統合機能が提供されています。

データエンジニアリング:
データの整形や加工などのデータエンジニアリング作業をサポートします。データのクレンジング、変換、統合などを行うための機能が提供されています。

データウェアハウジング:
データウェアハウスの機能も提供しています。データの保存、管理、クエリの実行など、データウェアハウスに関連する作業を行うことができます。

データサイエンスモデリング:
データサイエンスモデルの構築や実行をサポートします。データを活用して予測モデルや機械学習モデルを作成するための機能が提供されています。

リアルタイム分析:
リアルタイムでのデータ分析とビジュアライゼーションをサポートしています。データのストリーミング処理やリアルタイムのダッシュボード作成などが可能です。

ビジネスインテリジェンス:
ビジネスインテリジェンス（BI）の機能も提供しています。データの可視化、レポート作成、ダッシュボードの作成などを行うことができます。

マルチクラウド対応:
複数のクラウドプロバイダーやAzure Storageなどのストレージアカウントからデータを統合し、利用することができます。さまざまなクラウド環境でデータを統合して活用することができます。

データセキュリティとコンプライアンス:
データのセキュリティとコンプライアンスを重視しています。データの分類や機密性のラベル付け、データの移動中の保護などの機能が組み込まれています。

これら機能をさせるキーコンポーネントがOneLakeです。

データはオープンソースのDelta lakeを使ったOneLakeに統合します。Open Delta Parquetを使うことでデータの移動なく、構造、非構造データをデータウェアハウスなどに変換して使用し、Spark、SQL、PowerBI、Excelからアクセスすることが可能です。また変換に必要なSparkコンピューティングエンジンも高速に自動プロビジョニングされ高い分析要求にも対応することが可能です。

onelake

AzureStorageアカウントだけでなく、他のクラウド（AWS S3など）のデータを接続し、MicrosoftFabricでデータ活用をすることができます。

Open Delta Parquet形式なので、仮想テーブルを作成することであらゆるデータ活用を行うことができます。データは現在の場所から移動させることはせずにショートカットで透過的に使用可能です。

onelake_データ移動

OnelakeはWindowsとも統合されており、OneDriveと同じようにデータのアクセスをWIndowsExplorerから実施可能です。

これによりエンドユーザが自由にデータにアクセスしたり、データを追加したりすることができExcel,PowerBIを使った活用を促すことができます。ランタイムエンジンとしてはSpark、Python、Deltaを活用しています。コンピューティングノードは自動スケーリングされるのでインフラの管理は非常に簡単になっており、データエンジニアリングに集中することができます。

onelake構造

開発環境としてNotebookが提供されていますがこちらにもLLMが搭載されています。分析したいポイントやコード作成依頼をするとインサイトの検出やそれを実行するPythonコードの出力を行います。

引き続き、詳細が分かり次第記事を更新していきます。