Azure Data Explorer は、Web サイト、アプリケーション、モノのインターネット (IoT) デバイスなど、あらゆるデータ ソースから大量の多様なデータを分析するための出力として使用できます。 Azure Data Explorer は、ログと利用統計情報データのための高速で拡張性に優れたデータ探索サービスです。 これは、最新のソフトウェアが出力する多くのデータ ストリームを処理するのに役立ちます。これにより、データを収集、格納、分析できます。 このデータは、診断、監視、報告、機械学習、付加的分析の各種機能に利用されます。
Azure Data Explorer では、Azure Event Hubs などの一般的なサービスへのコネクタ、.NET や Python などの SDK を使用したプログラムによるインジェスト、探索目的でのエンジンへの直接アクセスなど、いくつかのインジェスト方法がサポートされています。 Azure Data Explorer は、分析およびモデリング サービスと統合され、データの追加の分析と視覚化を実現します。
Azure Data Explorer の詳細については、「Azure Data Explorer とは」を参照してください。
Azure portal を使用して Azure Data Explorer クラスターを作成する方法の詳細については、「 クイック スタート: Azure Data Explorer クラスターとデータベースを作成する」を参照してください。
注
Azure Stream Analytics の Azure Data Explorer では、Azure Synapse Data Explorer への出力がサポートされています。 Azure Synapse Data Explorer でクラスターに書き込むには、Azure Stream Analytics ジョブの Azure Data Explorer 出力の構成ウィンドウでクラスターの URL を指定します。
出力構成
次の表に、Azure Data Explorer の出力を作成するためのプロパティ名とその説明を示します。
| プロパティ名 | Description |
|---|---|
| 出力エイリアス | クエリ出力をこのデータベースに送信するためにクエリで使用されるフレンドリ名。 |
| Subscription | クラスターに使用する Azure サブスクリプション。 |
| クラスター | クラスターを識別する一意の名前。 指定したクラスター名にドメイン名 <region>.kusto.windows.net が追加されます。 名前には小文字と数字のみを含めることができます。 4 ~ 22 文字を含める必要があります。 |
| データベース | 出力を送信するデータベースの名前。 データベース名はクラスター内で一意である必要があります。 |
| 認証 | Microsoft Entra ID のマネージド ID。これにより、クラスターは Azure Key Vault などの他の Microsoft Entra で保護されたリソースに簡単にアクセスできます。 ID は Azure プラットフォームによって管理され、シークレットをプロビジョニングまたはローテーションする必要はありません。 マネージド ID の構成は現在、 クラスターのカスタマー マネージド キーを有効にするためだけにサポートされています。 |
| 表 | 出力が書き込まれるテーブル名。 テーブル名では大文字と小文字が区別されます。 このテーブルのスキーマは、ジョブ出力で生成されるフィールドの数とその型と正確に一致する必要があります。 |
パーティショニング
パーティション分割は有効にする必要があり、クエリの PARTITION BY 句に基づいています。 [パーティション分割の継承] オプションが有効になっている場合は、 完全に並列化可能なクエリの入力パーティション分割に従います。
Azure Stream Analytics と Azure Data Explorer を使用する場合
Azure Stream Analytics の特性は次のとおりです。
- ストリーム処理エンジン: 継続的なストリーミングリアルタイム分析
- ジョブ ベース
- メモリ内のテンポラル分析とストリーム処理のための 1 ミリ秒から 7 日のルックバック ウィンドウ
- 待機時間が 1 秒未満の Azure Event Hubs と Azure IoT Hub からのインジェスト
Azure Data Explorer の特性は次のとおりです。
- 分析エンジン: オンデマンドの対話型リアルタイム分析
- 永続的なデータストアへのデータストリーミングの取り込みとクエリの実行機能
- Event Hubs、IoT Hub、Azure Blob Storage、Azure Data Lake Storage、Kafka、Logstash、Spark、Azure Data Factory からのデータの取り込み
- 高スループットのワークロードに対する 10 秒から 5 分の待機時間
- インジェスト中の更新ポリシーによる単純なデータ変換
Azure Stream Analytics と Azure Data Explorer を一緒に使用することで、リアルタイム分析の範囲を大幅に拡大できます。 いくつかのシナリオを次に示します。
- Stream Analytics はリアルタイムで異常を識別し、Azure Data Explorer は対話型の探索によって発生した方法と理由を判断するのに役立ちます。
- Stream Analytics は、Azure Data Explorer で使用するために受信データ ストリームを逆シリアル化します (たとえば、カスタム デシリアライザーまたはカスタム バイナリ形式を使用して Protobuf 形式を取り込みます)。
- Stream Analytics では、Azure Data Explorer で使用するために受信データ ストリームを集計、フィルター処理、強化、変換できます。
その他のシナリオと制限事項
- 列とデータ型の名前は、Azure Stream Analytics SQL クエリと Azure Data Explorer テーブルの間で一致する必要があります。 比較では、大文字と小文字を区別します。
- Azure Data Explorer クラスターに存在するが、Azure Stream Analytics に存在しない列は無視されます。 Azure Stream Analytics に列がない場合、エラーが発生します。
- Azure Stream Analytics クエリの列の順序は関係ありません。 Azure Data Explorer テーブルのスキーマによって順序が決まります。
- Azure Data Explorer には、インジェスト プロセスを最適化するために設計されたデータ インジェストの集計 (バッチ処理) ポリシーがあります。 このポリシーは、既定で 5 分、1,000 項目、または 1 GB のデータに構成されているため、待機時間が発生する可能性があります。 待機時間を短縮するには、「Azure Data Explorer クラスターでストリーミング インジェストを構成する」の手順に従って、クラスター でストリーミング インジェストを有効にしてから、テーブルまたはデータベースを有効にします。 集計オプションについては、「 IngestionBatching ポリシー」を参照してください。