データ インジェストは、1 つ以上のソースから Azure Data Explorer のテーブルにデータを読み込むプロセスです。 取り込まれたデータはクエリに使用できます。 この記事では、ローカル ファイルから新しいテーブルまたは既存のテーブルにデータを取得する方法について説明します。
データ インジェストの一般的な情報については、「 Azure Data Explorer データ インジェストの概要を参照してください。
前提条件
- Microsoft アカウントまたは Microsoft Entra ユーザー ID。 Azure サブスクリプションは不要です。
- Azure Data Explorer Web UI にサインインします。
- Azure Data Explorer クラスターとデータベース。 クラスターとデータベースを作成します。
データを取得する
データ ソースの選択
[データの取り込み] ウィンドウで [ソース] タブが選択されます。
使用可能な一覧からデータ ソースを選択します。 この例では、 ローカル ファイルからデータを取り込みます。
Note
インジェストでは、最大で 6 GB のファイル サイズがサポートされます。 100 MB から 1 GB の間のファイルを取り込むことをお勧めします。
データ インジェストを構成する
ターゲット データベースとテーブルを選択します。 新しいテーブルにデータを取り込むには、[ + 新しいテーブル ] を選択し、テーブル名を入力します。
Note
テーブル名は、スペース、英数字、ハイフン、アンダースコアなど、最大 1,024 文字まで指定できます。 特殊文字はサポートされていません。
ファイルをウィンドウにドラッグするか、[ ファイルの参照] を選択します。
Note
1,000 ファイルまで追加できます。 各ファイルは、最大 1 GB の非圧縮にすることができます。
[次へ] を選択します。
検査
[検査] タブが開き、データのプレビューが表示されます。
インジェスト プロセスを完了するには、[完了] を選択します。
必要に応じて、次の操作を行います。
- ドロップダウンから必要な形式を選択して、自動的に推論されるデータの形式を変更します。 インジェストについては、Azure Data Explorer でサポートされている Data 形式を参照してください。
- 列を編集します。
- データ型に基づく [詳細] オプションを確認します。
列の編集
Note
- 表形式 (CSV、TSV、PSV) では、列を 2 回マップすることはできません。 既存の列にマップするには、最初に新しい列を削除します。
- 既存の列の型を変更することはできません。 異なる形式の列にマップしようとすると、空の列になってしまう場合があります。
テーブルに加えることができる変更は、次のパラメーターによって異なります。
- テーブルの種類が新規かまたは既存か
- マッピングの種類が新規かまたは既存か
| テーブルの種類です。 | マッピングの種類 | 使用可能な調整 |
|---|---|---|
| 新しいテーブル | 新しいマッピング | 列の名前変更、データ型の変更、データ ソースの変更、マッピング変換、列の追加、列の削除 |
| 既存のテーブル | 新しいマッピング | 新しい列の追加 (その後、データ型の変更、名前変更、更新が可能) |
| 既存のテーブル | 既存のマッピング | なし |
マッピング変換
一部のデータ形式マッピング (Parquet、JSON、Avro) では、簡単な取り込み時の変換がサポートされています。 マッピング変換を適用するには、[列の編集] ウィンドウで列を作成または更新します。
マッピング変換は、データ型が int または long であるソースを使用して、string または datetime 型の列に対して実行できます。 サポートされているマッピング変換は次のとおりです。
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
データ型に基づく [詳細] オプション
表形式 (CSV、TSV、PSV):
既存のテーブルに表形式を取り込む場合は、テーブル マッピング ドロップダウンを選択し、[既存のマッピングを使用] を選択できます。 表形式データには、ソース データを既存の列にマップするために使用される列名が必ずしも含まれるとは限りません。 このオプションをオンにすると、マッピングは順番に行われ、テーブル スキーマは同じままになります。
それ以外の場合は、新しいマッピングを作成します。
最初の行を列名として使用するには、[ 先頭行ヘッダー] を選択します。
JSON:
- JSON データの列分割を決定するには、 入れ子になったレベルを 1 から 100 まで選択します。
まとめ
[データ準備] ウィンドウでは、データ インジェストが正常に完了すると、3 つのステップすべてが緑色のチェック マークを表示します。 各手順で使用したコマンドを表示したり、取り込まれたデータのクエリ、視覚化、削除を行うカードを選択したりできます。