BigQueryの分割テーブルの注意点まとめ

2020年2月17日2020年2月21日BigQuery

BigQueryの分割テーブルはデータを高速に検索することやコスト削減につながるために、優れたテーブルなのですが、分割テーブルの制限事項を理解した上で利用する必要があります。

BigQueryの分割テーブルを利用する場合の注意点についてまとめました。

分割テーブルとは

まず、BigQueryのテーブルの種類として標準テーブルと分割テーブルの２種類があります。

標準テーブルと分割テーブルの大きな違いは、データの格納方法です。

分割テーブルは特定の項目の値によってデータを配置する場所が分散されます。

この特定の項目をパーティションキーといいます。

パーティションキーの値によってデータが分散して配置されているため、クエリを発行する際にパーティションキーに抽出条件に含めると、対象のデータ量を絞り込むことができ高速にクエリを実行することができます。

パーティションキーに指定できる項目のデータ型は限定されている

分割テーブルのパーティションキーとして指定できる項目は、どんなデータ型でも利用できるわけではなく、以下の4種類となっています。

例えば、文字列型はパーティションキーとして指定できません。

取り込み時間	データの登録日に基づいてテーブルが分割される
日付	指定したDATE 列に基づいてテーブルが分割される
タイムスタンプ	指定したTIMESTAMP 列に基づいてテーブルが分割される
整数(※)	整数列に基づいて分割されます。

パーティションキーに設定する項目の注意点

分割テーブルを利用する場合に、その列のデータの種類が4000を超えてはいけないという制限があります。

以下は、GCPのBigQueryのヘルプの記載内容です。

例：NGパターン

会社Aの顧客情報を管理するために以下のテーブルを作成しました。

テーブル	顧客マスタ（分割テーブル）
パーティションキー	顧客番号（整数）

この会社の顧客が5000人存在する場合、顧客番号をパーティションキーとして設定することはできません。

この場合は、パーティションキーとして別の項目を設定するか、分割テーブルではなく標準のテーブルにするかで対応します。

　

例：OKパターン

会社Aの受注情報を管理するために以下のテーブルを作成しました。

テーブル	受注テーブル（分割テーブル）
パーティションキー	受注日（日付列）

この場合、4000日分の受注情報まで蓄積することは可能ですので、約10年分は保存可能となる

365日　×　10年　＝　3650　<　4000

　

データ登録処理の注意点

分割テーブルに対してデータを登録する場合、BigQueryの以下の制限値に注意が必要です。

GCPのヘルプには以下の記載があります。

うーん。わかりづらいですよね。具体的な例で説明します。

　

例：NGパターン

具体的な例で説明すると、以下のような処理は制限値を超えてしまいエラーとなります。

会社Aの受注情報を管理するために以下のテーブルを作成しました。

テーブル	受注テーブル（分割テーブル）
パーティションキー	受注日（日付列）
データの登録方法	受注情報CSVファイルを１ファイルずつBigQueryへロードする
受注情報CSVのファイル	１ファイルあたり受注日が30日分存在する １日あたり2,000ファイル登録する 各ファイルに登録されている日付は全て同じ（同じ月のデータ）

パーティション変更数　＝　30日　×　2000回　＝　60,000

制限値の30,000を超えているためデータをロードできないという結果になってしまいます。

対策はGCSからの一括ロード

上記の例で改善点があるとすれば、データの登録方法です。

「受注情報CSVファイルを１ファイルずつBigQueryへロードする」の部分を１回で登録することで、

パーティション変更回数を少なくすることができます。

上記の例の場合では、パーティション変更回数は30になります。

パーティション変更数　＝　30日　×　1回　＝　30

GCSからの一括ロード処理は以下の記事を参考にして下さい。