BigQuery

2024年5月29日、BigQueryのパーティション分割テーブルのパーティション数が4000から10000にアップデートされました。 BigQueryで時系列データ分析を行う際、多くのユーザーがパーティション分割テーブルを利用してきました ...

スナップショット デコレータ（snapshot decorators）はBigQueryの標準機能として自動で取得されるバックアップ機能です。 BigQueryのバックアップとして簡単に利用できる良い機能なのですが、注意 ...

BigQueryでTruncate Table文を実行したことはありますか？ 実行して「あれっ？構文エラーになる・・・」と困った方も多いかと思います。 BigQueryに限らずデータベースを利用していれば、テーブルのデータを全件削除したいタ ...

やりたいこと 1日分の1時間毎のレコードを動的に作成したい 例えば、こんなデータです。 日時2020-02-21T00:00:002020-02-21T01:00:002020-02-21T02:00:00　　　　：2020-02-21T2 ...

BigQueryのユーザ定義関数とは SQLに直接記載すると複雑になったり、何度も繰り返し処理するような場合にSQLを関数化することができます。 BigQueryではユーザ定義関数といいます。 ユーザが作成する関数だからそのままの名称ですね ...

やりたいこと 2020年1月の日付レコードを動的に作成したい 月次帳票表示用のデータを作成する際などに、１ヶ月分の日付レコードが必要になることがよくありますよね。 例えば、こんなデータです。 日付2020-01-012020-01-0220 ...

相関クロス結合とは 相関クロス結合の前にクロス結合（直積ともいいます）についてお復習いしておきましょう。 クロス結合（直積） クロス結合は全ての組み合わせでテーブルを結合する方法です。 例えば、以下のような２つのテーブルをクロス結合した場合 ...

BigQueryの構成 BigQueryのプロジェクト、データセット、テーブルがどのような関係性なのかを可視化すると以下のようなイメージになります。 GCPプロジェクト AWSでいうところのアカウントに相当します。 料金プラン（※）の設定は ...

BigQueryの分割テーブルはデータを高速に検索することやコスト削減につながるために、優れたテーブルなのですが、分割テーブルの制限事項を理解した上で利用する必要があります。 BigQueryの分割テーブルを利用する場合の注意点についてまと ...

BigQueryは大規模データでもパフォーマンスを発揮することから、大量のファイル（CSVファイルなど）をロードする処理がよくあります。 その際、BigQueryの特性を活かしてファイルをロードすることで高速化することが可能ですので、その方 ...