BigQuery

Thumbnail of post image 152

2024年5月29日、BigQueryのパーティション分割テーブルのパーティション数が4000から10000にアップデートされました。 BigQueryで時系列データ分析を行う際、多くのユーザーがパーティション分割テーブルを利用してきました ...

2020年4月11日BigQuery

Thumbnail of post image 156

スナップショット デコレータ(snapshot decorators)はBigQueryの標準機能として自動で取得されるバックアップ機能です。 BigQueryのバックアップとして簡単に利用できる良い機能なのですが、注意 ...

2020年2月24日BigQuery

Thumbnail of post image 156

BigQueryでTruncate Table文を実行したことはありますか? 実行して「あれっ?構文エラーになる・・・」と困った方も多いかと思います。 BigQueryに限らずデータベースを利用していれば、テーブルのデータを全件削除したいタ ...

2020年2月18日BigQueryBigQuery SQLサンプル

Thumbnail of post image 075

やりたいこと 1日分の1時間毎のレコードを動的に作成したい 例えば、こんなデータです。 日時2020-02-21T00:00:002020-02-21T01:00:002020-02-21T02:00:00    :2020-02-21T2 ...

2020年2月18日BigQueryBigQuery SQLサンプル

Thumbnail of post image 048

BigQueryのユーザ定義関数とは SQLに直接記載すると複雑になったり、何度も繰り返し処理するような場合にSQLを関数化することができます。 BigQueryではユーザ定義関数といいます。 ユーザが作成する関数だからそのままの名称ですね ...

2020年2月18日BigQueryBigQuery SQLサンプル

Thumbnail of post image 187

やりたいこと 2020年1月の日付レコードを動的に作成したい 月次帳票表示用のデータを作成する際などに、1ヶ月分の日付レコードが必要になることがよくありますよね。 例えば、こんなデータです。 日付2020-01-012020-01-0220 ...

2020年2月18日BigQueryBigQuery SQLサンプル

Thumbnail of post image 056

相関クロス結合とは 相関クロス結合の前にクロス結合(直積ともいいます)についてお復習いしておきましょう。 クロス結合(直積) クロス結合は全ての組み合わせでテーブルを結合する方法です。 例えば、以下のような2つのテーブルをクロス結合した場合 ...

2020年2月17日BigQuery

Thumbnail of post image 119

BigQueryの構成 BigQueryのプロジェクト、データセット、テーブルがどのような関係性なのかを可視化すると以下のようなイメージになります。 GCPプロジェクト AWSでいうところのアカウントに相当します。 料金プラン(※)の設定は ...

2020年2月17日BigQuery

Thumbnail of post image 183

BigQueryの分割テーブルはデータを高速に検索することやコスト削減につながるために、優れたテーブルなのですが、分割テーブルの制限事項を理解した上で利用する必要があります。 BigQueryの分割テーブルを利用する場合の注意点についてまと ...

2020年2月17日BigQuery

Thumbnail of post image 078

BigQueryは大規模データでもパフォーマンスを発揮することから、大量のファイル(CSVファイルなど)をロードする処理がよくあります。 その際、BigQueryの特性を活かしてファイルをロードすることで高速化することが可能ですので、その方 ...