BigQuery

スポンサーリンク
BigQuery

BigQueryのパーティション分割テーブルのパーティション数が4000から10000にアップデートしました(2024-05-29)

2024年5月29日、BigQueryのパーティション分割テーブルのパーティション数が4000から10000にアップデートされました。BigQueryで時系列データ分析を行う際、多くのユーザーがパーティション分割テーブルを利用してきました。...
BigQuery

BigQueryのバックアップ機能(スナップショット デコレータ)を利用する方法

スナップショットデコレータ(snapshotdecorators)はBigQueryの標準機能として自動で取得されるバックアップ機能です。BigQueryのバックアップとして簡単に利用できる良い機能なのですが、注意点もありますので合わせて紹...
BigQuery

BigQueryでTruncate Tableする方法

BigQueryでTruncate Table文を実行したことはありますか?実行して「あれっ?構文エラーになる・・・」と困った方も多いかと思います。BigQueryに限らずデータベースを利用していれば、テーブルのデータを全件削除したいタイミ...
BigQuery

BigQuery SQLサンプル - 1時間毎のレコード作成

やりたいこと1日分の1時間毎のレコードを動的に作成したい例えば、こんなデータです。日時2020-02-21T00:00:002020-02-21T01:00:002020-02-21T02:00:00    :2020-02-21T22:0...
BigQuery

BigQuery SQLサンプル - ユーザ定義関数で月初と月末を取得する関数を作成する

BigQueryのユーザ定義関数とはSQLに直接記載すると複雑になったり、何度も繰り返し処理するような場合にSQLを関数化することができます。BigQueryではユーザ定義関数といいます。ユーザが作成する関数だからそのままの名称ですね。構文...
BigQuery

BigQuery SQLサンプル - 1ヶ月分の日付レコード作成

やりたいこと2020年1月の日付レコードを動的に作成したい月次帳票表示用のデータを作成する際などに、1ヶ月分の日付レコードが必要になることがよくありますよね。例えば、こんなデータです。日付2020-01-012020-01-022020-0...
BigQuery

BigQuery SQLサンプル - 相関クロス結合

相関クロス結合とは相関クロス結合の前にクロス結合(直積ともいいます)についてお復習いしておきましょう。クロス結合(直積)クロス結合は全ての組み合わせでテーブルを結合する方法です。例えば、以下のような2つのテーブルをクロス結合した場合の結果は...
BigQuery

BigQueryの構成(プロジェクト/データセット/テーブル)まとめ

BigQueryの構成BigQueryのプロジェクト、データセット、テーブルがどのような関係性なのかを可視化すると以下のようなイメージになります。GCPプロジェクトAWSでいうところのアカウントに相当します。料金プラン(※)の設定はプロジェ...
BigQuery

BigQueryの分割テーブルの注意点まとめ

BigQueryの分割テーブルはデータを高速に検索することやコスト削減につながるために、優れたテーブルなのですが、分割テーブルの制限事項を理解した上で利用する必要があります。BigQueryの分割テーブルを利用する場合の注意点についてまとめ...
BigQuery

BigQueryへデータを高速にロードする方法まとめ

BigQueryは大規模データでもパフォーマンスを発揮することから、大量のファイル(CSVファイルなど)をロードする処理がよくあります。その際、BigQueryの特性を活かしてファイルをロードすることで高速化することが可能ですので、その方法...
スポンサーリンク