BigQuery

Google Cloudの超高速データウェアハウス「BigQuery」の活用ガイドです。初期セットアップ、パーティション分割、データ高速ロード手法から、最新のBigQuery AI関数の使い方やクォータ制限エラーの回避策まで実務に役立つノウハウを解説しています。

【BigQuery】GCS上のCSVやParquetを直接クエリする外部テーブル作成手順

Google Cloud Storage（GCS）に保存されたデータをBigQueryで分析する際、通常は「データをBigQueryのネイティブテーブルにロード」して使用します。しかし、「ETL処理前のデータをちょっとプレビューしたい」「...

【BigQuery】自己結合なしで前日比集計！LEAD・LAGとQUALIFY活用術

BigQueryで売上の前日比や前週比を計算したり、ユーザーの最新ステータスを取得しようとした際、同じテーブルを自己結合（SELF JOIN）してクエリが非常に重くなってしまった経験はないでしょうか。また、サブクエリやWITH句が何層にもネ...

【BigQuery】AI関数（AI.GENERATE_TEXT等）でQuota制限エラーが出た原因と3つの回避策

BigQueryから直接GeminiなどのLLMを呼び出せるAI関数（AI.GENERATE_TEXTやML.GENERATE_TEXT）は、データ分析やテキスト生成をSQLだけで完結できる非常に便利な機能です。しかし、数万行〜数百万行とい...

BigQuery の AI 関数（AI.GENERATE / AI.EMBED / AI.SIMILARITY）を SQL で使う方法

BigQuery で AI を使うというと、これまでは Python スクリプトや Vertex AI のコンソールを使うイメージがあったのではないでしょうか。2025〜2026 年にかけて BigQuery に追加された「AI 関数」を使...

BigQueryのパーティション分割テーブルのパーティション数が4000から10000にアップデートしました（2024-05-29）

2024年5月29日、BigQueryのパーティション分割テーブルのパーティション数が4000から10000にアップデートされました。BigQueryで時系列データ分析を行う際、多くのユーザーがパーティション分割テーブルを利用してきました。...

BigQueryのバックアップ機能（スナップショットデコレータ）を利用する方法

スナップショットデコレータ（snapshotdecorators）はBigQueryの標準機能として自動で取得されるバックアップ機能です。BigQueryのバックアップとして簡単に利用できる良い機能なのですが、注意点もありますので合わせて紹...

BigQueryでTruncate Tableする方法

BigQueryでTruncate Table文を実行したことはありますか？実行して「あれっ？構文エラーになる・・・」と困った方も多いかと思います。BigQueryに限らずデータベースを利用していれば、テーブルのデータを全件削除したいタイミ...

BigQuery SQLサンプル－ 1時間毎のレコード作成

やりたいこと1日分の1時間毎のレコードを動的に作成したい例えば、こんなデータです。日時2020-02-21T00:00:002020-02-21T01:00:002020-02-21T02:00:00　　　　：2020-02-21T22:0...

BigQuery SQLサンプル－ユーザ定義関数で月初と月末を取得する関数を作成する

BigQueryのユーザ定義関数とはSQLに直接記載すると複雑になったり、何度も繰り返し処理するような場合にSQLを関数化することができます。BigQueryではユーザ定義関数といいます。ユーザが作成する関数だからそのままの名称ですね。構文...

BigQuery SQLサンプル－１ヶ月分の日付レコード作成

やりたいこと2020年1月の日付レコードを動的に作成したい月次帳票表示用のデータを作成する際などに、１ヶ月分の日付レコードが必要になることがよくありますよね。例えば、こんなデータです。日付2020-01-012020-01-022020-0...

次のページ

1 2