BigQuery SQLサンプル - 1時間毎のレコード作成
やりたいこと 1日分の1時間毎のレコードを動的に作成したい 例えば、こんなデータです。 日時2020-02-21T00:00:002020-02-21T01:00:002020-02-21T02:00:00 :2020-02-21T2 ...
BigQuery SQLサンプル - ユーザ定義関数で月初と月末を取得する関数を作成する
BigQueryのユーザ定義関数とは SQLに直接記載すると複雑になったり、何度も繰り返し処理するような場合にSQLを関数化することができます。 BigQueryではユーザ定義関数といいます。 ユーザが作成する関数だからそのままの名称ですね ...
BigQuery SQLサンプル - 1ヶ月分の日付レコード作成
やりたいこと 2020年1月の日付レコードを動的に作成したい 月次帳票表示用のデータを作成する際などに、1ヶ月分の日付レコードが必要になることがよくありますよね。 例えば、こんなデータです。 日付2020-01-012020-01-0220 ...
BigQuery SQLサンプル - 相関クロス結合
相関クロス結合とは 相関クロス結合の前にクロス結合(直積ともいいます)についてお復習いしておきましょう。 クロス結合(直積) クロス結合は全ての組み合わせでテーブルを結合する方法です。 例えば、以下のような2つのテーブルをクロス結合した場合 ...
BigQueryの構成(プロジェクト/データセット/テーブル)まとめ
BigQueryの構成 BigQueryのプロジェクト、データセット、テーブルがどのような関係性なのかを可視化すると以下のようなイメージになります。 GCPプロジェクト AWSでいうところのアカウントに相当します。 料金プラン(※)の設定は ...
BigQueryの分割テーブルの注意点まとめ
BigQueryの分割テーブルはデータを高速に検索することやコスト削減につながるために、優れたテーブルなのですが、分割テーブルの制限事項を理解した上で利用する必要があります。 BigQueryの分割テーブルを利用する場合の注意点についてまと ...
BigQueryへデータを高速にロードする方法まとめ
BigQueryは大規模データでもパフォーマンスを発揮することから、大量のファイル(CSVファイルなど)をロードする処理がよくあります。 その際、BigQueryの特性を活かしてファイルをロードすることで高速化することが可能ですので、その方 ...
Windows 10 HomeにWSL2をインストールする手順まとめ
これまで、自宅のPCにLinuxをインストールしたいと思った場合にVirtualBoxを利用していたのですが、やっぱり動作が遅いことが気になっていました。 そこで、Windows 10 Homeでも標準で利用できるWSL(Windows S ...
AWS認定ソリューションアーキテクト(SAA)試験対策 - EC2まとめ
EC2はハイパーバイザ型の仮想サーバです。 サーバレス化が進んでいますが、ほとんどのAWSサービスの大元はEC2の上に構築されているのでは?と想像できますので、そういった意味でも重要なサービスで日々進化し続けています。 試験対策として、EC ...
AWS認定ソリューションアーキテクト(SAA)試験対策 - [リージョン/AZ]と[VPC/サブネット]の関係まとめ
AWSには大きく以下の4つ区画が存在しますが、スッキリ整理できていますか? リージョンAZ(アベイラビリティーゾーン)VPC(Virtual Prvate Network)サブネット 次のように考えると理解しやすいのではないでしょうか? 考 ...
AWS認定ソリューションアーキテクト(SAA)試験対策 - VPCの各機能まとめ
VPCはAWSの中でも初めに抑えておくべきサービスです。 様々な機能や用語がありますが、それぞれ簡単にまとめました。 数量的な制約 VPC1リージョンに5VPCCIDRは、/16から/28の範囲で指定サブネット1VPCに200サブネットEl ...
AWS認定ソリューションアーキテクト(SAA)試験対策 - S3/Glacier/Glacier Deep Archiveまとめ
試験によく出るポイントを中心に一通りの機能について解説していきます。 用語の説明程度としている機能は試験には経験上あまり出題されていません。 ※構成図はAWS Blackbeltの資料を利用させていただきました。 ストレージクラス S3関連 ...
AWS認定ソリューションアーキテクト(SAA)を取得しよう
脱オンプレ化の波は以前から感じていましたが、ここ数年はクラウド反対派の企業でさえ徐々にサービスをAWSやGCPといったクラウドサービスへの移行を始めています。 私の場合は幸いにも業務で2年ほど前からAWSやGCPといったクラウド環境に触れる ...