GCP BigQuery

GCP

Cloud Armor ログを BigQuery で検索する

概要 やりたいこと Cloud Armor ログを BigQuery で検索する。 前回 GCP Cloud Armor ログ(LBログ)を Logging から BigQuery へエクスポート BigQuery パーティション分割テーブ...
GCP

Google Cloud Armor ログ(LBログ)を Logging から BigQuery へエクスポート

概要 やりたいこと BigQuery で Cloud Armor ログを検索したい。 Logging から BigQeury へ Cloud Armor ログ (LB ログ) をエクスポートできる。 Terraform で GCP Clou...
GCP BigQuery

Google Data Studio 時間ごとのグラフを作成

Google Data Studio で時間毎の折れ線グラフ、棒グラフを作成したい。 設定変更しないといけない箇所は2つ。 データソースの項目の読み込みタイプ ディメンションの表示タイプ データソース データソースの読み込み時のタイプ設定を...
Fluentd

nginx + Stackdriver Logging + BigQuery で構造化ロギングを扱う

GCE 上の nginx のログを Stackdriver + BigQuery + Google Data Studio で可視化する大まかな流れはわかった。 Stackdriver Logging + BigQuery で GCE の ...
GCP

Google Data Studio + BigQuery で Stackdriver で収集したデータを可視化

Nginx のログを Google Data Studio で可視化したい。 Google Data Studio GOOGLE DATA STUDIO* ベータ版 Google Data Studio は無料で使えるデータ可視化ツール。 ...
GCP

Stackdriver Logging + BigQuery で GCE の nginx ログを取り込む

Stackdriver  も BigQuery の無料枠を利用して、GCE 上の nginx のログを BigQuery に取り込んで見る。 無料枠は以下。 Stackdriver : 30日間保存されるログサイズ50GB BigQuery...
GCP

BigQuery で文字列を timestamp にパースしたい

Standard SQLのみです。 文字列を timestamp 型にパース 例えば 20180329T092448 のような文字列があったとする。 これを timestamp 型として変換したい場合、 PARSE_TIMESTAMP関数 ...
GCP BigQuery

fluent-plugin-bigquery + BigQuery で遭遇したエラーメモ

概要 GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。 fluent-plugin-bigquery のバージョンは 1.10。 td-agent3です。 ...