GCP Cloud Armor ログを BigQuery で検索する
概要
やりたいこと
Cloud Armor ログを BigQuery で検索する。
前回
GCP Cloud Armor ログ(LBログ)を Logging から BigQuery へエクスポート
BigQu...
GCP BigQuery
GCP GCP Google Cloud Armor ログ(LBログ)を Logging から BigQuery へエクスポート
概要
やりたいこと
BigQuery で Cloud Armor ログを検索したい。
Logging から BigQeury へ Cloud Armor ログ (LB ログ) をエクスポートできる。
Terrafo...
GCP BigQuery Google Data Studio 時間ごとのグラフを作成
Google Data Studio で時間毎の折れ線グラフ、棒グラフを作成したい。
設定変更しないといけない箇所は2つ。
データソースの項目の読み込みタイプ
ディメンションの表示タイプ
データソース
データソ...
Fluentd nginx + Stackdriver Logging + BigQuery で構造化ロギングを扱う
GCE 上の nginx のログを Stackdriver + BigQuery + Google Data Studio で可視化する大まかな流れはわかった。
Stackdriver Logging + BigQuery で G...
GCP Google Data Studio + BigQuery で Stackdriver で収集したデータを可視化
Nginx のログを Google Data Studio で可視化したい。
Google Data Studio
GOOGLE DATA STUDIO* ベータ版
Google Data Studio は無料で使えるデータ可視化ツー...
GCP Stackdriver Logging + BigQuery で GCE の nginx ログを取り込む
Stackdriver も BigQuery の無料枠を利用して、GCE 上の nginx のログを BigQuery に取り込んで見る。
無料枠は以下。
Stackdriver : 30日間保存されるログサイズ50GB
...
GCP BigQuery で文字列を timestamp にパースしたい
Standard SQLのみです。
文字列を timestamp 型にパース
例えば 20180329T092448 のような文字列があったとする。
これを timestamp 型として変換したい場合、 PARSE_TIMESTA...
GCP BigQuery fluent-plugin-bigquery + BigQuery で遭遇したエラーメモ
概要
GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。
fluent-plugin-bigquery のバージョンは 1.10。
td-age...