GCP BigQuery

概要やりたいこと

Cloud Armor ログを BigQuery で検索する。

前回

GCP Cloud Armor ログ(LBログ)を Logging から BigQuery へエクスポート
BigQuery ...

概要やりたいこと

BigQuery で Cloud Armor ログを検索したい。

Logging から BigQeury へ Cloud Armor ログ (LB ログ) をエクスポートできる。

Terraform ...

Google Data Studio で時間毎の折れ線グラフ、棒グラフを作成したい。

設定変更しないといけない箇所は2つ。

データソースの項目の読み込みタイプ
ディメンションの表示タイプ
データソース ...

GCE 上の nginx のログを Stackdriver + BigQuery + Google Data Studio で可視化する大まかな流れはわかった。

Stackdriver Logging + BigQuery で ...

Nginx のログを Google Data Studio で可視化したい。

Google Data Studio

GOOGLE DATA STUDIO* ベータ版

Google Data Studio は無料で ...

Stackdriver  も BigQuery の無料枠を利用して、GCE 上の nginx のログを BigQuery に取り込んで見る。

無料枠は以下。

Stackdriver : 30日間保存されるログサイズ5 ...

Standard SQLのみです。

文字列を timestamp 型にパース

例えば 20180329T092448 のような文字列があったとする。

これを timestamp 型として変換したい場合、 PARS ...

概要

GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。

fluent-plugin-bigquery のバージョンは 1.10。