GCP, GCP BigQuery, GCP Cloud Armor

概要やりたいこと

Cloud Armor ログを BigQuery で検索する。

前回

GCP Cloud Armor ログ(LBログ)を Logging から BigQuery へエクスポート
BigQuery ...

GCP, GCP BigQuery, GCP Cloud Armor

概要やりたいこと

BigQuery で Cloud Armor ログを検索したい。

Logging から BigQeury へ Cloud Armor ログ (LB ログ) をエクスポートできる。

Terraform ...

GCP BigQuery, GoogleDataStudio

Google Data Studio で時間毎の折れ線グラフ、棒グラフを作成したい。

設定変更しないといけない箇所は2つ。

データソースの項目の読み込みタイプ
ディメンションの表示タイプ
データソース ...

Fluentd, GCE, GCP, GCP BigQuery, Nginx, Stackdriver

GCE 上の nginx のログを Stackdriver + BigQuery + Google Data Studio で可視化する大まかな流れはわかった。

Stackdriver Logging + BigQuery で ...

GCP, GCP BigQuery, GoogleDataStudio, Nginx, Stackdriver

Nginx のログを Google Data Studio で可視化したい。

Google Data Studio

GOOGLE DATA STUDIO* ベータ版

Google Data Studio は無料で ...

GCP, GCP BigQuery, Nginx, Stackdriver

Stackdriver  も BigQuery の無料枠を利用して、GCE 上の nginx のログを BigQuery に取り込んで見る。

無料枠は以下。

Stackdriver : 30日間保存されるログサイズ5 ...

GCP, GCP BigQuery

Standard SQLのみです。

文字列を timestamp 型にパース

例えば 20180329T092448 のような文字列があったとする。

これを timestamp 型として変換したい場合、 PARS ...

GCP BigQuery

概要

GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。

fluent-plugin-bigquery のバージョンは 1.10。