GCP Cloud Armor ログを BigQuery で検索する
概要 やりたいこと Cloud Armor ログを BigQuery で検索する。 前回 GCP Cloud Armor ログ(LBログ)を Logging から BigQuery へエクスポート BigQuery パーティション分割テーブ...
GCP BigQuery
GCP GCP Google Cloud Armor ログ(LBログ)を Logging から BigQuery へエクスポート
概要 やりたいこと BigQuery で Cloud Armor ログを検索したい。 Logging から BigQeury へ Cloud Armor ログ (LB ログ) をエクスポートできる。 Terraform で GCP Clou...
GCP BigQuery Google Data Studio 時間ごとのグラフを作成
Google Data Studio で時間毎の折れ線グラフ、棒グラフを作成したい。 設定変更しないといけない箇所は2つ。 データソースの項目の読み込みタイプ ディメンションの表示タイプ データソース データソースの読み込み時のタイプ設定を...
Fluentd nginx + Stackdriver Logging + BigQuery で構造化ロギングを扱う
GCE 上の nginx のログを Stackdriver + BigQuery + Google Data Studio で可視化する大まかな流れはわかった。 Stackdriver Logging + BigQuery で GCE の ...
GCP Google Data Studio + BigQuery で Stackdriver で収集したデータを可視化
Nginx のログを Google Data Studio で可視化したい。 Google Data Studio GOOGLE DATA STUDIO* ベータ版 Google Data Studio は無料で使えるデータ可視化ツール。 ...
GCP Stackdriver Logging + BigQuery で GCE の nginx ログを取り込む
Stackdriver も BigQuery の無料枠を利用して、GCE 上の nginx のログを BigQuery に取り込んで見る。 無料枠は以下。 Stackdriver : 30日間保存されるログサイズ50GB BigQuery...
GCP BigQuery で文字列を timestamp にパースしたい
Standard SQLのみです。 文字列を timestamp 型にパース 例えば 20180329T092448 のような文字列があったとする。 これを timestamp 型として変換したい場合、 PARSE_TIMESTAMP関数 ...
GCP BigQuery fluent-plugin-bigquery + BigQuery で遭遇したエラーメモ
概要 GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。 fluent-plugin-bigquery のバージョンは 1.10。 td-agent3です。 ...