概要

GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。

fluent-plugin-bigquery のバージョンは 1.10。

td-agent3です。

エラー

error_class=Signet::AuthorizationError error=”Authorization failed. Server message:\n{\n \”error\”: \”invalid_grant\”,\n \”error_description\”: \”Invalid JWT: Token must be a short-lived token (60 minutes) and in a reasonable timeframe. Check your iat and exp values and use a clock with skew to account for clock differences between systems.\”\n}”

fluentd(td-agent) が動いているサーバの時刻がズレている可能性がある。

サーバにntpdを入れて時刻を同期するとなおった。

insert errors insert_errors=”[#<Google::Apis::BigqueryV2::InsertAllTableDataResponse::InsertError

fluent-plugin-bigquery v0.3.x で遭遇したエラーについて

上記のブログでは、 fluentd の record_transformer を使って解決していた。

fluent-plugin-bigquery の 1系の場合、 ignore_unknown_values の項目を true に指定したら良い。