Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要やりたいこと
Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。
Athena のチューニングをしようと思い下記を確認。
Parquet フォーマットが ...
AWS Glue のクローラを利用して Athena のパーティション作成を自動化する
概要やりたいこと
Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。
S3 にエクスポートされた AWS WAF v2 ...