Terraform で AWS WAF v2 ログを Kinesis Firehose 経由で Parquet 形式で S3 へエクスポート
概要やりたいこと
Terraform で AWS WAF v2 が出すログを Parquet 形式で S3 にエクスポートする Kinesis を作成したい。
前回の続き。
ALB 用 AWS WAF v2 を Ter ...
AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する
概要やりたいこと
前回 Glue Job で Parquet 形式に変換することができた。
AWS Glue で AWS WAF Log を Parquet 形式に変換するしかし2つの問題がでてきた。
Glue ...
AWS Glue で AWS WAF Log を Parquet 形式に変換する
概要やりたいこと
すでに Json として出力された WAF ログを Parquet 形式に変更する。
Athena で検索できるところまでやる。
AWS WAF ログを Json 形式で S3 にエクスポートすると ...
Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要やりたいこと
Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。
Athena のチューニングをしようと思い下記を確認。
Parquet フォーマットが ...
AWS Glue Crawler で Athena のパーティション作成を自動化する
概要やりたいこと
Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。
S3 にエクスポートされた AWS WAF v2 ...