AWS Terraform で AWS WAF v2 ログを Kinesis Firehose 経由で Parquet 形式で S3 へエクスポート
概要やりたいことTerraform で AWS WAF v2 が出すログを Parquet 形式で S3 にエクスポートする Kinesis を作成したい。前回の続き。ALB 用 AWS WAF v2 を Terraform で構築する過去...
AWS Glue
AWS AWS AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する
概要やりたいこと前回 Glue Job で Parquet 形式に変換することができた。AWS Glue で AWS WAF Log を Parquet 形式に変換するしかし2つの問題がでてきた。Glue Job の対象が指定したバケット内...
AWS AWS Glue で AWS WAF Log を Parquet 形式に変換する
概要やりたいことすでに Json として出力された WAF ログを Parquet 形式に変更する。Athena で検索できるところまでやる。AWS WAF ログを Json 形式で S3 にエクスポートするところまでは以下で行った。Clo...
AWS Athena Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要やりたいことAthena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。Athena のチューニングをしようと思い下記を確認。Parquet フォーマットが良いらしい。Top 10 Pe...
AWS AWS Glue Crawler で Athena のパーティション作成を自動化する
概要やりたいことAthena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。S3 にエクスポートされた AWS WAF v2 ログを Ath...