AWS Terraform で AWS WAF v2 ログを Kinesis Firehose 経由で Parquet 形式で S3 へエクスポート
概要 やりたいこと Terraform で AWS WAF v2 が出すログを Parquet 形式で S3 にエクスポートする Kinesis を作成したい。 前回の続き。 ALB 用 AWS WAF v2 を Terraform で構築...
AWS Glue
AWS AWS AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する
概要 やりたいこと 前回 Glue Job で Parquet 形式に変換することができた。 AWS Glue で AWS WAF Log を Parquet 形式に変換する しかし2つの問題がでてきた。 Glue Job の対象が指定した...
AWS AWS Glue で AWS WAF Log を Parquet 形式に変換する
概要 やりたいこと すでに Json として出力された WAF ログを Parquet 形式に変更する。Athena で検索できるところまでやる。 AWS WAF ログを Json 形式で S3 にエクスポートするところまでは以下で行った。...
AWS Athena Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要 やりたいこと Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。 Athena のチューニングをしようと思い下記を確認。Parquet フォーマットが良いらしい。 Top 1...
AWS AWS Glue Crawler で Athena のパーティション作成を自動化する
概要 やりたいこと Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。 S3 にエクスポートされた AWS WAF v2 ログを ...