AWS Terraform で AWS WAF v2 ログを Kinesis Firehose 経由で Parquet 形式で S3 へエクスポート
概要
やりたいこと
Terraform で AWS WAF v2 が出すログを Parquet 形式で S3 にエクスポートする Kinesis を作成したい。
前回の続き。
ALB 用 AWS WAF v2 を ...
AWS Glue
AWS AWS AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する
概要
やりたいこと
前回 Glue Job で Parquet 形式に変換することができた。
AWS Glue で AWS WAF Log を Parquet 形式に変換する
しかし2つの問題がでてきた。
G...
AWS AWS Glue で AWS WAF Log を Parquet 形式に変換する
概要
やりたいこと
すでに Json として出力された WAF ログを Parquet 形式に変更する。Athena で検索できるところまでやる。
AWS WAF ログを Json 形式で S3 にエクスポートするところ...
AWS Athena Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要
やりたいこと
Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。
Athena のチューニングをしようと思い下記を確認。Parquet フォーマットが良い...
AWS AWS Glue Crawler で Athena のパーティション作成を自動化する
概要
やりたいこと
Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。
S3 にエクスポートされた AWS W...