AWS, AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

Terraform で AWS WAF v2 が出すログを Parquet 形式で S3 にエクスポートする Kinesis を作成したい。

前回の続き。

ALB 用 AWS WAF v2 を Ter ...

AWS, AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

前回 Glue Job で Parquet 形式に変換することができた。

AWS Glue で AWS WAF Log を Parquet 形式に変換する

しかし2つの問題がでてきた。

Glue ...

AWS, AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

すでに Json として出力された WAF ログを Parquet 形式に変更する。
Athena で検索できるところまでやる。

AWS WAF ログを Json 形式で S3 にエクスポートすると ...

AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。

Athena のチューニングをしようと思い下記を確認。
Parquet フォーマットが ...

AWS, AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。

S3 にエクスポートされた AWS WAF v2 ...