AWS Terraform で AWS WAF v2 ログを Kinesis Firehose 経由で Parquet 形式で S3 へエクスポート
概要やりたいことTerraform で AWS WAF v2 が出すログを Parquet 形式で S3 にエクスポートする Kinesis を作成したい。前回の続き。ALB 用 AWS WAF v2 を Terraform で構築する過去...
AWS Athena
AWS AWS AWS WAF ログを分析する Athena クエリ例（期間指定・集計系）
概要やりたいことAthena を分析するクエリをまとめる。期間指定・集計系のクエリがメイン。検索系のクエリは以下でまとめてある。AWS WAF ログの array 型と struct 型のカラムを Athena で検索するAthenaクエリ...
AWS AWS WAF ログの array 型と struct 型のカラムを Athena で検索する
概要やりたいことAWS WAF ログを分析するため、各カラムを指定するクエリをまとめる。AWS WAF ログは Kinesis Firehose 経由で S3 に保存されており、AWS Glue Crawler を利用して Athena 用...
AWS AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する
概要やりたいこと前回 Glue Job で Parquet 形式に変換することができた。AWS Glue で AWS WAF Log を Parquet 形式に変換するしかし2つの問題がでてきた。Glue Job の対象が指定したバケット内...
AWS AWS Glue で AWS WAF Log を Parquet 形式に変換する
概要やりたいことすでに Json として出力された WAF ログを Parquet 形式に変更する。Athena で検索できるところまでやる。AWS WAF ログを Json 形式で S3 にエクスポートするところまでは以下で行った。Clo...
AWS Athena Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要やりたいことAthena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。Athena のチューニングをしようと思い下記を確認。Parquet フォーマットが良いらしい。Top 10 Pe...
AWS AWS Glue Crawler で Athena のパーティション作成を自動化する
概要やりたいことAthena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。S3 にエクスポートされた AWS WAF v2 ログを Ath...
AWS S3 にエクスポートされた AWS WAF v2 ログを Athena で検索する
概要やりたいことS3 にエクスポートした AWS WAF ログを Athena で検索する。CloudFormation で AWS WAF のログを S3 バケットに保存するAWS WAF ログサンプルS3 に保存されたログを確認すると、...
AWS S3 にエクスポートした GuardDuty ログ（Findings) を見てみる
概要やりたいことGuardDuty ログをセキュリティ分析したい。そのため、ログがどのような形式でどんな内容なのかを確認する。Amazon GuardDuty を S3 にエクスポートし Athena で検索AWS GuardDuty ログ...
AWS AWS GuardDuty ログを Athena + Redash で可視化する
概要やりたいこと以前 GuardDuty ログを Athena で検索できるようにした。この GuardDuty ログを可視化したい。AWS GuardDuty を S3 にエクスポートし Athena で検索QuickSight が使いに...