AWS WAF

AWS

Terraform で AWS WAF v2 ログを Kinesis Firehose 経由で Parquet 形式で S3 へエクスポート

概要 やりたいこと Terraform で AWS WAF v2 が出すログを Parquet 形式で S3 にエクスポートする Kinesis を作成したい。 前回の続き。 ALB 用 AWS WAF v2 を ...
AWS

Terraform で ALB 用 AWS WAF v2 を構築する

概要 やりたいこと Terraform で ALB 用の AWS WAF v2 を構築したい。 過去に AWS WAF v1 は Terraform で構築した。 ALB 用 AWS WAF v1 (Classic...
AWS

AWS WAF ログを分析する Athena クエリ例(期間指定・集計系)

概要 やりたいこと Athena を分析するクエリをまとめる。期間指定・集計系のクエリがメイン。 検索系のクエリは以下でまとめてある。 AWS WAF ログの array 型と struct 型のカラムを Athe...
AWS

AWS WAF ログの array 型と struct 型のカラムを Athena で検索する

概要 やりたいこと AWS WAF ログを分析するため、各カラムを指定するクエリをまとめる。 AWS WAF ログは Kinesis Firehose 経由で S3 に保存されており、AWS Glue Crawler を...
AWS

AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する

概要 やりたいこと 前回 Glue Job で Parquet 形式に変換することができた。 AWS Glue で AWS WAF Log を Parquet 形式に変換する しかし2つの問題がでてきた。 G...
AWS

AWS Glue で AWS WAF Log を Parquet 形式に変換する

概要 やりたいこと すでに Json として出力された WAF ログを Parquet 形式に変更する。Athena で検索できるところまでやる。 AWS WAF ログを Json 形式で S3 にエクスポートするところ...
AWS Athena

Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする

概要 やりたいこと Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。 Athena のチューニングをしようと思い下記を確認。Parquet フォーマットが良い...
AWS

AWS WAF v2 のアクションを検知(Count)からブロック(Block)へ移行する

概要 やりたいこと AWS WAF を検知モード (Allow/Count) からブロックモード(Block)にしたい。 CloudFormation で AWS WAF v2 に AWS Managed Rules を...
AWS

AWS Glue Crawler で Athena のパーティション作成を自動化する

概要 やりたいこと Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。 S3 にエクスポートされた AWS W...
AWS

S3 にエクスポートされた AWS WAF v2 ログを Athena で検索する

概要 やりたいこと S3 にエクスポートした AWS WAF ログを Athena で検索する。 CloudFormation で AWS WAF のログを S3 バケットに保存する AWS WAF ログサンプル ...
タイトルとURLをコピーしました