AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する
概要やりたいこと
前回 Glue Job で Parquet 形式に変換することができた。
AWS Glue で AWS WAF Log を Parquet 形式に変換するしかし2つの問題がでてきた。
Glue ...
AWS Glue で AWS WAF Log を Parquet 形式に変換する
概要やりたいこと
すでに Json として出力された WAF ログを Parquet 形式に変更する。
Athena で検索できるところまでやる。
AWS WAF ログを Json 形式で S3 にエクスポートすると ...
Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要やりたいこと
Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。
Athena のチューニングをしようと思い下記を確認。
Parquet フォーマットが ...
AWS WAF v2 のアクションを検知(Count)からブロック(Block)へ移行する
概要やりたいこと
AWS WAF を検知モード (Allow/Count) からブロックモード(Block)にしたい。
CloudFormation で AWS WAF v2 に AWS Managed Rules を設定する
AWS Glue Crawler で Athena のパーティション作成を自動化する
概要やりたいこと
Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。
S3 にエクスポートされた AWS WAF v2 ...
S3 にエクスポートされた AWS WAF v2 ログを Athena で検索する
概要やりたいこと
AWS WAF ログサンプル
S3 にエクスポートした AWS WAF ログを Athena で検索する。
CloudFormation で AWS WAF のログを S3 バケットに保存するAWS WAF ログサンプル
S3 に ...
CloudFormation で AWS WAF ログを Kinesis Firehose を経由して別アカウントの S3 バケットに送る
概要やりたいこと
前回、AWS WAF ログを S3 バケットに保存した。このログを別アカウントの S3 バケットに保存したい。
CloudFormation で AWS WAF のログを S3 バケットに保存するク ...
CloudFormation で AWS WAF のログを S3 バケットに保存する
概要やりたいこと
AWS WAF の検知ログを S3 に保存したい。
CloudFormation で AWS WAF v2 に AWS Managed Rules を設定するAWS WAF v2 リソースは既に作成 ...
CloudFormation で AWS WAF v2 に AWS Managed Rules を設定する
概要やりたいこと
CloudFormation を利用して AWS WAF v2 (new) にAWS Managed Rules on AWS WAF を設定する。
以前、CloudFormation を利用して AWS ...
Terraform で Route53 + ACM + ALB + EC2 な HTTPS 環境を構築
概要やりたいこと
過去に OWASP Juice shop を EC2 で作成した。これを HTTPS 化し、 Terraform で管理したい。
AWS WAF v2 検証のために EC2 + ALB を作り、Rate-base ...