AWS CloudFormation StackSets コンソールで AWS GuardDuty を全リージョンで有効化する（コンソールver）
概要 やりたいこと GuardDuty を有効化したい。全リージョンで。 GuardDuty はリージョナルなサービスなため、リージョンごとで有効化しないといけない。 CloudFormation StackSets 複数のアカウントおよび...
AWS AWS AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する
概要 やりたいこと 前回 Glue Job で Parquet 形式に変換することができた。 AWS Glue で AWS WAF Log を Parquet 形式に変換する しかし2つの問題がでてきた。 Glue Job の対象が指定した...
AWS AWS Glue で AWS WAF Log を Parquet 形式に変換する
概要 やりたいこと すでに Json として出力された WAF ログを Parquet 形式に変更する。Athena で検索できるところまでやる。 AWS WAF ログを Json 形式で S3 にエクスポートするところまでは以下で行った。...
AWS Athena Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要 やりたいこと Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。 Athena のチューニングをしようと思い下記を確認。Parquet フォーマットが良いらしい。 Top 1...
AWS AWS WAF v2 のアクションを検知(Count)からブロック(Block)へ移行する
概要 やりたいこと AWS WAF を検知モード (Allow/Count) からブロックモード(Block)にしたい。 CloudFormation で AWS WAF v2 に AWS Managed Rules を設定する AWS M...
AWS AWS Glue Crawler で Athena のパーティション作成を自動化する
概要 やりたいこと Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。 S3 にエクスポートされた AWS WAF v2 ログを ...
AWS S3 にエクスポートされた AWS WAF v2 ログを Athena で検索する
概要 やりたいこと S3 にエクスポートした AWS WAF ログを Athena で検索する。 CloudFormation で AWS WAF のログを S3 バケットに保存する AWS WAF ログサンプル S3 に保存されたログを確...
AWS CloudFormation で AWS WAF ログを Kinesis Firehose を経由して別アカウントの S3 バケットに送る
概要 やりたいこと 前回、AWS WAF ログを S3 バケットに保存した。このログを別アカウントの S3 バケットに保存したい。 CloudFormation で AWS WAF のログを S3 バケットに保存する クロスアカウントアクセ...
AWS CloudFormation で AWS WAF のログを S3 バケットに保存する
概要 やりたいこと AWS WAF の検知ログを S3 に保存したい。 CloudFormation で AWS WAF v2 に AWS Managed Rules を設定する AWS WAF v2 リソースは既に作成されてるものとする。...
AWS CloudFormation で AWS WAF v2 に AWS Managed Rules を設定する
概要 やりたいこと CloudFormation を利用して AWS WAF v2 (new) にAWS Managed Rules on AWS WAF を設定する。 以前、CloudFormation を利用して AWS WAF v1 ...