AWS CloudFormation StackSets コンソールで AWS GuardDuty を全リージョンで有効化する（コンソールver）
概要やりたいことGuardDuty を有効化したい。全リージョンで。GuardDuty はリージョナルなサービスなため、リージョンごとで有効化しないといけない。CloudFormation StackSets複数のアカウントおよびリージョン...
さいき
AWS AWS AWS Glue Workflow で AWS WAF Log を 継続的に Parquet に変換する ETL を管理する
概要やりたいこと前回 Glue Job で Parquet 形式に変換することができた。AWS Glue で AWS WAF Log を Parquet 形式に変換するしかし2つの問題がでてきた。Glue Job の対象が指定したバケット内...
AWS AWS Glue で AWS WAF Log を Parquet 形式に変換する
概要やりたいことすでに Json として出力された WAF ログを Parquet 形式に変更する。Athena で検索できるところまでやる。AWS WAF ログを Json 形式で S3 にエクスポートするところまでは以下で行った。Clo...
AWS Athena Kinesis Firehose で AWS WAF Log を Parquet 形式で S3 にエクスポートする
概要やりたいことAthena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。Athena のチューニングをしようと思い下記を確認。Parquet フォーマットが良いらしい。Top 10 Pe...
AWS AWS WAF v2 のアクションを検知(Count)からブロック(Block)へ移行する
概要やりたいことAWS WAF を検知モード (Allow/Count) からブロックモード(Block)にしたい。CloudFormation で AWS WAF v2 に AWS Managed Rules を設定するAWS Manag...
AWS AWS Glue Crawler で Athena のパーティション作成を自動化する
概要やりたいことAthena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。S3 にエクスポートされた AWS WAF v2 ログを Ath...
AWS S3 にエクスポートされた AWS WAF v2 ログを Athena で検索する
概要やりたいことS3 にエクスポートした AWS WAF ログを Athena で検索する。CloudFormation で AWS WAF のログを S3 バケットに保存するAWS WAF ログサンプルS3 に保存されたログを確認すると、...
AWS CloudFormation で AWS WAF ログを Kinesis Firehose を経由して別アカウントの S3 バケットに送る
概要やりたいこと前回、AWS WAF ログを S3 バケットに保存した。このログを別アカウントの S3 バケットに保存したい。CloudFormation で AWS WAF のログを S3 バケットに保存するクロスアカウントアクセスという...
AWS CloudFormation で AWS WAF のログを S3 バケットに保存する
概要やりたいことAWS WAF の検知ログを S3 に保存したい。CloudFormation で AWS WAF v2 に AWS Managed Rules を設定するAWS WAF v2 リソースは既に作成されてるものとする。 Clo...
AWS CloudFormation で AWS WAF v2 に AWS Managed Rules を設定する
概要やりたいことCloudFormation を利用して AWS WAF v2 (new) にAWS Managed Rules on AWS WAF を設定する。以前、CloudFormation を利用して AWS WAF v1 (cl...