AWS, AWS Athena, AWS WAF

概要やりたいこと

Athena を分析するクエリをまとめる。期間指定・集計系のクエリがメイン。

検索系のクエリは以下でまとめてある。

AWS WAF ログの array 型と struct 型のカラムを Athena ...

AWS, AWS Athena, AWS WAF

概要やりたいこと

AWS WAF ログを分析するため、各カラムを指定するクエリをまとめる。

AWS WAF ログは Kinesis Firehose 経由で S3 に保存されており、AWS Glue Crawler を利用し ...

AWS, AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

前回 Glue Job で Parquet 形式に変換することができた。

AWS Glue で AWS WAF Log を Parquet 形式に変換する

しかし2つの問題がでてきた。

Glue ...

AWS, AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

既に Json として出力された WAF ログを Parquet 形式に変更する。Athena で検索できるところまでやる。

CloudFormation で AWS WAF ログを Kinesis Fireho ...

AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

Athena のデータスキャン量が多い。パーティションを使っているのに。Redash がすぐ死ぬ。軽くしたい。

Athena のチューニングをしようと思い下記を確認。
Parquet フォーマットが ...

AWS, AWS Athena, AWS Glue, AWS WAF

概要やりたいこと

Athena でパーティションを作成し、クエリ実行を行った。このパーティション作成するのに ALTER TABLE クエリを実行したが、この部分を自動化したい。

S3 にエクスポートされた AWS WAF v2 ...

AWS, AWS Athena, AWS WAF

概要やりたいこと

S3 にエクスポートした AWS WAF ログを Athena で検索する。

CloudFormation で AWS WAF のログを S3 バケットに保存する
AWS WAF ログサンプル

S3 に ...

AWS, AWS Athena, AWS GuardDuty

概要やりたいこと

GuardDuty ログをセキュリティ分析したい。そのため、ログがどのような形式でどんな内容なのかを確認する。

Amazon GuardDuty を S3 にエクスポートし Athena で検索
AWS G ...

AWS, AWS Athena, AWS GuardDuty

概要やりたいこと

以前 GuardDuty ログを Athena で検索できるようにした。この GuardDuty ログを可視化したい。

AWS GuardDuty を S3 にエクスポートし Athena で検索

Q ...

AWS, AWS Athena, AWS GuardDuty

概要やりたいこと

GuardDuty の検知結果を S3 にエクスポートし、 Athena で検索する。

Amazon GuardDuty

AWS 環境の脅威検知を行ってくれるサービス。

検知内容

検知した結 ...