概要 †
- Fluentdは，ログやそのほかのデータの収集および集約，転送，変換，保存を実現するためのソフトウェアで，クラウド環境において基盤となるソフトウェアの開発を推進するCNCF（Cloud Native Computing Foundation）傘下のOSSとして公開されています。
- Kubernetes環境におけるデファクトスタンダードなログ収集方法として扱われています。
- そのため，AWS（Amazon Web Services），GCP（Google Cloud Platform）およびMicrosoft Azureといったクラウド環境においても標準的なツールとして使われています。
主な機能 †
ログ転送機能 †
- 収集したデータを別のサーバへ転送可能。冗長化やアクティブ-スタンバイなどの構成が実現できる。
バッファリング機能 †
- データを欠損することなく管理が可能。オンメモリとファイルの2種類から選択して利用できる。
フィルタ機能 †
- データの加工や正規表現によるフィルタリングを行える。
プラグイン機能 †
- 公開されているプラグインは500種類以上あり、様々な要件に応じた機能を選択できる。
ライセンス †
- Apache License Version 2.0のライセンスに従い、著作権の表示などの条件に従うことで、商用利用、修正、再頒布などが自由に行える
Fluent Bit †
AWS †
Glue †
- AWS Glue は、完全マネージド型 ETL (Extract/Transform/Load、抽出/変換/ロード) サービスです。
- Glueには、AWS Glue Data Catalogという、メタデータの保存や共有ができるメタデータストアがあります。
Athena †
- Amazon Athenaは、標準SQLを使用してS3内のデータを分析することができるサービス
特徴 †
- サーバレスである
- Athenaはサーバレスであるため、サーバインスタンスを立てたり、管理する必要がありません。
- S3にデータを保存し、テーブルを定義するだけでSQLクエリを実行することが可能です。
- クエリごとに料金が発生
- Athenaでは、クエリでスキャンされるデータの量に対して料金が発生します。
- そのため、データの圧縮、分割、列形式への変換を行うことで、コストを削減することができます。
- 高速である
- クエリが自動的に並列で実行されるため、大規模なデータに対しても数秒で結果を得ることが可能です。
QuickSight? †
Redshift †
その他 †
|
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
