- 追加された行はこの色です。
- 削除された行はこの色です。
#author("2022-12-15T02:49:04+00:00","default:admin","admin")
#author("2022-12-20T08:40:35+00:00","default:admin","admin")
-[[Fluentd公式サイト:https://www.fluentd.org/]]
-[[Fluentdドキュメント:https://docs.fluentd.org/]]
-[[Fluentdダウンロードページ:https://www.fluentd.org/download]]
-[[Fluentd Git-Hub:https://github.com/fluent/fluentd]]
-[[Fluentd実践入門:https://gihyo.jp/book/2022/978-4-297-13109-8]]
--[[「Fluentd実践入門」を10月8日に出版します:https://tagomoris.hatenablog.com/entry/2022/09/06/092458]]
-[[Fluentd とは？:https://openstandia.jp/oss_info/fluentd/]]
-[[Fluentdはデータ収集ソフトウェア最強のツールである:https://zenn.dev/ryoatsuta/articles/a0dea1dc377000]]
-[[柔軟なログ収集を可能にする「fluentd」入門:https://knowledge.sakura.ad.jp/1336/]]
-[[Fluentdを触ってみた（Fluentd Quickstart）:https://tech.virtualtech.jp/entry/2022/10/24/132210]]
-[[Fluent チュートリアル – アプリケーションのログを複数のストリームに分割する:https://aws.amazon.com/jp/blogs/news/splitting-application-logs-multiple-streams-fluent/]]
-[[コンテナ運用におけるログ基盤設計のベストプラクティス:https://qiita.com/naomichi-y/items/6eeebd21adf8e771a8e7]]
-[[マイクロサービス時代のフルマネージドなログ集約事情:https://qiita.com/sista05/items/238b11b08896b2ee41c7]]
-[[300GB/day出力されるログ基盤をFluent Bit + Fargate + NLBで再構築したら、エンジニアの作業効率が上がった:https://engineer.crowdworks.jp/entry/20201224-advent-calendar-2020-log-infrastructure]]
*概要 [#d0a99a84]
-Fluentdは，ログやそのほかのデータの収集および集約，転送，変換，保存を実現するためのソフトウェアで，クラウド環境において基盤となるソフトウェアの開発を推進する[[CNCF（Cloud Native Computing Foundation）:https://www.cncf.io/]]傘下のOSSとして公開されています。
-Kubernetes環境におけるデファクトスタンダードなログ収集方法として扱われています。
-そのため，AWS（Amazon Web Services），GCP（Google Cloud Platform）およびMicrosoft Azureといったクラウド環境においても標準的なツールとして使われています。
**主な機能 [#z6f71a10]
***ログ転送機能 [#q131e2ce]
-収集したデータを別のサーバへ転送可能。冗長化やアクティブ-スタンバイなどの構成が実現できる。
***バッファリング機能 [#d1da2246]
-データを欠損することなく管理が可能。オンメモリとファイルの2種類から選択して利用できる。
***フィルタ機能 [#jde9cf62]
-データの加工や正規表現によるフィルタリングを行える。
***プラグイン機能 [#l7e4f4b7]
-公開されているプラグインは500種類以上あり、様々な要件に応じた機能を選択できる。
**ライセンス [#c3c1092b]
-Apache License Version 2.0のライセンスに従い、著作権の表示などの条件に従うことで、商用利用、修正、再頒布などが自由に行える
*Fluent Bit [#ze4ebf95]
-[[Fluent Bitを利用したログルーティング - 入門編:https://tech.isid.co.jp/entry/2022/05/09/Fluent_Bit%E3%82%92%E5%88%A9%E7%94%A8%E3%81%97%E3%81%9F%E3%83%AD%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0_-_%E5%85%A5%E9%96%80%E7%B7%A8]]
*関連ツール [#n0435f8d]
*AWS [#g5b6e7d7]
-[[FluentdとAWS Athenaでログ集約してみた:https://zenn.dev/yuta28/articles/ae8b1379aa873c]]
-[[EC2のログをS3に転送する（fluentd）:https://se-brain.com/2022/01/29/ec2%E3%81%AE%E3%83%AD%E3%82%B0%E3%82%92s3%E3%81%AB%E8%BB%A2%E9%80%81%E3%81%99%E3%82%8B%EF%BC%88fluentd%EF%BC%89/]]
-[[AWS ECS on Fargate + FireLens で大きなログが扱いやすくなった話:https://engineering.dena.com/blog/2022/08/firelens/]]
-[[CloudWatch LogsからOpenSearchへログ集約を移行した:https://cuebic.hatenablog.com/entry/2022/07/11/154446]]
-[[AWS DevDay Japan 2022 に「AWS CDKでECS on FargateのCI/CDを実現する際の理想と現実 」というタイトルで登壇しました #AWSDevDay:https://dev.classmethod.jp/articles/ideal-and-reality-when-implementing-cicd-for-ecs-on-fargate-with-aws-cdk/]]
-[[ログ収集・分析(Fluent Bit / AWS OpenSearch):https://developer.mamezou-tech.com/containers/k8s/tutorial/ops/opensearch/]]
-[[ログ収集・分析(Fluent Bit / Amazon CloudWatch):https://developer.mamezou-tech.com/containers/k8s/tutorial/ops/cloudwatch/]]
-[[Amazon Athena＋AWS GlueでS3上のデータを分析してみた:https://www.ryucom.co.jp/blog/aws/3789]]
-[[Amazon Athena+AWS Glue のベストプラクティス を学ぼう #1:https://qiita.com/KC_NN/items/67e69cb732d4ea6b2b4f]]
-[[AWS ECSにおけるログ保存コスト削減のススメ・S3圧縮編:https://tech.excite.co.jp/entry/2021/06/28/163303]]
**Glue [#i0386af7]
-AWS Glue は、完全マネージド型 ETL (Extract/Transform/Load、抽出/変換/ロード) サービスです。
-Glueには、AWS Glue Data Catalogという、メタデータの保存や共有ができるメタデータストアがあります。
**Athena [#a6aba179]
-Amazon Athenaは、標準SQLを使用してS3内のデータを分析することができるサービス
***特徴 [#ca03b95b]
-サーバレスである
--Athenaはサーバレスであるため、サーバインスタンスを立てたり、管理する必要がありません。
--S3にデータを保存し、テーブルを定義するだけでSQLクエリを実行することが可能です。
-クエリごとに料金が発生
--Athenaでは、クエリでスキャンされるデータの量に対して料金が発生します。
--そのため、データの圧縮、分割、列形式への変換を行うことで、コストを削減することができます。
-高速である
--クエリが自動的に並列で実行されるため、大規模なデータに対しても数秒で結果を得ることが可能です。
**QuickSight [#i56af9e2]
**Redshift [#e1828e1b]
*その他 [#c81a86fd]
-[[Fluentdからログをアップロード - Site24x7:https://www.site24x7.jp/help/log-collectors/fluentd.html]]
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
