![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2022-12-20T07:56:29+00:00","default:admin","admin") #author("2022-12-20T08:40:35+00:00","default:admin","admin") -[[Fluentd公式サイト:https://www.fluentd.org/]] -[[Fluentdドキュメント:https://docs.fluentd.org/]] -[[Fluentdダウンロードページ:https://www.fluentd.org/download]] -[[Fluentd Git-Hub:https://github.com/fluent/fluentd]] -[[Fluentd実践入門:https://gihyo.jp/book/2022/978-4-297-13109-8]] --[[「Fluentd実践入門」を10月8日に出版します:https://tagomoris.hatenablog.com/entry/2022/09/06/092458]] -[[Fluentd とは？:https://openstandia.jp/oss_info/fluentd/]] -[[Fluentdはデータ収集ソフトウェア最強のツールである:https://zenn.dev/ryoatsuta/articles/a0dea1dc377000]] -[[柔軟なログ収集を可能にする「fluentd」入門:https://knowledge.sakura.ad.jp/1336/]] -[[Fluentdを触ってみた（Fluentd Quickstart）:https://tech.virtualtech.jp/entry/2022/10/24/132210]] -[[Fluent チュートリアル – アプリケーションのログを複数のストリームに分割する:https://aws.amazon.com/jp/blogs/news/splitting-application-logs-multiple-streams-fluent/]] -[[コンテナ運用におけるログ基盤設計のベストプラクティス:https://qiita.com/naomichi-y/items/6eeebd21adf8e771a8e7]] -[[マイクロサービス時代のフルマネージドなログ集約事情:https://qiita.com/sista05/items/238b11b08896b2ee41c7]] -[[300GB/day出力されるログ基盤をFluent Bit + Fargate + NLBで再構築したら、エンジニアの作業効率が上がった:https://engineer.crowdworks.jp/entry/20201224-advent-calendar-2020-log-infrastructure]] *概要 [#d0a99a84] -Fluentdは，ログやそのほかのデータの収集および集約，転送，変換，保存を実現するためのソフトウェアで，クラウド環境において基盤となるソフトウェアの開発を推進する[[CNCF（Cloud Native Computing Foundation）:https://www.cncf.io/]]傘下のOSSとして公開されています。 -Kubernetes環境におけるデファクトスタンダードなログ収集方法として扱われています。 -そのため，AWS（Amazon Web Services），GCP（Google Cloud Platform）およびMicrosoft Azureといったクラウド環境においても標準的なツールとして使われています。 **主な機能 [#z6f71a10] ***ログ転送機能 [#q131e2ce] -収集したデータを別のサーバへ転送可能。冗長化やアクティブ-スタンバイなどの構成が実現できる。 ***バッファリング機能 [#d1da2246] -データを欠損することなく管理が可能。オンメモリとファイルの2種類から選択して利用できる。 ***フィルタ機能 [#jde9cf62] -データの加工や正規表現によるフィルタリングを行える。 ***プラグイン機能 [#l7e4f4b7] -公開されているプラグインは500種類以上あり、様々な要件に応じた機能を選択できる。 **ライセンス [#c3c1092b] -Apache License Version 2.0のライセンスに従い、著作権の表示などの条件に従うことで、商用利用、修正、再頒布などが自由に行える *Fluent Bit [#ze4ebf95] -[[Fluent Bitを利用したログルーティング - 入門編:https://tech.isid.co.jp/entry/2022/05/09/Fluent_Bit%E3%82%92%E5%88%A9%E7%94%A8%E3%81%97%E3%81%9F%E3%83%AD%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0_-_%E5%85%A5%E9%96%80%E7%B7%A8]] *AWS [#g5b6e7d7] -[[FluentdとAWS Athenaでログ集約してみた:https://zenn.dev/yuta28/articles/ae8b1379aa873c]] -[[EC2のログをS3に転送する（fluentd）:https://se-brain.com/2022/01/29/ec2%E3%81%AE%E3%83%AD%E3%82%B0%E3%82%92s3%E3%81%AB%E8%BB%A2%E9%80%81%E3%81%99%E3%82%8B%EF%BC%88fluentd%EF%BC%89/]] -[[AWS ECS on Fargate + FireLens で大きなログが扱いやすくなった話:https://engineering.dena.com/blog/2022/08/firelens/]] -[[CloudWatch LogsからOpenSearchへログ集約を移行した:https://cuebic.hatenablog.com/entry/2022/07/11/154446]] -[[AWS DevDay Japan 2022 に「AWS CDKでECS on FargateのCI/CDを実現する際の理想と現実 」というタイトルで登壇しました #AWSDevDay:https://dev.classmethod.jp/articles/ideal-and-reality-when-implementing-cicd-for-ecs-on-fargate-with-aws-cdk/]] -[[ログ収集・分析(Fluent Bit / AWS OpenSearch):https://developer.mamezou-tech.com/containers/k8s/tutorial/ops/opensearch/]] -[[ログ収集・分析(Fluent Bit / Amazon CloudWatch):https://developer.mamezou-tech.com/containers/k8s/tutorial/ops/cloudwatch/]] -[[Amazon Athena＋AWS GlueでS3上のデータを分析してみた:https://www.ryucom.co.jp/blog/aws/3789]] -[[Amazon Athena+AWS Glue のベストプラクティス を学ぼう #1:https://qiita.com/KC_NN/items/67e69cb732d4ea6b2b4f]] -[[AWS ECSにおけるログ保存コスト削減のススメ・S3圧縮編:https://tech.excite.co.jp/entry/2021/06/28/163303]] **Glue [#i0386af7] -AWS Glue は、完全マネージド型 ETL (Extract/Transform/Load、抽出/変換/ロード) サービスです。 -Glueには、AWS Glue Data Catalogという、メタデータの保存や共有ができるメタデータストアがあります。 **Athena [#a6aba179] -Amazon Athenaは、標準SQLを使用してS3内のデータを分析することができるサービス ***特徴 [#ca03b95b] -サーバレスである --Athenaはサーバレスであるため、サーバインスタンスを立てたり、管理する必要がありません。 --S3にデータを保存し、テーブルを定義するだけでSQLクエリを実行することが可能です。 -クエリごとに料金が発生 --Athenaでは、クエリでスキャンされるデータの量に対して料金が発生します。 --そのため、データの圧縮、分割、列形式への変換を行うことで、コストを削減することができます。 -高速である --クエリが自動的に並列で実行されるため、大規模なデータに対しても数秒で結果を得ることが可能です。 **QuickSight [#i56af9e2] **Redshift [#e1828e1b] *その他 [#c81a86fd] -[[Fluentdからログをアップロード - Site24x7:https://www.site24x7.jp/help/log-collectors/fluentd.html]]
