こんにちは。バクラク事業部Platform Engineering部DevOpsチームの@civitaspoです。
7月はLayerXエンジニアブログを活発にしよう月間 ということで、この記事ではAWS FireLensに関する情報をクイズ形式でお届けします。
みなさんはAWS FireLensを使っていますか？弊社ではAmazon ECS上にアプリケーションをホスティングしており、AWS FireLensを利用してログ収集・ログ送信を行っています。AWS FireLensは非常に便利です。一方、AWS FireLensは奥が深い挙動をすることもあります。この記事ではそんなAWS FireLensを深く理解するための情報をクイズ形式でお届けしてみることにしました。僕が知る限りの情報を詰め込んでみたのでAWS FireLensを深く理解したい方に届けばいいなと思います。
AWS FireLensとは
クイズに入る前にAWS FireLensについておさらいしておきます。AWS FireLensは2019年に発表されたAmazon ECSのカスタムログルーティングツールです。設定を行うとAmazon ECS上にデプロイしたコンテナの標準出力、標準エラー出力を任意の場所に送信することができます。AWS FireLensはAmazon ECSのTaskにサイドカーコンテナとしてデプロイされ、コンテナ内部で実処理を行うのはFluent BitまたはFluentdです。語弊を恐れずに言えばAWS FireLensはFluent BitやFluentdをAmazon ECSに最適化した形でホスティングする軽量ラッパーと言えるでしょう。
つまり、AWS FireLensを真に理解するには実処理を行っているFluent BitやFluentdも深く理解する必要があります。本記事ではAWS FireLensの内部で処理を行うのはFluent Bit、という想定でクイズを作成しています。全部で12問あります。
それではクイズを見ていきましょう。
クイズパート：AWS FireLens編
Q1. Amazon ECS上でlogDriver=awsfirelensを指定したとき、どのような経路でAWS FireLensコンテナにログが送られるでしょうか？
Q2. AWS FireLensを使用するECS TaskをnetworkMode=bridgeで起動する場合に気をつけなければならないことはなんでしょうか？
Q3. AWS FireLensで使用されるFluent BitとOSSのFluent Bitの主な違いは何でしょうか？
Fluent Bitの実装に違いはありません。ベースイメージや起動時の挙動に変更があります。以下の3点が主な変更点です。
- ベースイメージがAmazon Linux 2で構成されています。
github.com
- Fluent Bitを起動する前に以下のようなプロセスを起動します。設定ファイルをS3からダウンロードしたり、ECSのメタデータを環境変数として格納したりしています。
github.com
- 以下のAWS謹製のGo言語製のプラグインが同梱されています。ただし、これらのプラグインは既に非推奨で、Fluent Bitにビルドインされているプラグインの利用が推奨されています。
github.com
github.com
github.com
なお、今後もコアな実装を改修したりしないと明言しているので、トラブルシューティング時はFluent Bit本家のドキュメントや実装を参照すると良いでしょう。
No. We continue to consume Fluent Bit from its main repository. We are not forking Fluent Bit.
github.com
Q4. AWS FireLensとして起動したFluent Bitの設定ファイル/fluent-bit/etc/fluent-bit.confには、起動直後、何が起こりますか？
ECS Task Definitionの定義を元に書き換えられます。
たとえば、AWS FireLensのオプションに何も指定しなかった場合は以下の内容で上書きされます。
[INPUT]
Name tcp
Listen 127.0.0.1
Port 8877
Tag firelens-healthcheck
[INPUT]
Name forward
unix_path /var/run/fluent.sock
[INPUT]
Name forward
Listen 127.0.0.1
Port 24224
[FILTER]
Name record_modifier
Match *
Record ecs_cluster sample-test-cluster
Record ecs_task_arn arn:aws:ecs:ap-northeast-1:123456789012:task/sample-test-cluster/d4efc1a0fdf7441e821a3683836ad69a
Record ecs_task_definition sample-test-webapp-taskdefinition:15
[OUTPUT]
Name null
Match firelens-healthcheck
また、オプションでイメージ内の別の設定ファイルを指定した場合は、以下のように
@INCLUDE定義が挿入されます。（
/path/to/fluent-bit.confを指定したと仮定します。）
[INPUT]
Name tcp
Listen 127.0.0.1
Port 8877
Tag firelens-healthcheck
[INPUT]
Name forward
unix_path /var/run/fluent.sock
[INPUT]
Name forward
Listen 127.0.0.1
Port 24224
[FILTER]
Name record_modifier
Match *
Record ecs_cluster sample-test-cluster
Record ecs_task_arn arn:aws:ecs:ap-northeast-1:123456789012:task/sample-test-cluster/d4efc1a0fdf7441e821a3683836ad69a
Record ecs_task_definition sample-test-webapp-taskdefinition:15
@INCLUDE /path/to/fluent-bit.conf
[OUTPUT]
Name null
Match firelens-healthcheck
当然ですが、この内容は
Docker Imageに格納されている
/fluent-bit/etc/fluent-bit.confとは異なります。ECS Taskの起動時にAmazon ECS側で"何か"処理が入り、
/fluent-bit/etc/fluent-bit.confを上書きします。そのため、ローカルでAWS FireLensを動作させた場合と異なる挙動をすることに注意する必要があります。
docs.aws.amazon.com
Q5. AWS FirelensでFluent Bit用の独自設定ファイルを使用する方法は事前にDocker Image内に格納しておく以外にどういう方法がありますか？
S3上に設定ファイルをアップロードしておき、起動時にダウンロードして使用する方法があります。
AWS FireLens用のFluent Bitでは起動時にS3上から設定ファイルをダウンロードして使用することができます。ECS Task DefinitionのFireLensコンテナに設定する
firelensConfiguration.options.custom-file-typeに
s3を、
firelensConfiguration.options.custom-file-valueにS3にアップロードした設定ファイルのオブジェクトARNを指定することで、AWS FireLensは起動時に設定ファイルをダウンロードする挙動になります。
docs.aws.amazon.com
Q6. ログが長すぎて複数行に分割されてしまう閾値は何KBでしょうか？
16KBです。以下のPull Requestで長いログの分割処理が導入されました。AWS FireLensの仕様ではなくshim-loggerの仕様なのでFluent Bit内で再結合する処理を加えて上げる必要があります。
github.com
Q7. 複数行に分割された長いログをFluent Bit内で再結合するにはどうすればよいでしょうか？
Multiline Filter Pluginを使いましょう。
docs.fluentbit.io
16KBを超える長いログが分割される場合、それぞれのログに対してPartial Metadataというメタ情報が付与されます。
github.com
Multiline Filter Pluginでは
modeというオプションがあり、このオプションに
partial_messageを指定することで、各ログのPartial Metadataの情報を元にログの再結合を行ってくれます。
Q8. AWS FireLensでログの欠損を防ぐために追加で入れておくべき設定はなんでしょうか？
クイズパート：Fluent Bit編
Q9. Fluent Bitが書かれている言語は何でしょうか？
Q10. Fluent Bitを、Fluent Bitが書かれている言語以外で拡張することはできますか？できる場合、どんな言語で拡張できますか？
InputPulginおよびFilter PluginはWASMによる拡張をサポートしています。公式にはC言語、Rust言語、Go言語による拡張をサポートしています。
docs.fluentbit.io
docs.fluentbit.io
Output PluginはGolangで拡張できます。Golangで実装し、ダイナミックリンクライブラリとしてFluent Bitにロードさせることで利用できます。そのため、Rust等で実装しダイナミックリンクライブラリをビルドすることで拡張することも理論上は可能です。
docs.fluentbit.io
またLua Filter Pluginを利用することでPluginが認める範囲でLuaによる拡張が可能です。
docs.fluentbit.io
Q11. Fluent Bitで特定のタグが付いたログを複数の送信先に送りたい。どうすればよいでしょうか？
Q12. Fluent Bitで特定のタグが付いたログを複数の送信先に送りたい。そして、特定の送信先にログを送るときはFilter Pluginで整形したい。どうすればよいでしょうか？
処理の分岐数分、Rewrite Tag Filter Pluginで新たなタグをつけたログとしてログを複製し、それぞれタグにだけマッチするルールを書くのが良いです。
Rewrite Tag Filter Pluginは対象ログのタグを書き換えるプラグインですが、内部では「対象ログをコピーし、タグを書き換えて、再度Fluent Bitにログを投入し直す」挙動をします。その際、元のログを残すかどうか選択できるので、元のログを残しておけば処理の分岐を表現することができます。
docs.fluentbit.io
おわりに
お疲れ様でした。本記事ではAWS FireLens（Fluent Bit利用版）に関してクイズ形式で細かな挙動を紹介しました。
全部知ってた！という方はどれくらいいらっしゃったでしょうか。おそらく他にも奥が深い挙動があると思うので「もっとマニアックなことを知ってるぞ」という方は、ぜひ@civitaspoまでご連絡ください。
最後に、LayerXでDevOpsを一緒にやるメンバーを大大大募集しています！いつでもカジュアル面談をお待ちしているので以下のページからご登録をよろしくお願いします！
jobs.layerx.co.jp
