DNET_FluentdEmbulk

Fluentd/Embulk

• 戻る（の該当節）
  • Apache Sqoop
  • Fluentd/Embulk（本ページ）
  • Logsatsh, Beats（Elasticsearchの該当節を参照）
  • Apache Flume
  • Apache NiFi
  • Apache Kafka

概要

トレジャーデータが開発するオープンソースのデータ収集ツール

詳細

Fluentd

• Webサーバのアクセスログやセンサー・データなどのリアルタイムに生成されるデータに対応

• 特徴

  • スキーマレス
  • データ入出力加工がプラグインで実装可能
  • バッファリング機構による信頼性の高いログ転送

Embulk

• Fluentdのバッチ版のようなツール
• RDBや外部サービスから定期的に数GB生成されるようなデータに対応
• 入力、出力、データ加工などのプラグインを書くことができる。

参考

• Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita
  https://qiita.com/hiroysato/items/397f36c4838a0a93e352

• ビッグデータの収集基盤「Fluentd」と「Embulk」の
  サポートサービス、NTTデータが提供 | IT Leaders
  https://it.impress.co.jp/articles/-/13656

• これなら使える！ビッグデータ分析基盤のエコシステム｜gihyo.jp … 技術評論社

  • 第1回　ビッグデータ分析を始めよう
    https://gihyo.jp/dev/serial/01/bigdata-analysis/0001
  • 第2回　ストリーミング処理とバッチ処理によるデータ収集 ~ Fluentd編 ~
    https://gihyo.jp/dev/serial/01/bigdata-analysis/0002
  • 第3回　ストリーミング処理とバッチ処理によるデータ収集 ~ Embulk編 ~
    https://gihyo.jp/dev/serial/01/bigdata-analysis/0003

補足：Fluentd は CNCF の Graduated プロジェクトであり、 軽量な転送用エージェントとして Fluent Bit も広く使われている。

移行メモ

• 「戻る」の並びにある「Fluentd/Embulk」は自ページのため、その旨を補った。
• 「Logsatsh」は原文ママ（正しくは Logstash）。
• PukiWiki のページ内アンカ（#xxxxxxxx）は GitHub Wiki では再現できないため、 同一ページ内のアンカは見出しから生成されるアンカに張り替え、 他ページのアンカを指すリンクは「〜（ページ名 の該当節を参照）」の形に置き換えた。

---

Tags: 移行, Fluentd, Embulk, トレジャーデータ, データ収集, ログ転送, ビッグデータ, Fluent Bit