DNET_ApacheFlume

Apache Flume

• 戻る（分散処理：データ収集・格納系の該当節）
  • Apache Sqoop
  • Fluentd/Embulk
  • Logstash, Beats（Elasticsearchの該当節を参照）
  • Apache Flume
  • Apache NiFi
  • Apache Kafka

概要

Apache NiFiと同じ、

• データ収集(DC)系
• シングル・イベント・プロセッサ(SEP)系

らしい。

詳細

主に、さまざまなWebサーバーからHDFS（Hadoopの該当節を参照）に
ストリーミングデータ（ログデータ）をコピーするように設計されている。

• ログデータの収集、集約、移動
• 分散型、高信頼性

参考

• Apache Flume - Wikipedia
  https://en.wikipedia.org/wiki/Apache_Flume

移行メモ

• 戻るの並びにあった「Logsatsh」は「Logstash」の誤記のため修正した。
• PukiWiki のページ内アンカ（#xxxxxxxx）は GitHub Wiki では再現できないため、 他ページのアンカを指すリンクは「〜（ページ名 の該当節を参照）」の形に置き換えた。

---

Tags: 移行, Apache Flume, データ収集, ログ収集, Hadoop, HDFS, 分散処理