DNET_HadoopStreaming

Hadoop Streaming

• 戻る
  • Apache Hadoop
  • ストリーム処理
    • Hadoop Streaming（本ページ）
    • Spark Streaming
    • Apache Storm

概要

• Hadoopが開発された当初から存在する機能
• ビッグデータのストリーム処理のプロダクト
• Hadoopのストリーム処理コンポーネント

詳細

• Unixの標準入出力を受け付けることができる。
• つまり、 好きな言語で Map/Reduceを書ける。

参考

• Hadoop Streamingを使って お好きな言語でMap☆Reduce!
  https://www.slideshare.net/masayataji/hadoop-streaming-mapreduce

• EMRでHadoop Streamingジョブを実行する | Developers.IO
  https://dev.classmethod.jp/articles/hadoop-streaming-on-emr/

• HadoopStreaming で MapReduce を Python で動かす - しろかい！
  https://shirokai.hatenablog.com/entry/hadoop-streaming

補足：Hadoop Streaming は「標準入出力を介して任意の言語で MapReduce を書く仕組み」であり、いわゆるストリーム（連続データ）処理系 ではない点に注意（本文の「ストリーム処理のプロダクト」は 元 Wiki の分類上の位置付け）。

移行メモ

• 「戻る」の並びにある「Hadoop Streaming」は自ページのため、その旨を補った。

---

Tags: 移行, Hadoop, Hadoop Streaming, MapReduce, ビッグデータ, 標準入出力