DNET_ApacheTez

Apache Tez

• 戻る（分散処理 > Hadoop）

概要

• Hadoopのデータ処理アプリケーションのためのフレームワーク
• YARNベースで、MapReduceの代替となることを意識している。

詳細

• パラダイムを改善（バッチやインタラクティブなデータ処理）

  • ジョブを非循環有向グラフ（DAG）でジョブを直感的に記述することが可能）⁠。
  • 複数のMapReduceジョブを１つのTezのジョブとして表現できる。

• Hadoop MapReduceの制約を取り払う

  • データの転送に関する設定や、永続化に関する設定を記述できる。
  • 分散ファイルシステムへの入出力回数は削減されパイプライン並列性を活用できる。

• MapReduceランタイムの開発も進められている。

  • CPUキャッシュを高効率に活用する外部ソート
  • Reducer数の動的再構成
  • 起動時のオーバーヘッドの削減

• サードパーティのSQL処理系やDSLから用いられることが増えている

  • Apache Hive
  • Apache Pig

参考

• Apache Tez | Cloudera
  https://jp.cloudera.com/products/open-source/apache-hadoop/apache-tez.html

gihyo.jp … 技術評論社

Hadoopはどのように動くのか
─並列・分散システム技術から読み解くHadoop処理系の設計と実装

• 第16回　並列データ処理系 Apache Tez
  https://gihyo.jp/admin/serial/01/how_hadoop_works/0016

移行メモ

• 「ジョブを非循環有向グラフ（DAG）でジョブを直感的に記述することが可能）⁠。」の 閉じ括弧のみが残っている点、および行末の不可視文字（U+2060）は原文ママ。

---

Tags: 移行, Apache Tez, Hadoop, YARN, MapReduce, DAG, Hive, Pig