DNET_ApachePig

Apache Pig

• 戻る

  • データウェアハウス

  • NoSQL, 分散処理

    • Hadoop
      '> Apache Tez
      '> Apache HBase > Apache Hive

    • Apache Spark

概要

• 2006年頃にYahoo Researchで開発され、2007年にApache Software Foundationに移行。

• PigはHadoopジョブをMapReduce、Apache Tez、Apache Sparkで実行できる。

• Hadoop用高級言語

  • 言語はPig Latinと呼ばれている。
  • Apache Hiveと同様にSQLライクな記法でMapReduceを書けるDSL
  • 手続き型であり、パイプラインのパラダイムに非常に自然にフィットする。
  • Java、Python、JavaScript、Ruby、Groovyなどで拡張して直接呼出せる。
  • パイプラインの任意の時点でユーザーコードを含めることができる。

詳細

...。

参考

• Apache Pig - Wikipedia
  https://en.wikipedia.org/wiki/Apache_Pig

• Apache Pig で大規模データセットを分散処理する - Qiita
  https://qiita.com/ynakayama/items/8f334b3314561c5d48af

補足：Apache Pig は 2025 年に Apache Attic 入り（開発終了）となっている。

移行メモ

• PukiWiki の打ち消し線（%%…%%）は、~~…~~ だと行末の ~ が PukiWiki の改行記法と紛らわしいため <del>…</del> に置き換えた。
• 「戻る」の階層表現にある '>（PukiWiki の整形無効化）は原文ママとした。

---

Tags: 移行, Apache Pig, Pig Latin, Hadoop, MapReduce, Tez, Spark, DSL, Apache Attic