DNET_ApacheHive

Apache Hive

• 戻る
  • データウェアハウス（ビジネス インテリジェンス（BI）の該当節を参照）
  • NoSQL, 分散処理
    • Hadoop > Apache HBase, Apache Tez

概要

• Hadoopの上に構築されたデータウェアハウス（ビジネス インテリジェンス（BI）の該当節を参照）の構築環境

• 事前定義されたスキーマを提供する必要がある。

• Hadoop用高級言語

  • 言語はHive Query Language（HiveQL）と呼ばれている。
  • Apache Pigと同様にSQLライクな記法でMapReduce（Hadoopの該当節を参照）を書けるDSL

• バッチ処理としての高スループットを目指す用途ではHiveを用い、
  分析などのアドホッククエリに対して高速に応答を返す用途では Impalaを用いる。

詳細

実行プランにおいては、

• map()関数を実行するオペレータと
• reduce()関数を実行するオペレータを

Left-Deep Tree型で接続する。

機能

バッチ分析ワークロード

データウェアハウス（ビジネス インテリジェンス（BI）の該当節を参照）スタイルのバッチ分析ワークロードを処理する機能。

• クエリの高速化のため、ビットマップインデックスを含めたインデクス機能

• 日付型・文字列型を扱ったり他のデータ操作を可能とする組み込みユーザ定義関数

• MapReduce（Hadoopの該当節を参照）をサポートしたSQLライクなHiveQLでデータの集約・問合・分析を行う。
  コンパイラがHiveQL文をMapReduceジョブの有向非巡回グラフに変換し、それがHadoopに渡され実行される。

SQLに基づいている。

JDBCに準拠するものの、

• 厳密にはSQL-92をフルサポートしてはいない。
• 副問い合わせ、インデクスのサポートも限定的。
• 更新処理、トランザクション、マテリアライズドビューはサポートしない。

ストレージタイプ

• プレーンテキスト
• RCFile
• Apache HBase
• メタデータをRDBMSに格納する機能
• Hadoop環境に格納された圧縮データを扱う機能

コンポーネント

主要コンポーネントで構成されている。

• クエリプランナ
• クエリ実行エンジン
• メタデータリポジトリ
• カラム型ストレージレイアウト

参考

• Apache Hive - Wikipedia
  https://ja.wikipedia.org/wiki/Apache_Hive

移行メモ

• 「コンポーネント」の導入が「以下の5つの主要コンポーネント」となっていたが、 列挙されているのは 4 項目のみだったため、件数を書かない表現に改めた。 また 4 項目はいずれも本文の無い見出しだったため箇条書きにまとめた。

---

Tags: 移行, Apache Hive, HiveQL, データウェアハウス, Hadoop, MapReduce, NoSQL