DNET_RCFile

RCFile

• 戻る
  • Hadoop
  • 列（カラム）指向型

概要

• Record Columnar File の略
• Apache Hiveから利用できる
• 列指向のストレージフォーマット
• 分散ストレージ上でパフォーマンスがでるように設計されている．

詳細

• 複数の Record をまとめて固定長の row group として扱い，かつそれを列毎に並び替える．
• ブロックが複数計算機に分割配置されることを抑え
  • 圧縮を効きやすくする．
  • オブジェクトのデシリアライズ・解凍を lazy に行うことができる．

ORCFile

RCFile の苦手な操作を克服するためにメタデータを追加したファイルフォーマット

参考

• RCFile - Wikipedia
  https://en.wikipedia.org/wiki/RCFile

• /var/log/oza.log: RCFile，Parquet，ORCFile
  http://ozalog.blogspot.com/2013/03/rcfileparquetorcfile.html

補足：現在の Hadoop / Spark エコシステムでは、 列指向フォーマットとして ORC・Parquet が主流であり、 RCFile は歴史的な位置付けとなっている。

---

Tags: 移行, RCFile, ORCFile, 列指向, ストレージフォーマット, Hive, Hadoop, Parquet