DNET_NoSQL

NoSQL

• 戻る（ビッグデータ）

概要

NoSQLに関する情報をまとめる。

背景

登場の背景はRDBでは解決困難な3Vの増加の問題
（ビッグデータの該当節を参照）がでてきたから。

Volume & Velocity

RDBで、大量データの高速処理を行う場合の課題として、

• スケールアウトが困難（大量データの処理方式3の該当節を参照）
• スケールアップしか無い

という点があげられる。

Variety

• 非定型なメタデータの管理が困難
• RDBに格納困難な非構造化データが
  増加しているらしい（主にはJSON）。

適合するケース

非構造化データ

• 非構造化データの例

  • 商品情報
  • 物件情報
  • デバイスの生成するデータ
  • 最近、非構造化データが急増している。

• 非構造化データの増加に伴う影響

  • スキーマ変更の影響が大きい（多分、主に列を足す作業）
    • 時間がかかる
    • オフライン

大量データの高速処理

• 原因

  • モバイル端末からのアクセス数の増加。

• 対応
  RDBでは、

  • スケールアップが限界を迎える（若しくは高価過ぎる）。
  • しかし、スケールアウトにも課題がある。
  • そこで、スケールアウト可能なNoSQLが採用される。
  • 減らせるRDBの運用コスト > NoSQLクラスタの運用コスト

詳細

プロダクトのタイプ

データ・パイプラインの構成を理解するのに重要になりそう。

分散処理

バッチ型とストリーム型がある。

KVS型

• KVS型
  Hibari、Dynamo、Voldemort、Riak
• KVSイネーブラ型
  Memcached、Redis、Scalaris、Tokyo Cabinet/Tyrant

列（カラム）指向型

• ビッグデータ型

  • インメモリDB

    • SAP HANA
    • 各RDBMSのオプション

  • 分散クエリ

    • Dremel
      ・Apache Drill
      ・BigQuery

    • Amazon Redshift

• NoSQL型

  • Apache HBase
  • Apache Kudu
  • Apache Cassandra

ドキュメント指向型

グラフ型

時系列型

HTAP (Hybrid Transaction/Analytical Processing)

参考

• NoSQL - Wikipedia
  https://ja.wikipedia.org/wiki/NoSQL

• データベース部会 設立セミナー
  NoSQLの必要性と主要プロダクト比較
  http://openstandia.jp/event/pdf/20150828oss_con_report.pdf?osscon0828

＠IT

• 知らないなんて言えないNoSQLまとめ
  https://www.atmarkit.co.jp/ait/series/928/
  • （1）：KVS系NoSQLのまとめ（Hibari、Dynamo、Voldemort、Riak編）
  • （2）：イネーブラ型NoSQLのまとめ（Memcached、Redis、Scalaris、Tokyo Cabinet/Tyrant編）
  • （3）：カラム指向型データベース（HBase、Hypertable、Cassandra）編
  • （4）：グラフ型NoSQLデータベース（Neo4j、InfiniteGraph）編
  • （5）：ドキュメント指向のNoSQLデータベース（CouchDB、MongoDB）編

Think IT

• ドキュメント指向データベースと列指向データベース
  https://thinkit.co.jp/story/2010/10/15/1798

Qiita

• OSSデータベース調査 NoSQLデータベース編
  https://qiita.com/kanegoon/items/5ade64336d389feea4bc

• 各種DBシステムの概要　RDBMSとNoSQL
  https://qiita.com/yk-nakamura/items/5022f51ffc39e4a8c412

• 最近よく聞くQuorumは過半数(多数決)
  よりも一般的でパワフルな概念だった
  https://qiita.com/everpeace/items/632831371da5ff215995

昨今のトレンド

NoSQLはOSSよりサービスのほうが流行っている感ある。

• ニュース解説 - AWSとAzure、戦いの舞台はNoSQLへ：ITpro
  http://itpro.nikkeibp.co.jp/atcl/column/14/346926/062801035/
• 株式会社INTHEFOREST、パブリッククラウド（Microsoft Azure向け）
  Cassandraフルマネージドサービス開始｜株式会社INTHEFORESTのプレスリリース
  https://prtimes.jp/main/html/rd/p/000000002.000003858.html

なお、API互換性は探したが発見できず（有識者曰く互換性は無さそう）。

---

Tags: 移行, NoSQL, ビッグデータ, データベース, 開発基盤