Skip to content

DNET_DataAnalytics

Jump to bottom
nishi_74322014 edited this page Sep 11, 2026 · 1 revision

データ解析

概要

なぜそのデータ（数字）なのか、

  • 物事を細かく解き開き、
  • 理論的に研究することで

原因を探ること。

定義

明確な定義はないが、なんとなく、

ビジネス インテリジェンス（BI）の、

  • データウェアハウス（DWH）
  • オンライン分析処理（OLAP）
  • データマイニング（DM）

の延長上の データ分析がデータ解析と呼ばれている雰囲気がある。
（専門性の高めのデータマイニング（DM）手法は別に分類される事が多そう）

確証 / 探索

確証的データ解析

仮説を立てて、それを検証する。

探索的データ解析

データを見ながら、その意味を読み取ろうとする。

詳細

解析方法

クロス集計分析

判別分析

統計解析の該当節を参照。

ロジスティック回帰分析

統計解析の該当節を参照。

アソシエーション分析

相関関係と共起性を分析、出現確率を観察する手法

  • 一見関連性がなさそうでも、
    共起性（同時に起こる項目）を
    分析し隠れた関連性を発見する。

    • 以下で利用される。

      • 実店舗とECサイトでの行動の違いを発見する。
      • マーケットバスケット分析（バスケット分析）（マーケティングの該当節を参照）
        同時に購入されることが多いものを発見する（おむつとビールの例）

    • 目的と理論

      • 目的：予測、説明
      • 理論：集合理論

  • 感度分析
    共起性の評価指標には、以下のモノがある。

    • 支持度 (A)

      • 全体の中でAが起こる確率 ＝（Aの数）/（全データ数）
      • 比率が低ければ、共起性が高くても全体効果は小さい。

    • 確信度 (A ⇒ B)

      • Aが起こったときにBも起こる確率 ＝（AかつBの数）/（A）
      • 比率が高ければ、共起傾向があるということを示す。
      • ただ、AがBの部分集合の場合の確信度１は無意味。

    • リフト値 (A & B)

      • 単純にBが起こるのに比べ、Aが起こったときにBが起こる確率は何倍か？
        ＝（確信度）/（Bが起こる確率）
        ＝（（AかつBの数）/（A））/（（Bの数）/（全データ数））
      • 有効な共起を表す（０以上の値をとり、１より大きければ有効なルール）
      • AがBの部分集合の場合でも有効（Aがどれぐらいの割合を占める部分集合か？）

  • データ / 計算方法

移行メモ: 元ページでは「データ」「計算方法」の項が「...」のまま
書きかけになっている。また、リフト値の式は括弧の対応が崩れていたため補った。

その他の統計解析の手法

いずれも 統計解析の該当節を参照。

  • 回帰分析

  • 特徴の分類

    • クラスタ分析
    • 主成分分析
    • 因子分析

  • 変数間の関係（クロス集計と同じ絞り込み）

    • 決定木分析

可視化の方法

アドホック分析

ダッシュボード

モニタリング

  • 以下の様にモニタリングする。

    • 対象 : KPIなど。
    • 目的 : データドリブンな意思決定を行う。
    • 出力 : 月次レポートなど
    • 特徴 : 長期的なデータの推移を可視化、集計の条件の変更。

  • ツール
    BIツールの利用が適している。

ツール

各種、可視化ツール

以下の様に分類可能

  • スプレッドシート
    大量のデータを扱えない。
    複雑なダッシュボードを作るのが難しい。

  • アドホック分析・ツール

    • Jupyter Notebook
      • 通常はローカル・ホストで起動するWebアプリケーション
      • PythonやRuby、R言語などのスクリプト言語を実行する。
      • Pandasでアドホック分析し、Matplotlibで可視化する。

  • ダッシュボード・ツール

    • Redash

      • Python製のダッシュボード・ツール
      • 多数のデータソースに対応
      • SQLクエリの実行結果を可視化

    • Superset

      • 対話的ダッシュボードを作るためのPython製のWebアプリケーション
      • 画面上でマウス操作によってグラフを作るのが基本
      • 時系列データに対応した列指向ストレージ（Druid）を標準でサポート
      • リアルタイムなダッシュボードを作る目的でよく利用される。

    • Kibana（Elasticsearchの該当節を参照）

      • バックエンドは Elasticsearch 一択になる。
      • 同様に、リアルタイムなダッシュボードを作る目的でよく利用される。

  • BIツール

BIツール

ビジネス インテリジェンス（BI）の該当節を参照。

対話的な（≒ アドホック分析できる）ダッシュボード

Tags: 移行, データ分析, データ解析, BI, 開発基盤

このWikiは「Open棟梁Project」,「OSSコンソーシアム 開発基盤部会」によって運営されています。

NetDevInfraWiki

マイクロソフト系技術情報 Wiki
Open 棟梁 Wiki

（未着手）

開発基盤部会 Wiki

移行管理: DONE ／ TODO

Clone this wiki locally