DNET_SparkMLlib

Spark MLlib

• 戻る

概要

機械学習を分散処理するためのライブラリ

• 1台のサーバで処理できない量の データセットに対して分散処理で機械学習を実現
• バージョンアップのたびに、カバーされるアルゴリズムが増えている。

詳細

レコメンデーション / 分類 / 予測など
ポピュラーなアルゴリズムがカバーされている

利用可能な処理

二値分類

線形サポートベクタマシン、ロジスティック回帰（データ解析の該当節を参照）

線形回帰

Lasso回帰、Redge回帰

クラスタリング

k-means （Scalable K-means++）

協調フィルタリング

Alternating Least Squares (ALS)

勾配降下法

• 勾配降下法（ニューラルネットワーク（学習）の該当節を参照）

Gradient Descent

参考

未記載（元 Wiki も見出しのみ）。

移行メモ

• 元 Wiki では見出しそのものが他ページのアンカへのリンクになっていた箇所 （「勾配降下法」）は、GitHub Wiki では見出しからアンカが生成されるため、 見出しをプレーン・テキストとし、リンクは直下の本文に置いた。
• 「Redge回帰」は原文ママ（正しくは Ridge 回帰）。
• PukiWiki のページ内アンカ（#xxxxxxxx）は GitHub Wiki では再現できないため、 他ページのアンカを指すリンクは「〜（ページ名 の該当節を参照）」の形に置き換えた。
• 本文の無い見出し（「参考」）は、その旨を明示した。

---

Tags: 移行, Spark MLlib, Apache Spark, 機械学習, 分散処理, 協調フィルタリング, k-means, 勾配降下法