DNET_HuggingFace

Hugging Face

• 戻る（データサイエンス力、LLM系ツール）
  LLM界隈のPFっぽいヤツ
  • Kaggle
  • Ollama
  • Hugging Face
    • huggingface/transformers Trainer
    • huggingface/trl SFTTrainer

概要

• Hugging Face社は、自然言語処理（NLP）を中心とした機械学習のOSS-PFを提供する米国のAI企業。

• Hugging Face Hubは、GitHub、Docker Hub、Kaggle に似ている。

  • 多くのAI開発者が利用するOSSのLLMモデル・ライブラリのホスティングPF
  • 様々なファインチューニングされたモデルがアップロードされている。
  • Libraryは「Transformer」が有名、Datasetsでデータセットを非常に簡単に使える。

• Kaggleと似た界隈のPFっぽいヤツだが、以下のような違いがある。

  • Kaggle：「実践で腕試しし、学ぶ」
  • Hugging Face：「モデルを使い、広める」

• Ollamaと同様にLLM界隈のPFっぽいヤツだが、機能的には補完関係にある。

  • Hugging Face：OSSのLLMを学習させ、その結果をホスティングするPF&ツール
  • Ollama：OSSのLLMをローカル実行させるためのPF&ツール

詳細

Hugging Face（以下、HFと略す）

モデル

https://huggingface.co/models

• 世界中の研究者・開発者が作成した モデルの共有・検索プラットフォーム
• LLM（Llama、Phi、Gemma、Qwen）など特にファインチューニングされたもの。
• その他、CV（画像）、音声など幅広い分野に対応
• [Use this model] → [Google Colaboratory]で簡単に試用可能。
• 他にも、[Deploy]から、エンドポイント、プロバイダを選択できる。

データセット

https://huggingface.co/datasets

• 機械学習向けの大規模な公開データセット を簡単にダウンロード・前処理できるツール

スペース

https://huggingface.co/spaces

• Notebookではなく、Gradio や Streamlit をベースにした AIアプリのホスティング環境
• GUIでモデルのデモが作成可能、コードをアップロードしてすぐ共有できる
• 無料枠や共有リソースを使用している場合、混雑で使用できないことがある。

エンドポイント

https://endpoints.huggingface.co

• HFのモデルを Web APIとしてデプロイし、外部から呼び出せるようにする仕組み。
• 無料ではなく有料（定額＋利用量ベース）で、別サイトになっており、HFと認証連携してログイン。
• HFのモデルの[Deploy]から、HF Inference Endpointを選択する。

プロバイダ

https://huggingface.co/inference/get-started

• HFのモデルをバックエンド（プロバイダ）で推論させるか選択できる柔軟な仕組み。
• 選択肢の「委任先インフラ」には、前述のエンドポイントも含まれ、HF社がルーティングする。
• HFのモデルの[Deploy]から、HF Inference Providersを選択する。

ライブラリ

https://huggingface.co/docs

モデル（ライブラリ）

• 言語系

  • Transformer（huggingface/transformers Trainer）
  • Tokenizers

• 画像系

  • Diffusers

推論

• Pipeline

学習

• Transformer（huggingface/transformers Trainer）

• Accelerate

• TRL

  • SFTTrainer（huggingface/trl SFTTrainer）

• PEFT

パラメタ系

• Safetensors
• Bitsandbytes

データ

• Datasets

APIキー

https://huggingface.co/settings/tokens

参考

• https://huggingface.co/
• https://ja.wikipedia.org/wiki/Hugging_Face
• LLM系ツール > Hugging Face（LLM系ツールの該当節を参照）

移行メモ

• 元 Wiki の [[Google Colaboratory]] はリンク先のページが元 Wiki 側に 存在しない（リンク切れ）ため、プレーン・テキストとした。
• 同名の見出し（「モデル」）が複数あり GitHub Wiki でアンカが衝突するため、 括弧で文脈を補って一意にした。
• PukiWiki のページ内アンカ（#xxxxxxxx）は GitHub Wiki では再現できないため、 同一ページ内のアンカは見出しから生成されるアンカに張り替え、 他ページのアンカを指すリンクは「〜（ページ名 の該当節を参照）」の形に置き換えた。

---

Tags: 移行, Hugging Face, LLM, モデル, データセット, Transformers, 推論エンドポイント, Kaggle, Ollama