DNET_HFTransformersTrainer

huggingface/transformers Trainer

• 戻る（の該当節） > チューニング、拡張系（テキスト生成系（Transformer系）の該当節を参照）
  • LLMのPE
  • LLMのRAG
  • LLMのFT
    • huggingface/transformers Trainer（本ページ）
    • huggingface/trl SFTTrainer
  • LLMエージェント

概要

huggingface/transformers Trainer

huggingface/transformers

• Hugging Faceが提供するNLP向けのライブラリ。
• BERTやGPTなどの事前学習済みモデルの読み込み、推論、ファインチューニングができる。

Trainer

transformersに含まれるトレーナー・クラス

未記載（元 Wiki も見出しのみ）。

Trainerでできること

未記載（元 Wiki も見出しのみ）。

参考

Qiita m__k #自然言語処理

• huggingfaceのTrainerクラスを使えばFineTuningの学習コードがスッキリ書けてめちゃくちゃ便利です
  https://qiita.com/m__k/items/2c4e476d7ac81a3a44af

Hugging Face

The AI community building the future.

• Transformers
  https://huggingface.co/docs/transformers/index
• Trainer
  https://huggingface.co/docs/transformers/main_classes/trainer

移行メモ

• 「戻る」の並びにある「huggingface/transformers Trainer」は自ページのため、 その旨を補った。
• PukiWiki のページ内アンカ（#xxxxxxxx）は GitHub Wiki では再現できないため、 他ページのアンカを指すリンクは「〜（ページ名 の該当節を参照）」の形に置き換えた。
• 本文の無い見出しは、その旨を明示した。
• リンク先が未移行のページは、移行先のファイル名を `DNET_○○.md` の形で示し TODO.md に登録した。

---

Tags: 移行, Hugging Face, transformers, Trainer, ファインチューニング, NLP, BERT, GPT