Skip to content

DNET_ChatGPT

Jump to bottom
nishi_74322014 edited this page Sep 11, 2026 · 1 revision

ChatGPT

概要

ChatGPT（チャットジーピーティー、Chat Generative Pre-trained Transformer）

  • OpenAI（G検定：試験対策の該当節を参照）が
    2022年11月に公開した人工知能チャットボット

  • 複数の言語を認識し、人間らしく応答する。

  • 第3世代の生成言語モデルであるGPT-3に由来

  • モデルは、AzureのHPCIを使用しMicrosoftと共同でトレーニングされた。

アーキテクチャ

GPT-3, 4

（Generative Pre-training Transformer 3, 4）
（GPT は 言語処理（AI）の該当節を参照）

  • OpenAI のGPT-3.5, 4モデルを採用、

  • Transformerという深層学習モデルを基にしている
    大規模な自然言語生成モデル

Transformer

言語処理（AI）の該当節を参照。

  • 機械翻訳は、BERTなどの「Transformer」
    （言語処理（AI）の該当節を参照）と呼ばれる
    「生成モデル」（機械学習の理論の該当節を参照）で
    実装されたニューラル機械翻訳（NMT）
    （機械翻訳の該当節を参照）で大きく進化した。

  • コレらは、次に現れる単語の確率分布を（文脈的なものを考慮した上で）学習し、
    ソレを推論で使用して文章を生成する。

  • 画像生成系AIもTransformerでテキスト
    （プロンプト、LLMへの様々な質問例の該当節を参照）を
    入力に画像を生成しており、コレらはジェネレーティブAIと呼ばれる。

学習の仕組み

  • Transformerは

    • 以下のような学習方法で、

      • 事前学習（深層学習のテクニックの該当節を参照）
        ラベルなしデータで教師なし学習して言語自体を理解
      • ファイン・チューニング（深層学習のテクニックの該当節を参照）
        ラベルありデータで教師あり学習してタスクを理解

    • 以下を実現した。

      • データやモデルを大きくして精度を向上。
      • 多様なタスク（翻訳やチャット）を１つのモデルで処理。

  • GPTでは、教師あり学習と強化学習を行い、
    その両方の手法で転移学習を併用している。

    • 教師あり学習
      トレーナーがユーザーとAIアシスタントの両方を演じる会話を提供。
    • 強化学習
      人間のトレーナーが、モデルが以前の会話で作成した応答をランク付け。

移行メモ（正誤）: 元ページの「多用なタスク」は「多様なタスク」の
誤変換と判断し修正した。

自然言語を理解する能力

GPTは自然言語を理解する能力を持っていると言う。

  • 自然でリズムのある文章を生成できる。
  • また、自然言語を入力として受け取り、
  • それをもとに様々なタスクを実行することもできる。

反響

知名度、評価など

  • 公開から6日目にして利用者が「100万ユーザを突破した」とアルトマンCEOが公表。

  • OpenAI の評価額は290億米ドルとなり、
    2021年時の140億ドルと比べて2倍以上増加。

  • ChatGPTがアクティブユーザー数1億人に到達するのにかかった時間は、
    TikTokとInstagramがそれぞれ9カ月と2年半であるのに対して、2か月と史上最速である。

肯定的な意見

  • 知識労働者、クリエイターの供給に比類する可能性。

  • 生徒が課題に使い出力結果が優秀な生徒による回答と同レベル。

  • Googleは検索エンジン事業にもたらす脅威を受け「緊急事態」を発動。

否定的な意見

  • 知識労働者、クリエイターの需要に影響する可能性。

  • 卒業生用テストで合格水準に達した。

    • ミネソタ大学でC+
    • ウォートン・スクールの同様のテストでBからB-

  • 学習データ

    • 文章生成に報道機関の記事を無報酬で使用
    • インターネット上のコンテンツの信頼性

  • 誤回答

    • 2+2=4を回答して、指摘しても正しいと言い張る。
    • 中央アメリカでメキシコの次に大きな国にグアテマラと回答
      （正しい答えはニカラグア）
    • 曲の歌詞を生成するよう求めた時、
      実際の歌詞ではなく新しく自身で生成した歌詞を回答。
    • 物語のあらすじを生成するよう求めた時、
      実際のあらすじではなく新しく自身で生成したあらすじを回答。
    • Stack Overflowは、誤答が少なくないことを理由として
      ChatGPTを使って回答することを禁止。

  • 倫理

    • コンテンツモデレーションをプロンプト・エンジニアリングで
      回避できた。
    • ユーザーがナチス・ドイツに関する質問を入力した際に生成する回答を賛美した。

  • 教育

    • 複数の論文が既にChatGPTを共同著者として挙げていることが知られている。
    • 教師は生徒が課題をChatGPT任せにしていることを問題視するべきだと指摘

  • リスク

    • 不正行為や雇用の喪失、差別、偽情報をもたらす可能性がある。
    • フィッシング詐欺などを目的とするメールを書くことができ
      「サイバーセキュリティにおける大きなリスク」などをもたらす可能性がある

  • シンギュラリティ的

    • 制御不能な軍事的応用による「大量破壊」を引き起こす可能性がある。

詳細

人間との相違点

人間

  • 口語的、主観的
  • 発散的で他の話題に移行しやすい
  • 強い感情を表現

ChatGPT（相違点）

  • フォーマル、客観的
  • 質問に厳密に集中している
  • 感情をあまり表現しない

移行メモ（正誤）: 元ページの見出し「ChatGP」は「ChatGPT」の
脱字と判断し補った。

複数の欠点

ただし、機能は豊富なものの、複数の欠点もある。

確率的オウム

本質的に確率的オウム（統計ルールからのみ知識を得ている）という指摘。

知識の範囲

  • 書籍、Wikipedia、WebSite、電子掲示板、Blogなどのネット上のテキスト
  • ソースの開示を行なっておらず、ステレオタイプを反映する可能性がある。
  • データ範囲外のニッチで専門的なテーマやトピックは精度が低く有効性が下がる。
  • また、2021年以降に発生した出来事については知識が全く無いこともある。

強化学習の弊害

もっともらしく見える誤回答（正誤不明な回答）を作成する。

  • 報酬モデルは人間による監視を中心としているため。
  • これに最適化されすぎて精度（パフォーマンス）に影響を及ぼす。

過大評価されている話

Transformerに強化学習を組み合わせると
もっと凄いと言う発見だけが今回のポイント

  • ChatGPTは、一見するともっともらしい答えを返せるように上手く調整されている。
  • OpenAI は誇大広告とも言える主張を繰り返してきた前科がある。
    • GPT-2：「人間を超えたAIを開発してしまったのであまりにも危険」
    • GPT-3：その誇大広告気味な宣伝によって期待値は膨らんだが、
      実際に触ってみると「やっぱりな」という諦観すべき場面も少なくない。
    • GPT-3.5：ChatGPTはOpenAIとしてはほとんど初めて「すごい」という
      主張を裏付けるデモと同時公開されている点は、確かにこれまでとは異なる。

Transformerは凄い。

  • 例外はGPTやDALL-E、StableDiffusionのようなTransformerと呼ばれる
    「生成モデル」（機械学習の理論の該当節を参照）。
  • これはTransformerという学習モデルを使った深層学習単体の成果になる。

強化学習の取り入れ

  • 従来のGPT-2、GPT-3との明らかな違いは、
    ChatGPTはおそらく「初めて強化学習を取り入れた」点にある。
  • 識者によれば「すごい人工知能ができた！」と騒がれるケースは
    深層強化学習の成果である事が多かったとの事。

雰囲気が重視されている。

  • 人間の「教師」は回答の正当性などに関係なく、
    長い回答を好んでいたので長い回答が多い（専門性を感じるため）。

  • 簡単なことはスラスラ回答するが、難しい事を「知りません」と白状するのは

    • 「それっぽい会話」を試行錯誤で作り出そうとして失敗した結果。
    • 「過度の知ったかぶりはしない」という調教が行われている（推定）。
    • 「適当に嘘をついて下さい」といった指示を与えると俄然、活き活きしてくる。

  • 強化学習を重ねた弊害
    「とりあえずそれっぽいことを表面的に語るだけの実は無能なヤバい奴」とも。

    • 内部的には確率的オウム（統計ルールからのみ知識を得ている）に過ぎないが、
    • 強化学習によって詐欺師的な側面が強調された（笑）
      • 文法的に間違っているようなプログラムを回答したらダメ
      • 過度の知ったかぶりはバレ易く評価が低くなるからダメ
      • 自信がないように見える答えは評価が低くなるからダメ

  • 「面白い話ができるAI」をつくることが難しい理由

    • AIを指導する人間が増えるとAIは必然的に没個性的な存在になっていく。
    • 解決策があるとすれば、AIを調教する人間を一度に一人に絞ること。
    • 差別や偏見を撒き散らすような会話AIが生まれないよう抑制的に制御している。

得意なタスクと苦手なタスク

そもそもの仕組み（LLMの特徴）

言語処理（AI）の該当節を参照。

  • プロンプトは次単語予測の汎用性と
    コンテキスト内学習によって実現されている。

  • Zero-Shot学習とも呼ばれ、プロンプト（過去文脈）でパラメタ更新はしないが
    Attention機構を変形して見方を変えると勾配降下法をシミュレーションしている。

  • AIは逆問題だがLLMは順問題を言語的には学習する事ができる。

  • ただし、この順問題の定義の学習は、あくまで言語的＆確率的であって
    言語からの学習で、論理的なモデルを構築し、
    それを使用して質問に回答している訳ではない。

得意とするタスク

特に、文章生成や自然言語対話システムなどを構築する場合には有効。

  • 他の言語モデルと比べて

    • 自然言語を理解する能力が高い。
    • 大規模なテキスト・コーパスを使用して学習されている

  • 自然言語を理解し、

    • 新しい文章、自然でリズムのある文章を生成できる。
    • 質問に答えることや、文章を要約すること、文章を翻訳することなど。
    • 自然言語を入力として受け取り、それを基に様々なタスクを実行する事もできる。

苦手とするタスク

  • 論理的な思考は一切していないので、論理的に考えて回答する必要があるケース。

    • 数学的な計算や論理的推論のタスクでは、人間並みの精度を発揮しない。

    • 具体的な指示や手順を追うタスクでは、人間並みの精度を発揮しない。

    • 語彙や文法の誤りを検出するタスク（≒ 校正）では、人間並みの精度を発揮しない。

    • 例：

      • 数学的な計算や論理的推論、具体的な指示や手順を追うタスクの例は
        論理クイズなどでググると出てくる。
      • 語彙や文法の誤りを検出するタスク
        「①～④のうちから誤りを含むものを1つ選べ」という問いです。正解はどれですか。
        Our CEO gives ① <her> feedback ② <at> production targets, ③ <based on the
        ④ <company's> budget.
        誤りが含まれているのは、「①<her>」です。正しい表現は 「his」 または 「their」 です。

  • 定義を説明することは苦手ではない
    （LLMへの様々な質問例の該当節を参照）が
    間違った時に大きな信用毀損になる。

    • ChatGPTに「XXXX（固有名詞）」について聞いてみたら、トンチンカンな回答が
    • 「Chat-GPTは文章作成のAIであって科学的な事物の検証用ではない。」と言う意見。
      …何かの情報とゴッチャになってる…？😳質問系の回答は鵜呑みにできないな💦
    • キノコ専門家がAmazonで売られている「AIが書いたキノコ採りガイド」を
      買わないよう呼びかけ、命に関わる危険も。
    • ChatGPT、以前とある薬剤について質問したら
      まったく別の薬剤の説明をされたから慎重に使ってる。

  • 試験問題から見る苦手な分野

    • ChatGPTの共通テスト・国語が200点中50点、
      登場人物の気持ちの理解を問う問題がズタボロ
    • GPT-4 Technical Reportで報告されている結果を見ると、
      まだ数学・上級文学・競プロあたりは苦手。

  • 出来ない事は、まだまだ多い。
    （いずれも 人工知能（AI）の該当節を参照）

    • フレーム問題（期待はある）
    • 記号接地問題（視覚を加えたマルチモーダル）
    • 身体性（聴覚、触覚、味覚、嗅覚を加えたマルチモーダル）
    • 知識獲得のボトルネック（期待はある）

  • ポランニーのパラドックス、

    • 人間は暗黙知を持つが、LLMは暗黙知を持たない。
    • ≒ 前述の身体性の様な所から学習し論理的なモデルを構築しているかいないか？

質問例を分析しユースケースを絞込む

LLMへの様々な質問例

LLMのユースケース

参考

ChatGPTとは？

使い方

始め方

プロンプト・エンジニアリング

ChatGPT vs Google翻訳

理解、疑問

ChatGPTの限界

ChatGPTの仕組みを理解する

GPT評価

GPT系サービスを利用し評価を解説した。
https://1drv.ms/x/s!Amfs5caPP9r5kXO9VvIB-QoBVKzZ?e=r6DHBw

※ 以下の「LC」は、ロング・コンテキストの略♨

目次

マップ

ユースケース・マップ（以下のユースケースのマップ）

前提

「GPT3.5、GPT4混在」（「今や昔」感ありますが）

導入

  • GPTとは
  • 図でポイントを理解する
  • Few-shot Learning
  • ロングコンテキスト
  • 得手不得手情報集
  • 得手不得手評価
  • GPTのバージョン
  • GPT-3とGPT-4の違い
  • GPTまとめ

活用促進

  • 事例集が難しい理由
  • GPTユーザの特徴

質問応答

  • 一般的な質問
  • 特定分野の知識
  • 対話の流暢さ
  • 倫理的・バイアスの評価

問題解決

  • ロジカルな推論
  • クリエイティブな問題解決

深い考察

  • 「需要と供給の法則を説明してください。」
  • 「がん治療における免疫療法の最新の進展について教えてください。
  • 「デジタルプライバシー法の最新の動向とその影響について説明して
  • 「機械学習における過学習の問題とその対策について詳しく説明して
  • 「中央銀行がインフレを管理するための政策手段について説明してく
  • 「再生可能エネルギー技術の現状と未来の展望について説明してくだ

移行メモ: 上記 6 項目は元ページの記述が途中で切れている（引用符が閉じていない）。

ロングコンテキスト

  • 追加知識を学習無しでコンテキストとして与える例
  • 以降【LC】はロングコンテキスト対応プロンプトの意

文章生成

  • 翻訳【LC】

  • 要約【LC】

  • 文章生成

    • 文章生成【テンプレ】
    • 文章生成【LC】
    • 技術文章生成【テンプレ】
    • 技術文章生成【LC】

文章チェック

  • 校正【LC】
  • 正誤【LC】

データ分析

  • データ分析【Excel】
  • データ分析【LC】
  • データ分析【Advanced data analysis】
  • データ分析コード生成【LC】

コーディングとデバッグ

  • コード生成【テンプレ】
  • コード生成【LC】
  • コンバージョン【LC】
  • ドキュメンテーション【LC】
  • テストコード生成【LC】
  • コードの問題の指摘と修正【LC】

EUC

  • EUC Linuxシェル

  • EUC Linuxシェル【テンプレ】

  • EUC Excelマクロ

  • EUC Excelマクロ【テンプレ】

    • Excelデータ・シート
    • Excelピボット・テーブル

手動RAG【LC】

  • トラブルシューティング【LC】
  • 設計ディシジョン【LC】
  • 規則・規格系【LC】

博識家・専門家の支援

  • ダブルダイアモンドの例
  • 意思決定例

製品別

  • GitHub Copilot
  • Copilot企業版
  • Copilot for M365
    • Outlook
    • Teams
    • Forms

マルチモーダル

  • イラスト
  • 図解
  • 音声
  • 動画

参考（GPT評価）

  • YouTube生成字幕を使った要約
  • ハルシネーションについて
  • 輸出管理や機密情報・個人情報
  • 他者の知的財産の取扱

Tags: 移行, ChatGPT, LLM, 生成AI, Transformer, 開発基盤

このWikiは「Open棟梁Project」,「OSSコンソーシアム 開発基盤部会」によって運営されています。

NetDevInfraWiki

マイクロソフト系技術情報 Wiki
Open 棟梁 Wiki

（未着手）

開発基盤部会 Wiki

移行管理: DONE ／ TODO

Clone this wiki locally