Skip to content

DNET_LanguageProcessing

Jump to bottom
nishi_74322014 edited this page Sep 11, 2026 · 1 revision

言語処理

概要

言語処理 ≒ 自然言語処理

詳細

難しさ

多義性

ある言語表現が伝える意味は一通りではない。

同義性

ある意味を伝える言語表現が一通りではない。

文脈依存性

言語表現の意味もコンテキスト次第

言外の意味

  • 身体動作と同様に、実行的な効果を目的とする。
  • 時計をお持ちですか？ ≒ 今何時？

アプローチ

理性主義

  • 人間の言語知識や言語運用能力を明示的に計算機に実装する。

  • 言語学・論理学などに基づいて知識をルール・手続き化する演繹的手法

  • システム構成：パイプライン（伝統的NLP）

経験主義

  • 収集・観測できるデータに基づき入出力関係をモデル化する。

  • 統計学、機械学習に基づく帰納的・データ駆動的手法

  • システム構成：エンド・ツー・エンド（現在の方式）

    • ブラックボックス、十分なデータがあれば学習可能
    • 問題点：個別の調整や説明ができない。

歴史

基礎技術

形態素解析

  • 単語を切り出す。品詞を付ける。という作業。

  • 文法や、辞書と呼ばれる単語の品詞等の情報に基づき、
    形態素（≒言語で意味を持つ最小単位）の列に分割し、
    それぞれの形態素の品詞等を判別する作業。

構文解析

  • 基本的にはプログラミング言語などの形式言語の場合と同様

  • どこが主語で、どこが述語か？係り受け（言葉と言葉の関係性）を解析

  • ただし、自然言語の構文には

    • 多くの言語で曖昧さ
    • アドホックな変形が多いという複雑さ
    • 意味を考えなければ構文が決定できない

など、独特の難しさがある。

意味解析

単語の意味という語彙の関連を見る

  • 十分に上手く行えるシステムはまだ完成していない。
  • 「意味素」という意味の基本となる情報を持たせることにより、
    ある程度、意味解析ができる事が解っている。

文脈解析

複数の文の繋がりをチェックする

  • 背景知識とか今のシチュエーションの関連性を見る
  • 照応解析などを含む。

日本語処理

語義の曖昧性解消

  • 語義識別、語義判別、語義確定などともいう。
  • 文中のある単語に出会ったとき、その単語が、
    どの語義を表しているのかを判断する過程

照応解析

  • 省略された名詞句（ゼロ代名詞）を補完する処理
  • 意味に踏み込まない処理には限界がある

その他（日本語処理）

単語と単語の分かれ目が解り難い。

処理の例

形態素解析（処理の例）

  • 「くるまでまつ」の形態素解析

    • 「車で待つ」、「来るまで待つ」
    • 最適な組み合わせを判定

構文構造の曖昧性

  • 「あの長い髪の少女の父親」
    髪の長いのは？

    • 少女？
    • 父親？

  • 格文法
    動詞を軸に、助詞で構文構造の意味の推定

    • 動詞：待つ

      • が：主格
      • を：目的格
      • で：場所格
      • に：時間格

意味解析、文脈解析（処理の例）

  • 「僕は鰻だ」

    • 形態素解析、構文解析はできる。
    • 意味解析、文脈解析が難しい。

意味の曖昧性

  • 構造曖昧性
    canが助動詞の「can」か？缶の「can」か？

    He saw that gasoline can explode.

  • 深層構造の曖昧性
    鶏が「食べる」のか？鶏が「食べられる」のか？

    The chickens are ready to eat.

  • 意味論的曖昧性
    bankが土手なのか？銀行なのか？

    Stay away from bank.

N-gram

  • 任意の文字数で文章を分割する手法

    • 文章が与えられた時に一文字ずつ、あるいは一単語ずつずらしながら
      N個の文字列、単語列を切り出す手法
    • 多言語に適用し易い、検索漏れを生じない。などの利点があるが、
      ノイズが大きいといった欠点もある。

  • 文脈を捉える素性として使われる。

  • 連続するn個の単語や文字のまとまり。

    • nが1の場合 uni-gram（ユニグラム）
    • nが2の場合 bi-gram（バイグラム）
    • nが3の場合 tri-gram（トライグラム）

移行メモ

  • 「難しさ」の「同犠牲」は「同義性」の誤記と判断し正した。
  • 「歴史」の各項および「深層構造の曖昧性」の閉じ括弧の欠落を補った。
  • 「深層構造の曖昧性」の例文 The chickens are ready to eat. に対する説明が 「readyが『すでに』か？『今にも』か？」となっていたが、 この例文の深層構造の曖昧性は「鶏が食べる」／「鶏が食べられる」の別であるため、 説明をそちらに正した。

Tags: 移行, 要素技術, 言語処理, 自然言語処理, 形態素解析, 構文解析, N-gram

このWikiは「Open棟梁Project」,「OSSコンソーシアム 開発基盤部会」によって運営されています。

NetDevInfraWiki

マイクロソフト系技術情報 Wiki
Open 棟梁 Wiki

（未着手）

開発基盤部会 Wiki

移行管理: DONE ／ TODO

Clone this wiki locally