グローバルナビゲーションを飛ばして本文へ

グローバルナビゲーションを飛ばしてローカルナビへ

グローバルナビゲーションを飛ばしてフッターナビへ



= 竹ノ山 の タケノコ 通信 =
〔第55号 2018年4月12日〕


今月の話題 「形態素解析を使ってみよう」

  形態素解析器は、日本語の文章を読み込んで、語、品詞、活用形を同定した結果を出力します。前回は、形態素解析器のMeCabを使って「坊ちゃん」の冒頭文を解析してみました。
その時の解析結果の詳細を以下に示します。

親譲り     名詞,一般,*,*,*,*,親譲り,オヤユズリ, オヤユズリ
の          助詞,連体化,*,*,*,*,の,ノ, ノ
無鉄砲     名詞,一般,*,*,*,*,無鉄砲,ムテッポウ, ムテッポウ
で          助詞,格助詞,一般,*,*,*,で,デ, デ
小          接頭詞,サ変接続,*,*,*,*,供,キョウ, キョー
供          名詞,一般,*,*,*,*,親譲り,オヤユズリ, オヤユズリ
の          助詞,連体化,*,*,*,*,の,ノ, ノ
時          名詞,非自立,副詞可能,*,*,*,時,トキ, トキ
から        助詞,格助詞,一般,*,*,*,から,カラ, カラ
損          名詞,一般,*,*,*,*,損,ソン, ソン
ばかり     助詞,副助詞,*,*,*,*,ばかり,バカリ, バカリ
し          動詞,自立,*,*,サ変・スル,連用形,する,シ, シ
て          助詞,接続助詞,*,*,*,*,て,テ, テ
いる        動詞,非自立,*,*,一段,基本形,いる,イル, イル
。          記号,句点,*,*,*,*,。,。, 。

  上の結果で「小供」は「小」と「供」という別々の語として解析されています。これを防ぐためには、形態素解析器の辞書にあらかじめ「小供」を登録しておくことが必要です。したがって、正しい答えは、「2)のシステムが未知語に出会った時、参照する辞書に「小供」を登録しておく」です。
 
  例文の「小供」はうまくいきませんでした。しかし、「親譲り」と「無鉄砲」は、うまく認識されています。すこし発展させて、「親譲り」の場合を考えてみましょう。
 
「親譲り」では、「親」と「譲り」という別々な語が連続して現れているパターン1と「親譲り」1語として考えるパターン2の可能性があります。この可能性を比較するために、形態素解析器では「語の使われやすさを表す生起コスト」と「語と語のつながりやすさを表す連結コスト」を計算して判定を行っています。MeCabの場合は、「生起コスト」と「連結コスト」の総和が最も小さくなるような語の区切りを選択する処理が行われています。
   親譲りの例では、3つの語(「親」「譲り」「親譲り」)の使われやすさ(生起コスト)は、それぞれ5561、4982、5159と計算されます。さらに、「親」と「譲り」の2語の連結コストは180です。
   したがって、パターン1の「親」「譲り」が連続して現れるコストは
      5561+180+4982=10723
   となります。一方、パターン2の「親譲り」のコストは5159となります。
この2つを比較すると、コストが最小となるパターン2の解が選択されます。
  日本語の形態素解析器は、それぞれ独自の設計思想と辞書を用いて形態素解析を行っています。他のシステムも是非試してみてください。

参考文献:
松村真宏・三浦麻子(2014)「人文・社会社会科学のためのテキストマイニング」誠信書房
Bird,S.,Klein, E.,& Loper, E. 著 萩原・中山・水野訳(2010)「入門 自然言語処理」オラリー・ジャパン

(日本語学科 加藤由香里)



=======================
名古屋外国語大学外国語学部日本語学科
〒470-0197 愛知県日進市岩崎町竹ノ山57
電話 0561-74-1111(大学代表)
=======================