N-gramを利用した用語集合拡張器デモ

About

googleが配布しているN-gramデータのうち、trigramだけを用いた簡易的な用語集合拡張のデモ。
用語集合拡張器と言うものは、google setsやSEALみたいなものです。
日本語のみの対応です。手法的には言語ごとのN-gramさえあればどの言語でも適応できます。シンメトリックパターンによる共起を元に探索しています。
コーディング1時間のデータ整形24時間程度なので精度は良くはありません。
N-gramからの検索にはTx: Succinct Trie Data structureを利用しています。

Let's Try!

下のテキストボックスに、スペース区切りで適当な語を二語以上(ex."日本 アメリカ"、"トヨタ ホンダ"、"ケツイ 怒首領蜂")入力して、OKボタンを押すだけ。入力は一語だけでも良いですが、結果は発散します。
入力した語群と同じSuper Classを持つであろう語のリストが表示されます。一般的な語(ngram内で出現頻度が高い語)をクエリに入れるとノイズが増えます。

結果

結果無し

To Do

• 英字表記、カタカナ表記の統一
• 複合名詞の処理(7gramあたりから複合名詞を含む並列表現を探す)
• 同義異表記の処理
• 語の出現頻度と共起頻度を考慮する
• 多くの語と関連のある語の影響を調査する
• 一つ上と関連して、かなり上位のSuper Classのinstanceが得られるので、もう少し狭める(クエリが"うどん そば"なら麺類だけが欲しい)
• 用語拡張からの概念の属性・属性値獲得システムへ拡張

参考

• Dmitry Davidov and Ari Rappoport. Efficient Unsupervised Discovery of Word Categories Using Symmetric Patterns and High Frequency Words. COLING 06.
• 工藤拓、 賀沢秀人著、「Web 日本語Nグラム第１版」、言語資源協会発行
• Tx: Succinct Trie Data structure(tx-ruby)

戻る