人間・機械の共通理解基盤の実現に向けた言語理解タスクデザイン

人間とコンピュータが言語テキストを介してコミュニケーションするためには、与えられたテキストに対する理解(解釈)を共有する必要があります。 本研究では、言語理解における理解基盤の共通化の問題に取り組みます。 特に、深層学習を前提とする今日の言語理解システムでは、システム設計の中心になるのは、データ収集や評価基準を含めた言語理解タスクのデザインです。 そこで、読解タスクや対話タスクの分析や設計を通して、言語理解に求められるスキルを測定したり、訓練に必要となる事例を収集したりする手法を研究します。


Evaluation Methodology for Machine Reading Comprehension Task: Prerequisite Skills and Readability

自然言語処理の目標のひとつは、言語が理解できるエージェントを作ることです。言語理解能力を測定する手段として読解タスク (reading comprehension task) があり、国語の文章題のように文書を与えて質問に答えさせます。ここで問題になるのは、この読解タスクに用いられる質問の性質です。「その問いがどのような能力を要求しているのか」がわからなければ、テストしたエージェントが何が得意か・不得意かを知ることができません。しかし多くのタスクではこういった分析指標がなく、エラー分析が困難になっていました。本研究では、「読解に要求される能力」と「文章の読みやすさ」という2つの指標を定義し、既存の6つのデータセットを分析しました。また、両指標の相関関係も調査しました。結果として、文章の読みやすさは問題の難易度に直接は影響しておらず、「文章が読みやすくても問題が難しい」ようなデータセットを作ることができることがわかりました。 (Sugawara et al.; Links [1] [2])

 

 


連続的かつ部分観測的コンテクストにおける基盤化対話コーパスの構築と分析

提案タスクにおける対話例

人間は自然言語による対話を通じて様々な共通理解を作り出し、必要に応じて修正・維持することができます。本研究では、このような人間の高度なコミュニケーション能力に焦点を当てたタスクの設計と対話システムの評価・分析を行います。具体的には、連続的かつ部分観測的な情報について共通理解を作る新しい対話タスクを定義し、クラウドソーシングによって6,760対話を含む大規模なデータセットを構築しました。また、データセットの分析によって離散的または完全観測的な既存タスクよりも複雑で高度な基盤化現象が現れることを示しました。最後に、深層学習に基づくベースラインモデルはある程度の性能を出せるものの、本質的に高度な基盤化を必要とするため改善の余地が大きくあることを示します。(Udagawa et al.: accepted at AAAI-19)