私はBinghamton Universityの博士課程5年生として、Interactive Symbol Groundingの研究を通じて、言語・知識と物理体験を統合した次世代ロボットシステムの開発に取り組んでいます。
Research Vision: Interactive Symbol Grounding
私の研究目標は、ロボットシステムにおける言語・知識と物理的な行動・体験の間のギャップを埋めることです。現代のロボットはナビゲーションや物体操作は可能ですが、なぜそう行動するのか、また物理的な体験を人間にどう伝えるかという根本的な理解が不足しています。
この課題を解決するため、私は以下の3つの相互連結した方向性で統合的な計算フレームワークを構築しています:
知識 → 行動(Grounding Downward)
人間の知識とLLMを活用したロボット探索・強化学習の誘導
従来の強化学習では、ロボットが効率的に学習するまでに膨大な試行錯誤が必要でした。この問題を解決するため、私は人間の専門知識や論理規則を活用してロボットの学習プロセスを誘導する手法を開発しています。例えば、四足歩行ロボットの制御において、歩行の安定性に関する物理法則を論理規則として組み込むことで、より安全で効率的な学習を実現しました(ICAPS 2024)。また、自動プランニング技術を用いて探索方向を事前に決定し、無駄な試行を削減する「Guided Dyna-Q」アルゴリズムを提案し、実際のSegwayロボットでの配送タスクにおいて従来手法を大幅に上回る性能を達成しました(ICAPS 2021)。最近では、大規模言語モデル(LLM)と強化学習を組み合わせたり、ドメイン知識を効果的にプロンプトに組み込むDKPROMPT手法を開発したりするなど、オープンワールド環境でのロボット計画の精度向上を実現しています。
行動 ↔ 言語(Real-time Alignment)
協働中の物理ナビゲーションと対話の同期化
人間とロボットが協力してタスクを実行する際、従来のシステムでは対話管理とナビゲーション制御が独立して設計されていたため、不自然な相互作用が生じていました。私の研究では、これらを統合した学習フレームワークを開発し、ロボットが「いつ話すか」「何を話すか」「どこに移動するか」を同時に最適化する手法を提案しました(IROS 2023)。具体的には、強化学習エージェントが対話行動と移動行動を統一的に扱うことで、人間の意図を理解しながら自然な協調行動を実現します。この手法をSegwayベースのロボットに実装し、不動産の内見案内タスクにおいて、従来の分離型システムと比較してタスク完了率と利用者満足度の両面で大幅な改善を達成しました。
物理体験 → 意味(Grounding Upward)
ロボットの視覚・物理体験の言語化による人間支援
ロボットが人間の真のパートナーとなるためには、自身の物理的な体験を言語として表現し、人間と共有する能力が不可欠です。この分野での私の最も重要な取り組みは、視覚障害者を支援するロボット盲導犬の開発です(AAAI 2026)。従来の盲導犬は物理的な誘導のみを行いますが、私が開発するロボット盲導犬は、カメラやLiDARで感知した環境情報を自然言語で説明し、利用者と継続的な対話を通じてナビゲーションを行います。「前方に階段があります」「右側にカフェの入り口が見えます」といった具体的な状況説明により、利用者がより安心して移動できるシステムを実現しました。
このサイクルを通じて、単に命令に従うだけでなく、人間パートナーと「世界モデル」を共有するロボットの実現を目指しています。
Education
学歴
2014年4月 岩手大学 電気電子・情報システム工学科 入学
2015年3月 同上 卒業 学士(工学)
2018年4月 電気通信大学大学院 情報理工学研究 情報学専攻 博士課程前期課程 入学
2021年3月 同上 修了 修士(工学)
2021年4月 電気通信大学大学院 情報理工学研究 情報学専攻 博士課程後期課程 入学
2021年8月 電気通信大学大学院 情報理工学研究 情報学専攻 博士課程後期課程 退学
2021年9月 SUNY Binghamton, Department of Computer Science 入学