Vision-Dialog Navigation和Vision-and-Language Navigation简单总结

Vision-Dialog Navigation

数据集/任务

R2R
Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments

CVDN 视觉对话导航，一个更细分的方向
Vision-and-dialog navigation

REVERIE
Reverie: Remote embodied visual referring expression in real indoor environments

Beyond the Nav-Graph: Vision-and-Language Navigation in Continuous Environments
年份/会议：2020 ECCV
数据集： VLN-CE

Room-across-room: Multilingual vision-and-language navigation with dense spatiotemporal grounding
年份/会议： 2020 ENMPL
数据集： RxR

论文模型总结

1 Vision-and-Language Navigation: Interpreting visually grounded navigation instructions in real environments
年份/会议：2018 CVPR
数据集：R2R
模型名称：Matterport3D
代码：https://github.com/peteanderson80/Matterport3DSimulator / https://bringmeaspoon.org
实验结果：

2 Vision-Dialog Navigation by Exploring Cross-modal Memory
年份/会议：2020 CVPR
数据集：CVDN
模型名称：CMN
代码：https://github.com/yeezhu/CMN.pytorch

3 Room-across-room: Multilingual vision-and-language navigation with dense spatiotemporal grounding
年份/会议： 2020 ENMPL
数据集： RxR
模型名称：VALAN
代码： https://github.com/google-research-datasets/RxR
实验结果：
设备要求：

** 4 REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments**
年份/会议：2020CVPR
数据集： REVERIE
模型名称：FAST-MA TTN
代码： https://github.com/YuankaiQi/REVERIE
实验结果：

5 Vision-and-Dialog Navigation
年份/会议：2020 Proceedings of the Conference on Robot Learning
数据集：提出 CVDN
模型名称：NDH
代码： https://github.com/mmurray/cvdn / https://cvdn.dev/
实验结果：

6 Towards Learning a Generic Agent for Vision-and-Language Navigation via Pre-training
年份/会议：2020 CVPR
数据集：CVDN，R2R
模型名称： PREV ALENT
代码：https://github.com/weituo12321/PREVALENT
实验结果：

7 Beyond the Nav-Graph: Vision-and-Language Navigation in Continuous Environments
年份/会议：2020 ECCV
数据集： VLN-CE
模型名称： VLN-CE
代码： https://github.com/jacobkrantz/VLN-CE
实验结果：

8 Self-Motivated Communication Agent for Real-World Vision-Dialog Navigation
年份/会议：2021 ICCV
数据集：CVDN和REVERIE
模型名称：SCoA
代码：无
实验结果：

9 The Road to Know-Where: An Object-and-Room Informed Sequential BERT for Indoor Vision-Language Navigation
年份/会议：2021 ICCV
数据集： REVERIE, NDH, and R2R
模型名称： ORIST
代码：https://github.com/YuankaiQi/ORIST
实验结果：

10 Improving Cross-Modal Alignment in Vision Language Navigation via Syntactic Information
年份/会议：2021 NAACL
数据集：R2R \ RxR
模型名称：syntax
代码： https://github.com/jialuli-luka/SyntaxVLN
实验结果：

SOTA

11 HOP: History-and-Order Aware Pre-training for Vision-and-Language Navigation
年份/会议：2022 CVPR
数据集： R2R, REVERIE, NDH, RxR
模型名称： HOP
代码： https://github.com/YanyuanQiao/HOP-VLN
实验结果：

其他：

12 NDH-FULL: Learning and Evaluating Navigational Agents on Full-Length Dialogue（不常用的新任务）
年份/会议：2021ENMPL
数据集：
模型名称：
代码：
实验结果：

13 Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation
https://github.com/expectorlin/DR-Attacker
年份/会议：
数据集：
模型名称：
代码： https://github.com/expectorlin/DR-Attacker.
实验结果：