麻省理工学院(MIT)信息与决策系统实验室(LIDS)近日公布了一项关于生成式AI模型导航能力的研究结果,引发了业内关注。该研究指出,尽管这类模型在提供纽约市导航指引时表现近乎完美,但实际上并未形成准确的地图认知。
在研究过程中,研究人员尝试对部分街道进行封闭,并设置相应的绕行路线。结果显示,这一微小变动导致生成式AI模型的性能大幅下滑。具体来说,当仅有1%的街道被封闭时,模型的准确率便从接近百分之百骤降至67%,这暴露出模型在应对环境变化时的显著不足。
深入研究还发现,这些模型所生成的纽约地图中包含大量虚构的街道。这些街道在地图网格中以扭曲的方式连接,形成了一个与现实相去甚远的“虚构纽约”。地图上随处可见的随机跨街桥和角度奇异的交叉街道,进一步揭示了模型存在的缺陷。
该研究强调,对于生成式AI模型而言,评估其是否具备连贯的世界观至关重要。虽然这类模型在自然语言处理领域取得了显著成就,但在拓展至其他科学领域时,其连贯性和适应性仍需经过严格验证。
此次研究主要聚焦于名为“transformer”的生成式AI模型。该模型作为众多大型语言模型(如GPT-4)的核心组成部分,在基于语言的数据训练方面表现出色。然而,MIT的这项研究却揭示了其在导航任务中的局限性。