威尼斯澳门人GPT-4作弊被抓吉娃娃or松饼打乱顺序就出错LeCun:警惕在训练集上测试但GPT-4在回答中的用词“这是视觉双关或著名梗图的一个例子”,也暴露了原图确实可能存在于训练数据里。
大模型“胡说八道”在学术界被称为幻觉问题,多模态大模型的视觉幻觉问题威尼斯澳门人,已经成了最近研究的热门方向。
在EMNLP 2023一篇研究中,构建了GVIL数据集威尼斯澳门人,包含1600个数据点,系统性的评估视觉幻觉问题。
研究中指出GPT-4V一起解释多个图像时经常会困惑,单独发送图像时表现更好,符合“吉娃娃or松饼”测试中的观察结果。
流行的缓解措施,如自我纠正和思维链提示并不能有效解决这些问题,并测试了LLaVA和Bard等多模态模型存在相似的问题威尼斯澳门人。