• 周四. 6 月 13th, 2024

科学家用大语言模型增强语言理解验证GPT-4生成能力的背后原因

三月中旬,OpenAI 正式发布了 GPT-4,并向我们展示了其所具备的非凡的多模态能力:基于手写文本指令构建网站、生成详细准确的图像描述、解释丰富有趣的视觉现象……不过,需要说明的是,OpenAI 并未公开任何与 GPT-4 有关的技术细节。

来自沙特阿卜杜拉国王科技大学的研究团队认为,GPT-4 拥有卓越的多模态生成能力的主要原因在于,其使用了更为先进的大型语言模型。并且,为了验证他们提出的这个假设,其还构建了一个新模型,并将其命名为“MiniGPT-4”。

2023 年 4 月 20 日,相关论文以《MiniGPT-4:使用高级大型语言模型增强视觉-语言理解》(MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models)为题在预印本网站 arXiv 上发表[1]。

图丨MiniGPT-4 的架构(来源:arXiv)

他们起初在 4 个 A100 GPU 上,对该模型进行了第一阶段的传统训练,后来发现简单地对齐视觉模型和语言模型,并不能训练出像聊天机器人这样的、具有视觉对话能力的高性能模型。

与此同时,他们也发现,在对原始的图像-文本进行预训练的过程中,模型所生成的语言输出会缺乏连贯性。为了解决该问题,他们在第二阶段的训练中,构建了一个小型数据库,用 3500 个高质量的、对齐良好的图像-文本对,来提高模型的稳定性和生成语言的可用性。

“在第二阶段,我们只用了 3500 个数据,也只训练了七分钟,效果就有了大幅度提升,这是让我和团队感到很惊喜的一点。”朱德尧表示。

不仅如此,他们还在 MiniGPT-4 中,做了一些 GPT-4 演示中并未展示出的其他有趣能力。例如,MiniGPT-4 可以通过观察植物生病的照片,判断植物的病情并提出解决方案;可以通过观察食物照片,直接生成详细的食谱;可以受图像的启发为产品写广告等等。

图丨详细图像描述(来源:arXiv)

总地来说,该研究证明了 MiniGPT-4 通过使用预训练的视觉编码器和大型语言模型,得到了很高的计算效率。并且,其能够处理像 GPT-4 演示中所展示出的那些能力。

“现在只要给我们一个比较先进的纯文本式的大型语言模型,就能在 10 小时之内让其‘看见’图片。”朱德尧说。

作为该论文的主要作者,朱德尧和过往的求学经历有些不同。前者本科时所学的专业是机械电子工程,硕士转为电子信息工程,博士阶段才来到阿卜杜拉国王科技大学攻读计算机科学。而后者自本科开始就专注于计算机科学专业,已经在多模态、语言生成模型等方向有了一定积累。

两人相识于阿卜杜拉国王科技大学,均属于埃尔霍西尼助理教授课题组的一员。

谈到为何选择开展这项研究,朱德尧表示:“此前我们曾对多模态相关的大模型做过深入研究,比较了解传统多模态大模型的能力边界。当 OpenAI 公布 GPT-4 的演示时,我们完全被震撼到了,没想到现在已经能做到这个地步,同时又很好奇他们到底是怎么做出来的。”

与此同时,他们又希望在以往研究的基础之上继续向前,让多模态大模型的能力实现进一步突破。上述原因是他们开启这项研究的主要动力。

据了解,该论文在发表后赢得了大量的关注和传播,并收到许多来自行业内外的合作邀约。他们的项目在 GitHub 上 三天内迅速斩获 10000 星。

同时,朱德尧和也将在今年年底迎来博士毕业,因此接下来他们计划基于自己的研究成果,围绕创业、找工作等方向做出选择。

对于是否选择创业,也有自己的看法。 “虽然现在这个领域发展得很快,但还是有很多基础的问题没有解决。我们接下来会在技术上继续耕耘,以后可能会选择一个合适的时机再进行创业。” 他这样说。

参考资料:

1.D., Zhu, J., Chen, X., Shen. et al. MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models. arXiv:2304.10592.https://doi.org/10.48550/arXiv.2304.10592