欢迎您登录科学中国人官方网站!!
新浪微博|网站地图|联系我们
香港中文大学团队发布视觉语言模型,刷爆多模态任务榜单!

作者:科学中国人    发布时间:2024-04-15

更高清图像的精确理解、更高质量的训练数据、更强的图像解析推理能力,还能结合图像推理和生成,香港中文大学终身教授贾佳亚团队提出的这款多模态模型Mini-Gemini堪称绝绝子,相当于开源社区的GPT4+DALLE3的王炸组合!

Mini-Gemini还提供了2B小杯到34B的超大杯,最强模型在多个指标上相比Google Gemini Pro甚至GPT-4V都不遑多让。目前,Mini-Gemini从代码、模型到数据已全部开源,登上了PaperWithCode热榜。

Mini-Gemini线上Demo也已发布,Mini-Gemini Demo放出后受到广大网友关注,一番“品尝”后,他们认为Mini-Gemini跟商业模型差不了多少!


国外网友对Mini-Gemini的评价

目前,绝大多数多模态模型仅支持低分辨率图像输入和文字输出,而在实际场景中,许多任务都需要对高清图像进行解析,并用图像的形式进行展现。

Mini-Gemini不仅能够根据图片对做面包的过程进行手把手教学,也能够准确将不同电脑品种根据图片中的各种参数进行对比。网友表示:妈妈再也不用担心我的生活了。

更重要的是,Mini-Gemini在保留超强的图像理解和推理能力的同时,还解锁了图像的生成能力,就如同ChatGPT和生成模型的结合。


案例分析


还记得Google Gemini的官方演示视频中,当用户给出两个毛线团并问出能用它们做什么时,Gemini可以识别出图片内容并给出相应的建议。

当我们把相似的输入给到Mini-Gemini,可以发现,Mini-Gemini也可以识别出图片中的元素,并且合理地建议,同时生成了一只对应的毛线小熊。


Mini-Gemini生成的毛线小熊
通过一些抽象的多模态指令来让模型给出推理,并生成合适的图片,这个操作就很像是ChatGPT和DALLE3的联动了!

高清复杂的多图表理解和归纳对Mini-Gemini来说也是小菜一碟,Mini-Gemini直接秒变打工人效率提升的超级外挂。


Mini-Gemini可实现对高清复杂多图表的理解和归纳


技术细节


问题来了,Mini-Gemini是怎样做到这种惊艳的效果呢?核心在于三点:用于高清图像的双编码器机制,更高质量的数据,训练阶段结合生成模型数据拓展。
Mini-Gemini的整体思路并不复杂。其中的Gemini(双子座)表达的是使用视觉双分支的信息挖掘(Mining-Info in Gemini)解决高清图像理解问题。
详细来说,Mini-Gemini将传统所使用的ViT当做低分辨率的Query,而使用卷积网络(ConvNet) 将高分辨率的图像编码成Key和Value。使用Transformer中常用的Attention机制,来挖掘每个低分辨率Query所对应的高分辨率区域。从而在保持最终视觉Token数目不变的情况下去提升对高清图像的响应,保证了在大语言模型 (LLM) 中对于高清图像的高效编码。值得一提的是,由于高分辨率分支卷积网络的使用,可以根据需要对图像所需的分辨率自适应调整,能够遇强则强。对于图像的生成部分,Mini-Gemini借助了SDXL,使用LLM推理后所生成的文本链接两个模型,类似于DALLE3的流程。
而对于数据这个万金油,Mini-Gemini进一步收集并优化了训练数据的质量,并加入了跟生成模型结合的文本数据进行训练。在仅使用2-3M数据的情况下,实现了对图像理解、推理和生成的统一流程。
Mini-Gemini在各种Zero-shot的榜单上毫不逊色于各种大厂用大量数据训练出来的模型,可谓是“平、靓、正” !
值得一提的是,Mini-Gemini的图像理解和生成能力已经出了Demo,可以在线跟自定义图像对话。操作也极其简单,直接跟输入图像或文字进行对话即可。
贾佳亚团队供稿
分享到:
资讯