作者:科学中国人 发布时间:2024-04-15
更高清图像的精确理解、更高质量的训练数据、更强的图像解析推理能力,还能结合图像推理和生成,香港中文大学终身教授贾佳亚团队提出的这款多模态模型Mini-Gemini堪称绝绝子,相当于开源社区的GPT4+DALLE3的王炸组合!
Mini-Gemini还提供了2B小杯到34B的超大杯,最强模型在多个指标上相比Google Gemini Pro甚至GPT-4V都不遑多让。目前,Mini-Gemini从代码、模型到数据已全部开源,登上了PaperWithCode热榜。
Mini-Gemini线上Demo也已发布,Mini-Gemini Demo放出后受到广大网友关注,一番“品尝”后,他们认为Mini-Gemini跟商业模型差不了多少!
目前,绝大多数多模态模型仅支持低分辨率图像输入和文字输出,而在实际场景中,许多任务都需要对高清图像进行解析,并用图像的形式进行展现。
Mini-Gemini不仅能够根据图片对做面包的过程进行手把手教学,也能够准确将不同电脑品种根据图片中的各种参数进行对比。网友表示:妈妈再也不用担心我的生活了。
更重要的是,Mini-Gemini在保留超强的图像理解和推理能力的同时,还解锁了图像的生成能力,就如同ChatGPT和生成模型的结合。
案例分析
当我们把相似的输入给到Mini-Gemini,可以发现,Mini-Gemini也可以识别出图片中的元素,并且合理地建议,同时生成了一只对应的毛线小熊。
高清复杂的多图表理解和归纳对Mini-Gemini来说也是小菜一碟,Mini-Gemini直接秒变打工人效率提升的超级外挂。
技术细节
- 资讯
-
-
“一猪两用-食用猪和医用猪”专场报道
2024年7月,正值夏季火热时节,各界专家齐聚科技创新之城——深圳,参加...
-
“2024前沿科学创新大会”在深圳召开
科技改变世界,创新引领未来! 2024年7月12—14日,“2024前沿科学创新...
-
当年累得坐马桶就睡着的科学家,成为今年国家最高科学技术奖得主
里程碑 笔者第一次见到薛其坤院士是在2019年年初,他领导团队完成的“量...
-
45岁用一篇论文解百年难题,85岁他站上国家最高科技领奖台
从跋山涉水扛着机器测量,到航空遥感再到卫星遥感,测绘遥感学科领域随...
-
这些科学家和标志性成果获得国家科技奖励!了解奖项分布与获奖特点→
2023年度国家科学技术奖今天揭晓。一大批贡献卓越的科学家和标志性成果...
-
全国科技大会 国家科学技术奖励大会 两院院士大会在京召开 习近平为国家最高科学技术奖获得者等颁奖并发
全国科技大会 国家科学技术奖励大会 两院院士大会在京召开 习近平为...
-
“一猪两用-食用猪和医用猪”专场报道