新闻中心

谷歌宣布开源多模态大模型Gemma3 媲美DeepSeek

2025-03-17 09:01:21

来源:

谷歌宣布开:源多模态大(模型Ge)m:ma3 媲美DeepSee?k

[CNMO科技消息]日前,谷歌首席执行官SundarPichai宣布开源最新多模态大模型Gemma-3,主打低成本与高性能。Gemma-3提供四种不同参数规模的版本,分别为10亿、40亿、120亿和270亿参数。即便在参数量最大的270亿版本中,仅需一张H100显卡即可实现高效推理。相比之下,同类模型若要达到类似效果,至少需要提升10倍算力。因此,Gemma-3也是目前性能最强的小参数模型之一。

在性能测试方面,根据LMSYSChatbotArena的盲测数据,Gemma-3的表现仅次于DeepSeek的R1-671B,优于OpenAI的o3-mini和Llama3-405B等知名模型。

在架构设计上,Gemma-3延续了前两代的通用解码器Transformer架构,并进行了多项创新和优化。为解决长上下文带来的内存占用问题,Gemma-3采用了局部和全局自注意力层交错的架构:每5个局部层之间插入1个全局层,局部层的跨度仅为1024个token。由于只有全局层负责处理长上下文,局部层仅关注1024个token的小跨度,从而有效降低了内存占用。

多模态能力是Gemma-3的一大技术亮点。该模型能够同时处理文本和图像,并集成了定制版的SigLIP视觉编码器。这一编码器基于VisionTransformer架构,通过CLIP损失的变体进行训练。

为了评估Gemma-3的性能,谷歌在MGSM、Global-MMLU-Lite、WMT24++、RULER、MRCR等多个主流平台进行了测试。结果显示,Gemma-3在多模态任务中表现出色,例如在DocVQA、InfoVQA和TextVQA等任务中,其性能显著优于前代模型。在长文本处理方面,270亿参数版本的Gemma-3在RULER128K任务上达到了66.0%的准确率。

王楚钦说亚洲杯后信心有很大的提升中国乒乓球界如何培养大魔王孙颖莎说比赛中拼命想办法华莱士蟑螂乱爬 店长:业绩更重要佛山电翰入职华凌空调江苏省环保集团党委委员童玉祥被查甜馨称想演电视但没自信美军空袭胡塞武装致53死315曝光1斤虾仁7两冰美向俄方通报对胡塞武装的军事行动

(内容来源:海外网)

作者: 编辑:郭浩然

  • 越牛新闻客户端

  • 越牛新闻微信

  • 绍兴发布微信

  • 越牛新闻微博

  • 绍兴发布微博

爆料

新闻热线

0575-88880000

投稿信箱

zjsxnet@163.com