谷歌开源模子，又上新了。

今天凌晨，谷歌隆重官宣了Gemma 3n，原生扶直文本、图像和音视频等多种模态。

在大模子竞技场中，Gemma 3n 得回了 1303 分，成为了第一个朝上 1300 分的 10B 以下模子。

Gemma 3n 一共有 5B（E2B）和 8B（E4B）两种型号，但通过架构改进，其 VRAM 占用与 2B 和 4B 终点，最低只消 2GB。

有网友暗示，Gemma 3n 大概用低内存占用达成这么的进展，对端侧开导道理紧要。

同期谷歌也公开了 Gemma 3n 的一些技艺细节，接下来就一齐来了解。

套娃式 Transformer 架构

在 Gemma 3n 的两种型号—— E2B 和 E4B 中，谷歌提倡了"灵验参数"的认识，这里的" E "指的即是 effective（灵验的）。

Gemma 3n 的中枢是MatFormer （Matryoshka Transformer） 架构 ，这是一种专为弹性推理而构建的嵌套式 Transformer 结构。

它的结构就如同它的名字同样，像俄罗斯套娃（Matryoshka）——一个较大的模子当中，包含了自己更小、功能皆全的版块。

MatFormer 将"俄罗斯套娃表征学习"的认识从单纯的镶嵌延迟到通盘 Transformer 组件。

在这种结构下，MatFormer 在施行 E4B 模子时，不错同期优化 E2B 子模子。

为了凭证特定硬件按捺进行更细致的按捺，谷歌还提倡了Mix-n-Match表率，通过调度每层的前馈收罗荫藏层维度（从 8192 到 16384）并聘请性地跳过某些层，不错达成对 E4B 模子参数的切片，从而在 E2B 和 E4B 之间创建一系列自界说尺寸的模子。

针对这一功能，谷歌还会发布器用 MatFormer Lab，用于检索最好的模子设置。

专为端侧开导遐想

Gemma 3n 的 E2B 和 E4B 两个型号的原始参数目，分辨是 5B 和 8B，但忽地与 2B 和 4B 终点。这种低内存忽地遐想，缱绻即是大概更好地适配端侧开导。

为此，Gemma 3n 模子选择了逐层镶嵌（PLE）技艺，可显耀提高模子质料，而不会加多内存占用。

PLE 允许很大一部分参数（与每层相干的镶嵌）在 CPU 上加载并高效计较，这么就惟一中枢 Transformer 权重需要存储在加快器内存（VRAM）中。

此外，为了缩小首个 Token 生成时辰，以便更好经管长序列输入，Gemma 3n 引入了KV 缓存分享。

具体来说，Gemma 3n 优化了模子预填充的经管神志，改日自局部和全局细心力机制的中间层的 Key 和 Value 奏凯与通盘顶层分享，与 Gemma 3-4B 比较，预填充性能栽培了 2 倍。

原生扶直多模态

Gemma 3n 原生扶直图像、音视频等多种输入模态。

语音部分，Gemma 3n 选择基于 USM 的高等音频编码器，USM 会将每 160 毫秒的音频滚动成一个 Token，然后将其当作言语模子的输入进行集成。

它扶直自动语音识别（ASR）和自动语音翻译（AST），不错奏凯在开导上达成高质料的语音 - 文本转录，还可将白话翻译成另一种言语的文本。

Gemma 3n 的音频编码器在发布时已扶直经管 30 秒的音频片断，但底层音频编码器是一个流式编码器，大概通过稀薄的长音频施行经管轻易长度的音频。

视觉方面，Gemma 3n 则选择了全新的高效视觉编码器MobileNet-V5-300M。

它扶直在端侧经管 256x256、512x512 和 768x768 像素的分辨率，在 Google Pixel 上的经管速率达到了每秒 60 帧，况兼在各式图像和视频理罢免务中进展出色。

MobileNet-V5 以 MobileNet-V4 为基础，但架构显耀扩大，并选择羼杂深度金字塔模子，比最大的 MobileNet-V4 变体大 10 倍，同期还引入了一种新颖的多模范交融 VLM 适配器。

针对 MobileNet-V5 背后的技艺细节，谷歌后续还会发布技艺施展，先容模子架构、数据延迟计策以及背后的数据蒸馏技艺。

参考解析：

https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/

HuggingFace：

https://huggingface.co/collections/google/gemma-3n-685065323f5984ef315c93f4

一键三连「点赞」「转发」「堤防心」

接待在批驳区留住你的思法！

—  完  —

� �  量子位 AI 主题规划正在征迫临！接待参与专题365 行 AI 落地决策，一千零一个 AI 讹诈，或与咱们分享你在寻找的 AI 居品，或发现的AI 新动向。

� � 也接待你加入量子位逐日 AI 换取群，一齐来畅聊 AI 吧～

一键关爱 � � 点亮星标

科技前沿进展逐日见欧洲杯投注入口