EmbeddingGemma 2

它是什么

EmbeddingGemma 2 基于 Gemma 4 架构进展，把四种模态统一到共享嵌入空间，并支持 Matryoshka Representation Learning（MRL）：原生输出 768 维，可截断到 512 / 256 / 128 维以降低向量存储成本。

• 原生多模态：文本、图像、视频、音频。
• 多语言与代码：支持 100+ 语言；相对前代在代码任务上约有 14% 提升（模型卡报告）。
• 灵活占用：270M 文本主干 + 可选视觉编码器（170M）与音频编码器（300M），可按需加载。
• 上下文：8K token 窗口；可用任务指令前缀优化检索 / 分类 / 聚类等表示。

模型概览（来自 HF 模型卡）：总参数 740M；原生输出维度 768；池化 Mean Pooling；投影 512→768。

谁做的

由 Google DeepMind 发布，权重托管在 Hugging Face 组织 google，仓库 ID：google/embeddinggemma-2。HF 卡片标注 pipeline 为 feature-extraction，并兼容 transformers / sentence-transformers / safetensors。

HF API 卡片字段列出许可证为 Apache-2.0；模型卡同时要求部署遵守 Gemma Prohibited Use Policy。使用前请以官方模型卡与许可文本为准。

能做什么

模型卡列出的典型下游用途包括：

• 检索 / RAG：跨文本、代码、图像、视频、音频的语义搜索与知识库召回。
• 分类：情感、内容审核、音频事件、图像类别等。
• 聚类：文档主题分组、近重复发现（可跨模态）。
• 语义相似度：推荐、释义检测、跨语言对齐。
• 事实核查辅助：给定主张检索证据文档。

设计目标包括端侧与边缘场景：文本-only 可约 270M 有效体积；全模态约 740M。

怎么试用

官方快速开始（sentence-transformers）：

pip install -U sentence-transformers transformers

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("google/embeddinggemma-2")

query = "What causes the northern lights?"
document = "The northern lights are caused by charged particles from the sun."

query_emb = model.encode(query, prompt_name="SearchQuery")
doc_emb = model.encode(document, prompt_name="Document")
print(model.similarity(query_emb, doc_emb))

文本任务请使用模型卡推荐的任务前缀（如 SearchQuery / Document）；图像、视频、音频不加前缀。MRL 截断示例：truncate_dim=128 且 normalize_embeddings=True。数值精度：使用 bfloat16 或 float32，勿用 float16（模型卡警告可能导致 NaN）。

权威入口：模型卡与文档。

和 EmbeddingGemma 1 比

模型卡给出的 768d 全精度对比（节选）：

• MTEB multilingual v2 Mean(Task)：61.36 vs 61.15（大致持平）。
• MTEB code v1 NDCG@10：78.68 vs 68.76（代码检索明显提升）。
• EmbeddingGemma 2 新增图像 / 视频 / 音频等基准（如 MIEB lite、MMEB v2、MSEB、MAEB），前代无对应列。

相对上一代，核心增量是原生四模态统一空间、可选编码器加载，以及 MRL 截断维度。具体数字以 HF 模型卡为准。