【天风通信】谷歌发布Gemma2开源大模型（270亿参数），继续看好AI之光
夜长梦山
2024-06-30 13:23:28 山西省
🔥事件：6月28日，谷歌面向全球研究人员和开发人员发布 Gemma 2 大语言模型，共有 90 亿参数（9B）和 270 亿参数（27B）两种大小。相比较第一代，其推理性能更高、效率更高，并在安全性方面取得了重大进步。谷歌表示为 Gemma 2 重新设计了整体架构，实现卓越的性能和推理效率。
🥇二代模型与一代相比较：
🚩模型版本：Gemma 2拥有两个版本，分别是90亿（9B）参数版本与270亿（27B）参数版本，且各自拥有基础版和指令微调版。
🚩训练数据：Gemma 2的训练数据量是一代版本的两倍，27B版本使用13万亿 tokens，9B模型使用8万亿tokens，包括英文、代码、数学的数据。
🚩许可：宽松许可，允许再分发、微调、商业使用和派生作品
🚩特点：高效率，低成本，易于部署是Gemma2的最大特点。Gemma 2此次提供的双参数的版本，其推理性能和效率均优于第一代，并具有显著的安全性改进。其中，27B参数版本可以与体积超过其两倍的模型进行同等级别的竞争，并且提供了此前只有专有模型才能实现的性能，并且可以在单个NVIDIA H100 Tensor Core GPU或TPU主机上实现，大大降低了部署成本。
👉滑动窗口注意力：每隔一层使用滑动窗口注意力（局部注意力，覆盖4096个tokens），其他层使用全局注意力（覆盖8192个tokens）。在处理长文本时既可提高生成质量，又能减少内存和时间消耗
👉知识蒸馏：使用更大的教师模型训练较小的学生模型，通过丰富的token概率分布提供更有意义的学习信号，可显著提升学生模型的生成质量
👉模型合并：将多个LLM合并成为一个模型。Gemma2使用了Warp的新合并技术，主要包括三个阶段，指数移动平均，球面线性插值，向初始化线性插值，优点在于此技术可以在没有加速器的情况下使用，增强了模型的整体性能
👉Logit软封顶：根据Gemini 1.5的方法，研究团队在每个注意力层和最终层限制logit，使得logit的值保持在−soft_cap和+soft_cap之间。
🥈谷歌Gemma 2与其他模型Llama3,Grok-1等的性能对比：
👉性能卓越：Gemma2 27B模型在其同体积类别中提供了最佳性能，甚至可以与体积超过其两倍的模型竞争。Gemma2 9B模型也在其同等体积类别中表现出色，并超越了Llama3 8B和其他同类开放模型。
👉高效率、低成本：27B Gemma 2模型设计用于在单个Google Cloud TPU主机、NVIDIA A100 80GB Tensor Core GPU或NVIDIA H100 Tensor Core GPU上以全精度高效运行推理，在保持高性能的同时大幅降低成本。这使得AI部署更加便捷和实惠。
👉超高速推理：Gemma 2经过优化，能够在各种硬件上以高速运行。使用者可以在Google AI Studio上尝试全精度运行Gemma 2，也可以在CPU上使用Gemma.cpp的量化版本解锁本地性能，或者通过Hugging Face Transformers在家用电脑上使用NVIDIA RTX或GeForce RTX进行尝试。
☀全球科技巨头AI军备竞赛持续开展，AI算力持续收益，我们继续看好AI之光（核心旭创/天孚/新易盛）——目标3个月50%。
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
工分
38.60
有用 26
无用
真知无价，用钱说话
1个人打赏
