元象科技发布高效大模型XVERSE-MoE-A4.2B：极致压缩，性能卓越
深圳，2025年4月3日 —— 在人工智能领域，元象科技再次展现其创新实力，今日正式发布全新大模型——XVERSE-MoE-A4.2B。这款采用混合专家模型架构（Mixture of Experts, MoE）的大模型，以仅4.2B的激活参数实现了与13B模型相媲美的卓越性能，标志着元象科技在AI技术研发上迈出了重要一步。
XVERSE-MoE-A4.2B大模型是元象科技基于最前沿的MoE技术自主研发的成果。MoE模型通过稀疏激活技术突破了传统规模理论的局限，使模型在扩大规模的同时，不显著增加训练和推理的计算成本，从而保持了模型性能的最大化。元象科技在XVERSE-MoE-A4.2B模型中，将这一技术发挥到了极致，实现了极致的压缩效果。
据元象科技介绍，XVERSE-MoE-A4.2B在相同语料下训练了2.7万亿token的数据，实际激活参数量仅为4.2B，但其性能却超越了之前发布的XVERSE-13B-2模型。更令人瞩目的是，XVERSE-MoE-A4.2B仅用了30%的计算量，并减少了50%的训练时间，展现了极高的效率。
在多个权威评测中，XVERSE-MoE-A4.2B的表现同样令人惊艳。它不仅大幅超越了新晋业界顶流的谷歌Gemma-7B和Mistral-7B模型，还接近了超大模型Llama1-65B的性能水平，充分证明了元象科技在AI大模型研发上的深厚底蕴和技术实力。
XVERSE-MoE-A4.2B的成功，离不开元象科技在MoE技术上的自研与创新。元象科技针对MoE架构中的专家路由和权重计算逻辑，研发了一套高效融合算子，显著提升了计算效率。同时，针对MoE模型高显存使用和大通信量的挑战，元象科技还设计了计算、通信和显存卸载的重叠操作，有效提高了整体处理吞吐量。
此外，XVERSE-MoE-A4.2B在模型架构上也进行了创新。元象科技采用了更细粒度的专家设计，每个专家大小仅为标准前馈网络（FFN）的四分之一，提高了模型的灵活性与性能。同时，元象科技还将专家分为共享专家（Shared Expert）和非共享专家（Non-shared Expert）两类，共享专家在计算过程中始终保持激活状态，非共享专家则根据需要选择性激活，这种设计有利于将通用知识压缩至共享专家参数中，减少非共享专家参数间的知识冗余。
在商业应用方面，元象科技同样展现出了前瞻性的布局。XVERSE-MoE-A4.2B大模型全开源，无条件免费商用，为海量中小企业、研究者和开发者提供了强大的工具支持。元象科技表示，这将有助于推动低成本部署，加速AI技术在各行各业的普及和应用。
元象科技自2021年初在深圳成立以来，一直致力于打造AI驱动的3D内容生产与消费一站式平台。此次XVERSE-MoE-A4.2B大模型的发布，不仅是元象科技在AI技术研发上的重要里程碑，也是其推动国产开源技术发展的重要举措。
未来，元象科技将继续秉承“定义你的世界”的愿景，不断推动前沿技术的自主研发和应用创新，为AI领域的发展贡献更多力量。
关于元象科技：
元象科技成立于2021年初，是国内领先的AI与3D技术服务公司。公司致力于打造AI驱动的3D内容生产与消费一站式平台，并已在3D和AI领域取得了多项引领性的技术成果。元象科技累计融资金额超过2亿美元，投资机构包括腾讯、高榕资本、五源资本等知名机构。目前，元象科技已为多家龙头企业提供一站式技术与服务，包括澳门大三巴、南京大报恩寺、央视、腾讯音乐TMELAND等。
模型下载链接：
- Hugging Face: https://huggingface.co/xverse/XVERSE-MoE-A4.2B
- ModelScope魔搭: https://modelscope.cn/models/xverse/XVERSE-MoE-A4.2B
- Github: https://github.com/xverse-ai/XVERSE-MoE-A4.2B
对于XVERSE-MoE-A4.2B大模型的更多信息和应用案例，欢迎访问元象科技官方网站或关注元象科技官方微信公众号。
文章总结
元象科技最新发布的XVERSE-MoE-A4.2B大模型，以其卓越的性能和极致的压缩效果，成为AI领域的一大亮点。通过创新的MoE技术和独特的专家设计，元象科技不仅提升了模型的计算效率，还在多个权威评测中表现出色。此次全开源的商业应用布局，为中小企业和开发者提供了强大支持，推动了AI技术的普及和应用。未来，元象科技将继续推动前沿技术的发展，助力AI领域的创新和进步。