小文AI论文
学术旅程伴侣,智慧创作之选。轻松解决论文写作难题,AI论文助您一键完成,仅需一杯咖啡时间,即可轻松问鼎学术高峰!
Yuan2.0-M32是一个具有32个专家的混合专家(MoE)语言模型,其中2个处于活跃状态。引入了新的路由网络——注意力路由器,以提高专家选择的效率,使模型在准确性上比使用传统路由器网络的模型提高了3.8%。Yuan2.0-M32从头开始训练,使用了2000亿个token,其训练计算量仅为同等参数规模密集型模型所需计算量的9.25%。在编码、数学和各种专业领域表现出竞争力,Yuan2.0-M32在总参数40亿中只有3.7亿活跃参数,每个token的前向计算量为7.4 GFLOPS,仅为Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基准测试中超越了Llama3-70B,准确率分别达到了55.9%和95.8%。
本站趣搜呀提供的Yuan2-M32-hf-int4都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由趣搜呀实际控制,在2025年1月23日 02:31收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,趣搜呀不承担任何责任。