自助推荐区
加入

Yuan2.0-M32-hf-int8

1年前发布 17 00
收藏 0

高效能混合专家语言模型

收录时间：
2025-01-23
前往网站

Yuan2.0-M32-hf-int8是一个具有32个专家的混合专家(MoE)语言模型，其中2个是活跃的。该模型通过采用新的路由网络——注意力路由器，提高了专家选择的效率，使得准确率比使用传统路由网络的模型提高了3.8%。Yuan2.0-M32从头开始训练，使用了2000亿个token，其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。该模型在编程、数学和各种专业领域展现出竞争力，并且只使用37亿个活跃参数，占总参数40亿的一小部分，每个token的前向计算仅为7.4 GFLOPS，仅为Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基准测试中超越了Llama3-70B，分别达到了55.9%和95.8%的准确率。

数据评估

Yuan2.0-M32-hf-int8浏览人数已经达到17，如你需要查询该站的相关权重信息，可以点击"5118数据""爱站数据""Chinaz数据"进入；以目前的网站数据参考，建议大家请以爱站数据为准，更多网站价值评估因素如：Yuan2.0-M32-hf-int8的访问速度、搜索引擎收录以及索引量、用户体验等；当然要评估一个站的价值，最主要还是需要根据您自身的需求以及需要，一些确切的数据则需要找Yuan2.0-M32-hf-int8的站长进行洽谈提供。如该站的IP、PV、跳出率等！

关于Yuan2.0-M32-hf-int8特别声明

本站趣搜呀提供的Yuan2.0-M32-hf-int8都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由趣搜呀实际控制，在2025年1月23日 02:31收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，趣搜呀不承担任何责任。

趣搜呀致力于优质、实用的网络站点资源收集与分享！本文地址https://qusoya.com/sites/23574.html转载请注明

相关导航

暂无评论

none
暂无评论...