
WechatFerry
微信机器人框架,可定制、强大、快速、开源。
Skywork-MoE-Base是一个具有1460亿参数的高性能混合专家(MoE)模型,由16个专家组成,并激活了220亿参数。该模型从Skywork-13B模型的密集型检查点初始化而来,并引入了两种创新技术:门控逻辑归一化增强专家多样化,以及自适应辅助损失系数,允许针对层特定调整辅助损失系数。Skywork-MoE在各种流行基准测试中表现出与参数更多或激活参数更多的模型相当的或更优越的性能。
本站趣搜呀提供的Skywork-MoE-Base都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由趣搜呀实际控制,在2025年1月17日 00:30收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,趣搜呀不承担任何责任。