Show-Me
可视化和透明的开源ChatGPT替代品
SwiftInfer是一个基于Nvidia TensorRT框架的大规模语言模型(LLM)推理加速库,通过GPU加速,极大提升LLM在生产环境中的推理性能。该项目针对流式语言模型提出的Attention Sink机制进行了实现,支持无限长度的文本生成。代码简洁,运行方便,支持主流的大规模语言模型。
本站趣搜呀提供的SwiftInfer都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由趣搜呀实际控制,在2025年1月24日 05:30收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,趣搜呀不承担任何责任。