国产显卡加速替代CUDA 摩尔线程开源vLLM-MUSA
智能科技 2024-11-06 wer5556

近日,摩尔线程在推动国产GPU AI发展方面迈出了重要一步,正式上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本。这一举措为开发者提供了基于摩尔线程全功能GPU进行MUSA移植的范例,有助于进一步完善和拓展MUSA应用生态。
vLLM作为一个高效且易用的大模型推理和服务框架,在业界已得到广泛应用。摩尔线程基于vLLM的v0.4.2版本进行了移植适配,使其支持摩尔线程GPU后端Device,并实现了完全开源。这意味着开发者可以在此基础上进行二次开发、升级vLLM到社区更新版本等操作,进一步推动AI技术的发展。
值得一提的是,摩尔线程的MUSA架构具有先进性,并且其软件栈对CUDA具有优良的兼容性。通过MUSIFY代码自动转换工具,用户可以轻松地将原有的CUDA代码迁移到MUSA平台,实现替代。同时,CUDA相关库的调用也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程的这一举措不仅大幅提升了应用移植的效率,缩短了开发周期,还为开发者提供了一系列实用工具和脚本。这有助于加速国产GPU AI的发展,推动AI技术在更多领域的应用和落地。更多关于摩尔线程vLLM-MUSA开源项目的信息,可访问其GitHub页面进行了解。
(来源:中关村) The End
相关阅读
- 快手电商个护日百行业开启秋冬双选会,助力商达把握双11大促生意机会
- 内置高通8295芯片+900V碳化硅平台!蔚来乐道L60部分信息曝光
- “耐玩战神”真我Neo7今日开售:2099元起,坚持质价比不动摇
- 正规现货黄金交易平台哪个好?炒现货黄金交易最低入金多少
- 消息称英伟达 RTX 5090 显卡 GPU 尺寸比 RTX 4090 的大 22%,仅次于 TU102
- 以硬产品好服务做复购生意,悦宝宝和悦悦妈快手618最高单场GMV达155万
- 理想汽车10月交付新车40422辆,同比增长302.1%
- 见证更多数字化力量!名气家荣获第七届数字化转型与创新评选双料大奖
- 2025联想创新科技大会:联想宣布正式重磅推出万全异构智算平台3.0版
- 单场最高GMV超4000万,快手达人老板娘原创设计以“品质生活月”赢战618