腾讯音乐(Music)天琴实验室发布muselight 2.0 帮推奇喵相机等众个大模子行使落地

1月29日，腾讯音乐(Music)正式发布了奇喵相机应用，用户可以上传单张图片，无需训练等待即可在10秒内生成好玩的形象复刻照片。而奇喵相机领先行业水平的绘图速度背后，则是得益于腾讯音乐(Music)娱乐(Entertainment)集团（TME）旗下天琴实验室深耕多时的MUSE FaceIn形象复刻能力，以及MUSELight 大模型加速框架。在MUSELight的加持下，奇喵相机获得了 30%+ 的性能提升，极大缩短了出图时间，提升用户体验的 丝滑感 。

奇喵相机主页图

近日，天琴实验室正式发行MUSELight 2.0版本，这一业内领先的大模型推理加速应用，将从技术层面协助行业解决大语言模型（Large Language Models，LLMs）及Stable Diffusion（SD）模型在实际部署应用上的难点，为LLM和SD模型在多个领域的应用落地提供了有利支持，助推企业和机构更好达成数字化转型和智能化升级。

助力解决大模型部署难点，MUSELight 2.0版技术再升级

近一年来，在自然(Nature)语言处理（Natural Language Processing，NLP）领域，随着ChatGPT等大语言模型问世，国内外开源大语言模型生态逐渐丰富，在不同领域均出现了庞大的需求和应用落地案例。此外，SD模型也在视觉生成领域掀起了一场 工业革命 ，带动了一批新的AI画图需求和落地应用。然而，大模型部署所需的成本及硬件要求，让多数企业望而却步。如何提高模型的推理速度，并在一卡难求的情况下提高显卡利用(Use)率，降低大模型部署成本，已成为业内关注的热点问题。

作为腾讯音乐(Music)首个音视频实验室，天琴实验室针对大模型应用落地的痛点，已于今年(This Year)5月发布了MUSELight大模型推理加速框架1.0版本，获得业内诸多好评。

据了解，天琴实验室本次研发的MUSELight加速框架2.0版本引入了Flash Attention 2、Flash Decoding，启发式自动选择不同的 Attention 达成算子等技术，支持多个主流开源LLM及SD模型的推理加速，且加速速度在业内遥遥领先。MUSELight通过对模型重新进行(Carry Out)自顶向下的独创性优化，合理安排显存内存间数据交换、显存复用、优化计算流程，针对不同GPU架构，对不同类型计算层进行(Carry Out)数据和计算线程的重排，以及特别的推理场景算子优化等技巧，使得其能够大幅提升显存利用(Use)率和计算效率，减少大量非必要的访存、计算开销，为解决模型推理部署中的瓶颈问题提供了强有力支持。

助推多个模型应用落地，MUSELight 2.0版广受认可

据悉，MUSELight 2.0版对SD模型加速版本lyraSD也进行(Carry Out)了升级，新增了支持所有SD1.X 以及SDXL 版本模型加速的功能，且加速性能与业内其他加速框架相比提升了5%-40%不等。此外，lyraSD还支持多种主流SD绘图场景以及插件，如文生图、图生图、模型热切换，各种插件热切换（如Lora，LCM Lora，ControlNet，IPAdapter）等，并支持stable-diffusion-webui和diffusers框架下的推理。

lyraSD与目前(Currently)开源的、使用广泛加速框架测速对比图

在奇喵相机之外，MUSELight更与腾讯云进行(Carry Out)深度合作，向行业合作伙伴进行(Carry Out)赋能，助力行业提供更快的大模型推理体验，同时大幅度降低成本。此外，MUSELight还与作为全球数字科创领域独角兽的APUS达成了云上云下全方位合作，提升绘图中台能力30%-40%，APUS负责人评价道： MUSELight的加速效果和使用都非常好，很好地满足我们(We)的需求。

LLMs方面，升级版的MUSELight推理加速引擎可达成对ChatGLM-6B模型进行(Carry Out)5.5倍加速，最大吞吐量达9000+ tokens/s。除了达成更高效的计算外，MUSELight 2.0版本还支持长序列场景下的推理，能满足更高的推理需求，扩充了LLM产品的应用场景，为用户提供更优秀的使用体验。

以lyraLLaMA-13B为例，MUSELight与行业内其他加速框架测速对比图

在实际应用落地方面，MUSELight为微信键盘的文本润色模块提供了部署支持，模型加速收益显著，达到了大语言模型的上线标准。具体而言，短文本可以基本 秒 生成，用户 几乎 无需等待；同时产品场景也得到扩充，能够支持长文本润色，排版优化等功能，进一步提升了用户体验。微信键盘文本润色模块相关负责人表示： 整体上看MUSELight为微信键盘文本润色模块带来了大约100%的速度提升以及50%的成本降低，很好地满足了业务快速上线的需求 。

除微信键盘外，天琴实验室还与腾讯会议、科恩实验室等业务团队合作完成了多个模型的大规模部署上线，得到了客户的广泛认可和高度评价。同时，MUSELight 2.0版本已为直播礼物实时绘图、壁画悬浮歌词音箱绘图等提供了解决方案。通过应用MUSELight加速框架，部署LLM及SD模型的成本大幅降低，让更多企业承担得起大模型的部署和应用费用，进一步推动了科技(Technology)成果有效落地转化， 智赋 各行各业。天琴实验室表示， 将来会持续同步新功能和支持的新模型 ，进一步降低企业大模型部署成本，助推大模型应用落地。

作为祖国在线音乐(Music)娱乐(Entertainment)服务开拓者，腾讯音乐(Music)娱乐(Entertainment)集团始终致力于推动科技(Technology)创新，通过技术和数据的赋能，为用户带来更好的产品体验。将来，AI领域和数字音乐(Music)产业势必将面临诸多新挑战，相信天琴实验室能够为行业的大模型应用带来更多案例与赋能，引领数字音乐(Music)行业高质量发展。