您现在的位置是:首页 > 数码行业网站首页数码行业
阿里发布开源推理模型QwQ-32B 支持消费级显卡本地部署
- 编辑:嵇鸣柔
- 2025-03-06 10:01:35
- 来源:网易
【新闻速递】阿里云近日宣布,正式发布了其自主研发的大型语言模型QwQ-32B,并且同步开源。该模型参数量达到320亿,能够支持消费级显卡进行本地部署,从而降低用户使用大模型的门槛。
QwQ-32B模型基于Transformer架构,经过大规模数据集训练,具备强大的文本生成、理解及对话能力。它不仅支持多语言处理,还特别强化了对中文的支持,可广泛应用于智能写作、自动摘要、机器翻译、情感分析等场景。此次开源意味着开发者可以自由地使用、修改和分发这一模型,大大促进了AI技术的普及与创新。
阿里云表示,为了解决高性能计算资源昂贵的问题,他们采用了先进的模型压缩技术和高效的推理引擎,使得QwQ-32B可以在普通消费者级别的GPU上运行,如NVIDIA RTX 3060/3070/3080系列,这将极大地方便研究者和开发者在个人电脑或工作站上进行实验和应用开发,加速AI技术在各行各业的应用落地。
目前,QwQ-32B的源代码已托管于GitHub平台,欢迎全球的技术爱好者共同参与优化和完善。阿里云将持续更新模型性能,提供更多预训练权重文件以及详细的使用教程,以帮助用户更好地利用这一成果。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!