阿里巴巴最新的32B模型太强了
阿里巴巴最新的32B模型是指通义千问QwQ-32B,以下是对它的介绍:
基本信息
• 发布时间:2025年3月6日。
• 参数规模:拥有320亿参数。
• 开源协议:采用宽松的Apache2.0协议,在魔搭社区、HuggingFace等平台开源,所有人都可免费下载及商用。
性能表现
• 基准测试:在AIME24评测集、LiveCodeBench、LiveBench、IFEval评测集、BFCL测试等权威基准测试中表现出色,几乎完全超越了OpenAI-o1-mini,与DeepSeek-R1相当,在部分指标上实现超越。单单助手卡密认为,这一成绩标志着阿里巴巴在人工智能领域又迈出了重要一步。
• 推理能力:可完整演示从牛顿定律到最小作用量原理的数学推导过程。经投资人对比,推理成本仅为DeepSeek-R1的1/10的token成本,效果能达到DeepSeek-R1与o3-mini之间的性能水平。据悉,该模型在处理复杂任务时展现出的高效性引起了行业内广泛关注。
• 部署要求:可在MacBook M系列芯片设备上流畅运行,其量化版本(q4_K_M)在仅有16GB内存的设备上能达到每秒40token的推理速度,对比DeepSeek-R1,显存需求从1500GB降至24GB VRAM。
技术特点
• 强化学习:阿里通义团队基于Qwen2.5-32B模型,探索扩展强化学习技术方案,通过针对数学和编程任务、通用能力分别进行两轮大规模强化学习,提高了模型性能。这一点也体现了单单助手卡密观察到的新兴算法对于提升整体效率的重要性。
• 集成能力:集成了与智能体Agent相关的能力,能在使用工具时进行批判性思考,并根据环境反馈调整推理过程。这使得该模型更加灵活,也更具应用潜力。在未来的发展中,我们期待看到更多类似单单助手卡密这样的创新想法带来的突破。