找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 19|回复: 0

苹果晒M5芯片AI性能:相比M4芯片,文本生成最高提速27%

[复制链接]

2085

主题

0

回帖

6443

积分

管理员

积分
6443
发表于 2025-11-21 10:05:20 | 显示全部楼层 |阅读模式
IT之家 11 月 21 日消息,苹果机器学习研究博客于 11 月 19 日发布博文,公布了 M5 芯片的最新性能数据,重点展示了其在运行本地大语言模型(LLM)方面的显著优势。

此次性能评估的核心平台是苹果此前推出的 MLX,这是一个专为 Apple Silicon 设计的开源机器学习框架,它利用统一内存架构,让模型能够在 CPU 和 GPU 之间高效运行。

在核心的文本生成测试中,苹果使用了 MLX LM 工具包对多款开源大模型进行了基准测试,包括不同参数规模的 Qwen 模型和 GPT OSS 模型。

测试结果显示,M5 芯片在生成后续文本 token 时的速度比 M4 提升了 19% 至 27%。苹果指出,这一性能飞跃主要得益于内存带宽的提升,M5 的内存带宽高达 153GB/s,相比 M4 的 120GB/s 增加了 28%,这对于内存密集型的 token 生成任务至关重要。

报告进一步解释了 LLM 推理过程中的两种不同负载。IT之家援引博文介绍,生成第一个 token 主要受计算能力限制(compute-bound),而生成后续 token 则更依赖于内存速度(memory-bound)。



因此,M5 凭借其更高的内存带宽,在持续生成文本的场景中展现出明显优势。苹果还强调,配备 24GB 内存的 MacBook Pro 能够轻松运行参数量达 300 亿的 4-bit 量化混合专家模型(MoE),并将推理负载控制在 18GB 以内。

第一个 tokens 生成速度后续 tokens 生成速度内存 (GB)

Qwen3-1.7B-MLX-bf16

3.57

1.27

4.40

Qwen3-8B-MLX-bf16

3.62

1.24

17.46

Qwen3-8B-MLX-4bit

3.97

1.24

5.61

Qwen3-14B-MLX-4bit

4.06

1.19

9.16

gpt-oss-20b-MXFP4-Q4

3.33

1.24

12.08

Qwen3-30B-A3B-MLX-4bit

3.52

1.25

17.31

除了文本处理能力,M5 芯片在图像生成方面的提升更为惊人。报告提到,M5 芯片中集成了全新的 GPU 神经加速器,专门用于处理机器学习负载中至关重要的矩阵乘法运算。

得益于此项硬件升级,M5 芯片执行图像生成任务的速度是 M4 芯片的 3.8 倍以上。这一巨大飞跃预示着,未来搭载 M5 芯片的 Mac 设备将在创意设计、内容生成等视觉 AI 应用领域提供远超以往的流畅体验。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|花享网 ( 琼ICP备2024046163号-1 )

GMT+8, 2025-12-1 10:27 , Processed in 0.217961 second(s), 21 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表