- bigice2026-08-15
最近在研究语音转录，设备是M4 Mac mini，一段20分钟的录音转成文本，最快需要多长时间？4秒，你没听错，就是4秒。
事情是这样的，我先测了几个主流asr，选择了qwen3asr0.6b模型，一开始20分钟花了2分钟转录完成，感觉已经很满意了，但用于视频总结感觉还是太慢，于是就找了各种量化版，mlx版测试，最终优化到30秒。
有一天，我把一段录音放到备忘录里，本身想着用来同步到手机的，结果突然发现备忘录有了转文本功能，而且是瞬间完成的，我以为是苹果云端发力了，当时想着云端就是快啊。后来转念一想，不对啊，苹果不是强调本地ai加隐私的吗，怎么随便上传用户录音呢，于是查了下，没想到竟然是本地模型。
然后就让 agent 调研了一下，用的技术是苹果专门训练的小模型加神经网络引擎ANE推理，20分钟只需4秒就能转录完毕。
至此，我下两个判断：1. 专用模型配专属硬件上限极高 2. 苹果被低估了，未来moe加小模型加神经网络引擎很有可能造就本地大模型的王
主楼 - GPLer-linuxdo2026-08-15
ANE 对 AI 来说算通用硬件了，能耗比强，性能不一定打得过 GPU 吧
iPhone 算力理论上应该没 M4 强，如果更快应该是参数量更小，但如果效果还好，就很可疑了(联网)，要不试试关 WiFi 开飞行模式新转一段看看，如果真的又快又好可以考虑提取出来用了 ^-^
- 野狗2026-08-15
之前就有直接将推理网络硬件化的研究，能达到百倍甚至千倍的速度提升，缺点就是成本和迭代速度
还有GPT5.6 Sol 传说中的Cerebras 芯片，据说速度达可以达到750 tps
也许未来模型架构迭代降速后，硬件化会更普遍？
- bigice2026-08-15
不是是在Mac备忘录里转的，而且用swift成功调macOS API复现了
- anon2026-08-15
不过这真的叫"专属硬件配专用模型"么?
- GPLer-linuxdo2026-08-15
- neteroster2026-08-15
就llm来说，moe本来就不小，moe是要大才有效的，你要么选择超大内存放低带宽和计算要求，要么选择放弃大内存但你不得不需要很大的带宽和计算，没有免费午餐