原来这么激进的量化还能保持这种性能吗^-^ 单独用 TurboQuant 分支还是要麻烦了，毕竟主线也默认启用了 KV Rotation。 如果还想压榨一下上下文长度可以手动把 FFN 放到内存里，对速度影响不会太大https://linux.do/t/topic/2684842/22?u=wa39