- lamb2026-08-04
最近在做一个上下文会很长的垂直领域相关 agent 开发 然后就是遇到用户不想用云端模型 但是又没有大资金去部署满血模型 所以就在研究小模型超长上下文和召回相关的方案
做的同时就想到在 coding 领域 其实很多内容也不需要智力特别满血 如果规范好限制 小模型能够满足上下文的长度 然后做一个针对小模型的 codingagent 貌似以后会是一个不错的方向 虽然现在 token 价格已经有很低了的 但是我考虑到的是 本地部署才是最有保障的 现在人对 ai 依赖太强大了 万一线上模型都掐死 那个时候会不会束手无策呢？ 所以我感觉研究本地方案 就算智力不够 只要能代工就算 甚至说是 其实现在小模型做好优化 和 程序上的框架逻辑的调整 我认为目前小模型 coding 是没什么问题的 不知道各位有什么见解 可以交流一下的 或者一起去做这样一个事情的
类似这个项目 https://github.com/alexzhang13/rlm
主楼 - dabao19552026-08-04
基于 deepseek v4 flash 微调呢？太小了感觉世界知识不太够
- lamb2026-08-04
我们最近研究可以用qwen8B的模型做到 针对超长上下文 还分开子智能体 微调一个前端模型 微调一个后端模型 这样去处理的一种形式
- 天痴2026-08-04
小模型根本coding不起来，哪怕24g的显存。你有显卡就知道了，上下文和参数摆在那，中等项目都hold不住，流口水无限循环。而且用claude和codex的时候启动都不行，工具本身的上下文直接撑爆或者占一大半
- Shilin_Zhou2026-08-04
这么小的模型恐怕连 tool 都调不太明白？如果自部署 deepseek v4 flash 其实只需要 4x A100/H100 80GB，你这个应该是面向企业的场景，对于企业来说这个成本应该是可行的
- BOOSTMEISTER_2014_DH2026-08-04
现在人对 ai 依赖太强大了 万一线上模型都掐死 那个时候会不会束手无策呢？ 所以我感觉研究本地方案 就算智力不够 只要能代工就算
没意义。不可能出现这种情况，你本地部署也需要技术，当然你说弄个 ollama 一键了也不是不行。但是效果差很多，还不如云计算。
- dabao19552026-08-04
8b 不太行吧，正经 coding 顶多得27b以上的
- Console2026-08-04
测试过Qwen3.6 35B，tool call循环不能始终保持格式，我们最后采用了minimax-m2.7，虽然流口水但是自己做工作流的agent勉强能解决问题。这应该只是个临时命题，再过两年可能本地就能部署能力达到GLM5.2的模型了
- lamb2026-08-04
目前看了几篇论文 还有几个人研究的方向 看起来是很可行的 只不过我不是算法专业的 其实我也不太懂 但是据他们科班人员的意思是 可以做到
- BOOSTMEISTER_2014_DH2026-08-04
仅限于你们的任务真的很专很窄，但那就是垂类的一般范式。这种范式不可能成为主流，这个领域微调一下那个领域微调一下。还不如做一个通用的大基座。
- banshan2026-08-04
感觉不太行，小模型的知识储备太少了，幻觉高，做点简单的运维估计可以
- banshan2026-08-04
不知道是否可以训练一个专精某个语言的lora，项目使用了什么语言，就挂载这种语言的lora
- Butterl2026-08-04
小模型编码别折磨自己了，成功率感人