lao1 me
搜索
首页/AI

原来上下文超过200k之后衰减这么夸张？

1814
  • Myth
    Myth2026-08-21
    11226

    评测数据基本超200k之后得分都腰斩了，那这样的模型跑分结果还有可信度吗

    搞1M上下文也没什么意义了 徒增费用

    图片

    感兴趣的可以研究一下

    图片

    contextarena.ai

    Context Arena

    Context Arena — LLM long-context benchmark leaderboard

    主楼
  • GloryDuck
    GloryDuck2026-08-21
    8299

    原来不止单次调用费用暴涨，智力也暴跌啊

    #1
  • 朴实无华
    朴实无华2026-08-21
    57509

    对呀，所以CODEX 272k 压缩是有道理的，不用追求过长，过长弱智

    #2
  • Mr.Hua
    Mr.Hua2026-08-21
    23805

    就跟人一样，东西里太多,有时候就等于啥都没记住

    #3
  • hubiao
    hubiao2026-08-21
    20248
    # 将上下文窗口设置为 372,000
model_context_window = 372000
# 将自动压缩阈值设置为 272,000
model_auto_compact_token_limit = 272000
    #4
  • ld.so
    ld.so2026-08-21
    26373

    这个压力测试有点意思，基本就是逼着模型感官超载。实际情况下不会这么差，除非你一个对话里N个话题拼命横跳：

    图片

    AI: 这信息量有点大

    #5
  • Jamie
    Jamie2026-08-21
    15393

    就想让ai帮我读电子书怎么办， 都是很长的

    #6
  • admini-linuxdo
    admini-linuxdo2026-08-21
    7702

    没那么严重，测试方式和测试数据样本不全面。当然大上下文是要不断探索的领域和解决模型幻觉一样重要。

    #7
  • 时牧
    时牧2026-08-21
    4321

    是啊，所以gpt在codex用只需要258k上下文

    #8
  • 7xWEcQ
    7xWEcQ2026-08-21
    11843

    这样设置的话那个372没意义吧，272就压缩了，要么就全默认得了。要减少压缩频率增加点上下文长度，正常不是372+353吗。

    #9
  • alizoed
    alizoed2026-08-21
    13055

    要比难道不应该对比压缩后和不压缩的吗

    比如一个是采用200k 压缩，一个是纯靠长上下文，看哪个好

    #10
  • 紫剑
    紫剑2026-08-21
    57510

    一直以来都是这样，所以基本不看有多少上下文，提早压缩。ds我感觉100就得压缩

    #11
  • 时牧
    时牧2026-08-21
    4321

    图片

    Tibo 7月13日的发帖原文

    7月18日 PR #33972 正式把 bundled metadata 锁死在 272000

    之后直到现在（2026-08），默认仍是 272k raw / 258.4k effective

    #12
  • 陈小爬
    陈小爬2026-08-21
    8880

    cc里我设置的272k压缩，但是有33k的缓冲，在239就自动压缩

    #13
  • nianshou
    nianshou2026-08-21
    37437

    但是压缩后也会损失质量。你得对比一下1m和压缩究竟哪个损耗最大

    #14

发表回复

登录后回复