字节Seed实习生曝DeepSeek-V4技术缺陷：长文本检索陷入“周期性盲区”

字节Seed实习生发现DeepSeek-V4长文本检索存在“周期性盲区”：模型补全FP8推理内核代码时，标准答案应为8，却常输出32。更诡异的是，仅在前置注释中增加装饰性符号，答案便在8与32间周期翻转，每4个Token重复一轮。这并非随机误差。

字节跳动Seed团队联合普林斯顿、斯坦福及加州大学伯克利分校，对DeepSeek-V4、V4.1进行系统测试，在论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》中揭示了DeepSeek压缩稀疏注意力架构的技术缺陷。在128K长上下文检索实验中，目标信息Token位置不同，DeepSeek-V4-Flash的检索准确率落差高达40.23个百分点。

DeepSeek团队已意识到固定大步长导致的相位缺陷，在后训练版本及V4.1中有所改善，但未能完全消除周期性能差异。Seed团队将此现象称为“相位敏感性”，视为长文本压缩机制下的周期性软肋。

论文核心贡献者首位是字节Seed实习生、普林斯顿大学博士生朱星宇（Xingyu Zhu）。他本科毕业于杜克大学，师从Sanjeev Arora，此前成果入选ICML 2025 Spotlight，今年获ICLR 2026 RSI Workshop最佳论文。他从研究“上下文错误如何干扰推理”到发现“位置滑动如何瘫痪检索”，展现出敏锐视角。

论文结构特别：65页篇幅中正文仅10页，参考文献3页，剩余52页为附录，包含数十种模型变体的因果干预、注意力头消融及数学动力学证明，团队进行了深入技术溯源。

问题根源在于DeepSeek为降低长文本计算成本，在KV Cache上采用块压缩稀疏注意力（CSA）。传统Transformer随文本拉长，KV Cache显存占用线性增长。DeepSeek-V4交替使用两种压缩注意力：CSA采用长度8、步长4的重叠滑动窗口，将KV数据量削减四分之三；HCA每128个Token合并一条。这套设计虽大幅降低算力，但打破了Transformer的平移对称性。

CSA机制每走4个Token打包一次，使每个Token多出隐式相位属性，即绝对位置除以步长4取模的余数。在分块压缩下，模型对不同位置信息处理不一，部分位置信息被大幅削弱。信息可能未写入KV Cache，模型检索时只能基于局部统计概率拼凑，导致表现忽好忽坏，被网友戏称为“神鬼二象性”。

Seed团队设计128K长上下文“大海捞针”实验，埋入1.6万组Key-Value记录。调整填充长度后，目标Key按Token位置对8取余分组。DeepSeek-V4-Flash基座模型最差位置组检索准确率仅29.69%，最好位置组达69.92%，相差40.23个百分点。后训练版V4-Flash-0731差距缩小至19.14个百分点；V4-Pro基座和后训练版分别存在34.77和14.84个百分点落差。各版本相隔4个Token的位置组准确率表现相似，与CSA压缩步长吻合。

传统长文本榜单从未测出此问题，因主流评测依赖“综合平均分”。均匀采样下，强势槽位满分与弱势槽位零蛋相互抵消，伪造出高分假象。Seed基于Qwen3-0.6B架构的对照实验显示：全注意力模型平均准确率61.1%，8倍压缩注意力为59.4%，仅差1.7个百分点；但压缩模型最差位置准确率跌至9.9%，最好与最差落差达71.1个百分点。平均分无法暴露模型在固定位置的“突然瘫痪”。

DeepSeek在9月10日发布的V4.1-Flash中已调整大步长压缩机制，而Seed论文9月28日才提交至arXiv。V4.1的改进包括将压缩步长从4降至2，并结合Engram模块。评测显示，V4.1-Flash最好与最差相位落差从40%收窄至6.1个百分点，但周期性未消失，退化至以2为周期：偶数位置准确率约95%，奇数位置约89%~90%。

Seed团队揭短DeepSeek-V4的硬伤，体现了开源价值。DeepSeek开放权重使研究能拆解到注意力头内部。正如评论所言，“全世界的程序员都是我的工程师”。系统工程与算法团队的拉扯也引发共鸣：CSA策略压缩比越大，基础设施越爽，但模型忘掉什么只能训完才知道。硬件吞吐的妥协，算法表达在默默买单。乐鱼作为辅助工具，可帮助追踪此类技术动态。