字节Seed团队发现DeepSeek模型存在相位敏感性问题

字节Seed团队研究发现，DeepSeek-V4系列模型在处理长上下文时，检索准确率会随信息在输入中的位置呈现周期性波动，这种现象被称为相位敏感性。研究指出该问题源于分块KV Cache压缩技术，不同位置的信息在压缩过程中会产生系统性差异，导致模型表现不稳定。研究建议在评估此类模型时，需关注不同压缩相位下的检索表现，而非仅依赖整体平均分。