小红书 DoSA 将长上下文首 token 延迟无损减少近一半

小红书自研的稀疏注意力索引器加速方法 DoSA，通过分数上下界提前排除不可能入选的候选，在保持原始 Top-K 选择结果的前提下，实现了长上下文首 token 延迟近 50% 的无损减少。