小米MiMo大模型的负责人罗福莉在最新发布中介绍了MiMo-V3的新架构HySparse2，并同步发布了相关技术论文。这一新架构旨在解决Agent在执行多轮任务时遇到的三个主要问题：长输入处理复杂、缓存占用过大、以及长上下文中的信息检索精度。数据显示，相较于前一版本MiMo-V2.6的Hybrid SWA架构，HySparse2在处理长输入时的预填充计算量降低了约五分之一，KV Cache占用减少至原来的约四分之一，同时对长上下文检索的表现也有所改善。

HySparse2的论文由小米的LLM-Core团队撰写，包含15位作者，罗福莉为通讯作者。论文中涉及了四项DeepSeek的相关研究及OpenAI的模型评测成果，展现了其在技术上的深厚基础。

仅在小米于9月22日发布新一代MiMo-V2.6系列后两天，罗福莉再次推出了新架构，显示出小米在大模型领域的持续创新。新的MiMo-V2.6已经进行了一次大规模的强化学习训练，并预计后续将开放更高效的版本。 qy球友会官网

HySparse2通过两级KV共享的机制，显著减少了模型在处理长输入时的计算和缓存需求。在此架构中，模型分为Self-Decoder和Cross-Decoder，前者生成的状态可以被后者直接利用，从而避免完整处理所有输入。这种优化不仅减少了计算负担，还提升了上下文信息检索的速度和准确性。