（来源：上观新闻）
在这种👰👩🦱混合架构下👱♀️，线性🍀层只产🇬🇱☃出固定大小的循🇳🇴环状态，不随💐上下文变长而🥼🧜♂️膨胀；💉🛢只有全注意力层才🚸会生成和长🛂度相关的🌾🏏KV Ca⌨che🇯🇪🇹🇲。
此外，公🏊♀️🇮🇱司也正⬇充分发挥自身🇹🇿🦹♂️优势，与下游5️⃣🍛更广泛的合作伙伴👍共建生态☦☎。它用更🇱🇨😆少的钱，做🇫🇮出了接近甚至逼🇨🇰👈近SOTA的模型🥡；它拒🛂©绝融资🌽🏃，在一轮资本🐚狂热中保持克制；💛🇱🇺它强调效率，而不🤪🧚♀️是规模🧜♀️🤛。
作者包括🛩🍈Ruoyu 🐂Qin、Weir😡an He、Ya👟oyu 🥤🇲🇭Wang、⚖Zheming☄🇹🇭 Li、Xinr📴🍠an Xu、🇬🇧🥥Yongw🇨🇦🇳🇺ei Wu、W🧯eim👨🔧🇹🇻in Z🇲🇫heng、🎠🇸🇲Mingxing😷 Zhang🛢（通讯作😵🎰者）🇩🇿。
