语言智能
我们研究大语言模型如何学习、推理与行动,涵盖预训练、后训练、强化学习及高效推理,致力于构建能力更强、更可靠的语言智能。
了解相关研究语言智能与知识工程实验室(Language Intelligence and Knowledge Engineering Lab,简称 LIKE Lab)隶属于北京大学计算机学院计算语言学研究所、多媒体信息处理全国重点实验室。实验室由 穗志方教授领导,长期致力于人工智能前沿研究,聚焦自然语言处理、大语言模型与多模态智能。
近年来,LIKE Lab 围绕大模型基础理论、模型训练与应用开展系统性研究,在自然语言处理和多模态学习等领域取得了一系列成果,论文发表于 ICLR、ICML、NeurIPS、ACL、CVPR、AAAI、EMNLP 等国际顶级学术会议。实验室多名毕业生加入 DeepSeek、Google DeepMind、小米 MiMo、腾讯、阿里巴巴、字节跳动等领先的大模型研发团队,持续推动人工智能研究与应用发展。
实验室积极开展产学研合作,与字节跳动、小米、腾讯、华为、百度等企业围绕大模型技术与智能应用开展联合研究。多名学生直接参与了 DeepSeek、MiMo、混元系列模型的训练与优化,为新一代大模型的发展贡献力量。
面向自主智能体的端到端评测套件,结合执行轨迹、审计日志与环境快照,从任务完成度、安全性和鲁棒性三个维度开展评估。
阅读论文Rollout Routing Replay 在训练时复用推理阶段的专家路由决策,通过对齐训练与推理路由,减少两者之间的偏差,在保持训练速度的同时防止 MoE 强化学习崩溃。
阅读论文训练智能体在持久化沙箱中操作电子表格、PDF、文档和幻灯片。有状态的执行反馈帮助模型规划多步任务、从错误中恢复,并对真实文件进行推理。
阅读论文利用稀疏自编码器特征,追踪观念在不同概念、语料与时间中的演变。共享且可解释的表示支持概念史的比较分析,也能捕捉隐含表达的观念。
阅读论文揭示专家路由变化是 MoE 强化学习不稳定的原因之一。Router-Shift Policy Optimization 将路由偏移纳入优化过程,提升训练稳定性以及数学和代码任务表现。
阅读论文根据问题难度估计并分配推理 token 预算。预算引导的强化学习在保持准确率的同时,将数学任务的平均回答长度缩短 61%,并支持用户自定义预算。
阅读论文Multi-Teacher On-Policy Distillation 在后训练阶段,针对学生模型自身生成的轨迹蒸馏多个专长教师的指导,将不同教师的能力整合到同一个语言模型中。
阅读论文从辨别能力、空间关系、有限可见性与无法定位请求的拒绝能力等维度评估视觉定位。包含 1,005 个样本的基准揭示了多模态模型在将语言与视觉证据关联时的明显不足。
阅读论文系统梳理语言模型如何从上下文示例中学习,涵盖模型训练、提示设计、机理分析、应用场景及开放挑战。
阅读论文通过细粒度专家划分与共享专家隔离,促进专家专业化,构建更高效的混合专家语言模型。
阅读论文揭示大语言模型评测中的位置偏差,并提出校准框架,使模型判断更接近人类评估。
阅读论文利用自动生成的监督信号,学习验证并奖励数学推理的每一个步骤。该过程奖励模型可用于答案选择与强化学习,无需人工逐步标注。
阅读论文一起交流、探索与发现,记录科研内外的点滴。

