10月16日消息，还记得去年底引发热议、上热搜的“95后AI天才少女”罗福莉吗？
据媒体报道，小米和北京大学联合署名的论文近日发表于arXiv，曾被曝获小米集团创始人兼CEO雷军以千万年薪招募的DeepSeek“天才少女”罗福莉，就出现在了这篇论文的通讯作者之列。
不过值得注意的是，论文作者中并没有标注罗福莉属于小米大模型团队。
公开报道显示，罗福莉是95后，本科就读于北京师范大学计算机专业，硕士毕业于北京大学计算语言学研究所计算语言学专业。
毕业后的罗福莉曾在阿里巴巴达摩院主导开发了多语言预训练模型VECO，并推动了AliceMind的开源工作，2022年入职DeepSeek，参与了MoE大模型DeepSeek-V2的研发。
去年年底，据证券时报独家报道称，小米创始人雷军亲自出手“挖人”，以千万年薪的优厚条件，成功招揽了DeepSeek开源大模型DeepSeek-V2的关键开发者之一——罗福莉，让她领导小米的AI大模型团队。
这也使其冲上热搜，但双方至今都未公开声明是否正式入职小米。
不过，今年2月18日，罗福莉在朋友圈发文呼吁：“请互联网还我一片安安静静做事的氛围吧！几年前就说过我并非天才少女，神化一个人的结果就是捧得多高摔得多重!”
据悉，这篇论文提出了提升MoE模型强化学习训练的新方法Rollout Routing Replay（R3）。
当下，强化学习已成为提升大语言模型能力的关键方法。然而在MoE模型中，路由机制往往会引入不稳定性，甚至导致强化学习训练崩溃，但现有的引入重要性采样机制等并不能提升训练稳定性。
不同于此前采取诸如丢弃差异较大的数据之类的变通方法，这篇论文的研究人员希望通过解决路由分布也就是R3来根本性解决这个问题。
本文转载于快科技，文中观点仅代表作者个人看法，本站只做信息存储
显示全部
收起
本站部分文章来自网络或用户投稿，仅供信息存储。阅读前请先查看【免责声明】,若本文侵犯了原著者的合法权益，可联系我们进行处理。本文链接：https://m.trustany.com/post/12483.html
