让一个轻量级的门控网络根据输入token动态决定激活哪几个专家网络。这样每次前向传播只需激活部分参数,模型总参数量可以做得很大,但实际计算量和能耗能降下来。还有……”
“等等,李总,”章博宇赶紧打断李宸的话,“有点跟不上了,先让我思考一下。”
“滑动窗口和全局注意力相结合...动态路由MoE,嘶,好像可行。”梁文锋的眼睛越瞪越大,脸上先是错愕,随即涌现出茅塞顿开的神情。
其中一个矮个子的小伙子激动得语无伦次:“天啊!这...这思路太清晰了!我们怎么没想到?李总...您简直神了!”
其他技术人员也反应过来,瞬间围拢过来,七嘴八舌地讨论起来,眼神里充满了对李宸的敬畏和崇拜。
原来他们的老板,不仅是金融之神,更是一位深藏不露的AI技术大神,寥寥数语就为他们拨开了迷雾,指明了一条光明道路。
对于他们来说,这种信手拈来的操作比百亿资产更让他们崇拜。
李宸看着陷入狂热技术讨论的团队微微一笑,拥有超越时代的眼界和系统加持的顶级智慧,点拨2023年初的AI技术就像是大学生回头看小学数学题一样。
章博宇忍住心中激动,继续说:“李总,您刚才还有什么要说的?”
其他人都停下对话,目光灼热地看着李宸,现在的李宸在他们眼中就是一个绝世高手,随便指点两招就能让他们受用无穷。
李宸没有让他们失望,将笔尖落在了数据预处理部分:“这里,你们太依赖公开基准数据集了。想想合成数据。用你们已有的强模型,针对弱项和长尾分布,生成高质量的训练数据,可以低成本地突破数据瓶颈,针对性提升模型在复杂任务上的表现。”
他的语速平稳,提出的思路直指当前AI模型研发中最前沿、最核心的痛点,整个会议室的人都听呆了。
“没错!”那个矮个子率先反应过来,“我们完全可以这样做,李总您太牛了!”
这也代表着其他人的心声,网上都传李宸高考作弊,此刻看来,这是完全子虚乌有的事!