“成功了？”穿着一件黑T恤的埃隆马斯克双臂抱胸，头发凌乱。
“没有，训练损失值始终是一条线，失败了。”伊利亚虽然面无表情，但眼中却闪过一丝失望。
“Fxxk！！！橘子在这种学习率下，为什么不会梯度爆炸？”布洛克曼气愤的锤了一下桌子，“他们是怎么做到的？除了注意力机制，他们一定还使用了其他机制！”
半个月了，他们自从拿到橘子大模型内测权限后第二天，就展开了对橘子大模型的逆向工程。
这种逆向太难了，毕竟橘子大模型的运行是在柚子科技服务器上的，而不是在openAI的电脑本地。
第274章恶人先告状（第一更）
但从接口和数据上，其实是能看出一些端倪的。
而且经过柚子科技的证实，橘子大模型在架构上融入了注意力机制。
注意力机制并非AI研究的热门方向，准确的说，这个机制是前年才刚刚被蒙特利尔大学的德米特里巴赫达瑙在一篇关于机器翻译的论文中偶然间提到的。
这个机制解决了序列到序列模型在处理长序列时的信息压缩问题。
但也仅此而已，并没有掀起太大的水花。
内容未完，下一页继续阅读