方豫微微一笑：“不撤单，撤什么单，我又没说现在就要做芯片，你先把这款芯片设计搞出来再说。”
软件+硬件，双管齐下，看来柚子架构注定是要一统江湖喽！
近十年人工智能的发展，最重要的两个节点其实都是古狗引导的。
第一个节点毫无疑问是deepmind的阿法狗，而第二个节点则是古狗大脑在2017年6月发的那篇惊世骇俗的论文《注意力是你需要的一切》（attentionisallyourneed）。
在这篇论文中，古狗大脑的八位研究员，首次提出多头注意力机制在NPL上面的潜力。当时最原始的transformer模型仅仅只有100M，而这个模型，完全抛弃了循环神经网络（RNN）和卷积神经网络（），取而代之的是完全不同的注意力机制以及编码器-解码器架构。
值得注意的是，openAI中的伊利亚并不是这篇文章的作者之一的伊利亚波洛苏金。
这篇文章在17年6月12日发布后，并没有第一时间造成很大影响，并且由于其难以收敛，并不比相对成熟的LSTM效率更高，因此在这个阶段，大部分研究者的视线并未投向注意力机制的transformer架构，这里也包括openAI。
openAI在2018年年初，还在用LSTM进行训练，并且在Dota2里击败了人类。而仅仅几个月之后，openAI就发布了GPT-1。
这说明，几个月的时间，足够制作一个大模型。
【本章阅读完毕，更多请搜索途阅小说;http://www.hiphopculturebook.com 阅读更多精彩小说】