第486章 OpenAI的进展（2/4）
把这套玩意儿放到显卡上去跑，简直就是一场灾难！
纪元公司地下室里的那些英伟达显卡，是用来干嘛的？
那是用来搞并行计算的！
什么是并行计算？
就是一万个小学生，同时坐在教室里，每人拿一张卷子，大家一起埋头算加减乘除。
一秒钟，一万道题就算完了。
效率非常之高！
可是，RNN这个破架构，偏偏是个单行道！
它规定了，机器必须先看完第一个字，才能看第二个字。
看完第二个字，才能去处理第三个字。
这下好了。
一万个小学生坐在教室里。
只有坐在第一排第一个的那个小学生，在那满头大汗地算题。
算完一步，把纸条递给后面的同学。
剩下的九千九百九十九个小学生干嘛？
全在那干瞪眼，嗑瓜子，聊天打屁！
因为前面的数据没传过来，他们根本没活干！
这就是openAI现在面临的最尴尬的局面。
他们坐拥全世界最牛的算力金矿。
结果却在用一把生锈的小铁锹，一点一点地挖土。
GpU的算力利用率，低得令人发指。
机器全在闲置，电费白交，模型跑得比蜗牛还慢。
这还不算最要命的。
更要命的是，这个单行道架构，脑容量太小了！
伊利亚他们把维基百科上海量的文章打包，一股脑地喂给模型。
希望模型能读懂这些知识。
结果呢？
这模型就像个狗熊掰棒子，掰一个丢一个。
读一两句短话，它还能应付。
比如你喂给它：“今天天气很好。”
它能记住。
但是，如果你喂给它一篇长达几千字的长文章。
等它吭哧吭哧读到文章最后一段的时候。
它早把第一段写的是什么忘得一干二净了！
前面的信息，在长长的序列传递中，全被稀释没了。
伊利亚看着屏幕上模型刚刚生成的测试文本，简直欲哭无泪。
他们刚给模型喂了一大段关于美国历史的资料。
本章未完，请翻下一页继续阅读.........