我的MacBook Pro已经有3年历史了。这是我人生中第一次拥有一台3岁的主电脑。感觉没有危机,必须马上解决。没错,一部分是因为我在等苹果解决键盘故障,一部分是因为我还是受不了Touch Bar。但这也是因为三年的业绩增长不再是过去。
毫不夸张地说,摩尔定律是过去五十年世界上最重要的力量,是世界计算能力不可思议的指数级增长。因此,它的缓慢放缓和/或消亡是一件大事,不仅仅是因为后果正在蔓延到每个家庭和每个口袋。
我们所有人都希望其他领域成倍增长,这当然给了我们另一个类似的时代。人工智能/机器学习是一个很大的希望,尤其是机器学习反馈回路的遥远梦想。几十年来,人工智能成倍地提高了人工智能。现在看来不太可能。
事实上,一直都是。几年前,我和一家AI公司的CEO聊天,他认为AI的进步基本上是一条S曲线。我们在声音处理方面已经达到了顶峰,在图像和视频方面也接近了顶峰,但我们仍然只是将文本向上弯曲了一半。猜猜他公司专门哪个公司没有奖,但是他好像完全对。
本周早些时候,OpenAI发布了他们对AI1去年使用的计算能力如何增加的分析的更新。结果呢?它“以3.4个月的倍增时间呈指数增长(与摩尔定律相比,摩尔定律的倍增周期为2年)。自2012年以来,这一指标增长了30万倍(两年的倍增期只会产生7倍的增长)。”
那是…大量的计算能力来提高人工智能技术的状态。显然,这种计算增长无法持续。不是“不会”;我不能。不幸的是,训练人工智能计算能力的需求的指数增长几乎与摩尔定律的指数增长相吻合。在这个问题上投入更多的资金将无济于事——同样,我们在这里谈论的是指数增长率,线性成本调整不会动摇指针。
结论是,即使我们假设极大的效率和性能提升会降低放大倍数,但当我们计算能力的整体增长开始步履蹒跚时,人工智能的进步似乎越来越受到计算机的限制。也许会有某种突破,但如果没有突破,听起来就像是我们在寻找AI/机器学习的进步,从现在开始很快就会在可预见的未来稳定下来。