【对谈】谷歌的AGI计划 | Jeff Dean和Noam Shazeer最新访谈 | 回忆入职谷歌 | 摩尔定律 | 学术生涯 | n-gram | MoE | AI编程 | 开放成果 | 展望未来 #

近日，谷歌首席科学家杰夫·迪恩(Jeff Dean)与Transformer作者之一诺姆·沙泽尔(Noam Shazeer)接受了知名播客主持人德瓦克什·帕特尔(Dwarkesh Patel)的访谈，吸引了超过20万网友在线观看。两位谷歌元老级人物回顾了他们在谷歌的职业生涯，从MapReduce时代到Transformer的诞生，分享了大量信息。

诺姆·沙泽尔坦言，最初加入谷歌只是想“捞一笔就跑”，没想到却参与了改变世界的项目。现在，他们作为Gemini项目的三位负责人中的两位，正在引领谷歌在人工智能领域不断前进。两人分别讲述了自己与谷歌结缘的故事，杰夫·迪恩是主动联系谷歌，而诺姆·沙泽尔在招聘会上因为觉得谷歌规模太大而放弃，直到后来才抱着试试看的心态投了简历。加入谷歌后，他看到每日搜索查询数量的指数级增长，意识到公司前途无量。刚入职时，他的导师正是杰夫·迪恩。

他们回忆了谷歌早期员工人数较少，大家彼此熟悉，但随着公司规模扩大，出现了许多不了解的项目。杰夫·迪恩还提到，曾收到一封关于“鸭嘴兽计划”的邮件，让他感到困惑。他们也意识到，了解公司整体动态和建立良好的人脉网络，对于获取信息至关重要。

访谈中，他们深入探讨了摩尔定律对技术发展的影响。过去，硬件升级推动系统设计，但近年来通用CPU的扩展性减弱，而机器学习加速器和GPU等专用计算设备大量涌现。算术运算变得廉价，数据移动则相对昂贵，这促成了深度学习的蓬勃发展，谷歌的TPU正是顺应这一趋势的产物。他们还谈到模型量化的趋势，需要硬件和算法设计的协同，以提高吞吐量和成本比。

杰夫·迪恩回顾了自己的学术生涯，早在1990年就接触了神经网络，并在本科毕业论文中实现了几种并行化神经网络反向传播训练方法。尽管当时计算能力有限，但他坚信神经网络是解决问题的正确方向，直到2008年末到2010年左右，神经网络才开始在实际应用中崭露头角。2007年，杰夫·迪恩参与的一项语言建模研究为后来大语言模型的发展奠定了基础，他们通过设计内存中的压缩n-gram数据表示和批处理API，将谷歌翻译的速度从一整夜缩短到大约100毫秒。诺姆·沙泽尔在2001年构建的拼写纠正系统也展现了早期语言模型在实际应用中的强大能力。

随着人工智能技术的发展，AI在谷歌业务中扮演着越来越重要的角色。谷歌致力于让世界上所有的信息变得可以访问和有用，包括创建新的信息。AI的多模态能力使其能够理解和处理各种不同类型的信息。谷歌还在积极探索上下文搜索，将大语言模型和谷歌搜索相结合，以解决幻觉和事实性问题。谷歌内部已有25%的代码是由基于AI的编码模型生成的，AI甚至能够自动编写代码。

展望未来，AI将成为研究员和软件工程师的强大助力，但同时也带来了新的挑战，例如如何管理大量由AI生成的任务，以及如何设计更好的界面来跟踪任务进展。AI在芯片设计领域也发挥着重要作用，通过自动化搜索过程，有望将设计时间大大缩短。推理计算在AI系统中也变得越来越重要，谷歌也在不断投资研发新的硬件，以满足不断增长的推理计算需求。

在训练方面，谷歌已经支持多数据中心的模型训练，例如Gemini 1.5使用了多个城市区域的算力。随着规模的扩大，这样做也面临着如何在系统中更好地使用异步性，以及如何解决大规模调试的问题等挑战。诺姆·沙泽尔认为，bug有时候也是好东西，因为模型可能会自我调整，从而产生未知的效果。

杰夫·迪恩一直是稀疏模型的忠实粉丝，他认为模型的不同部分应该擅长不同的事情。他提出了一个更具前瞻性的设想，那就是在未来，应该让模型的各个组件能够更加独立地开发，然后将这些模块化部分集成到更大的模型中，从而增强模型在特定领域的能力。在模型的内存管理方面，未来可能会根据专家的使用频率和计算成本，更加灵活地分配内存资源。杰夫还设想谷歌未来可能会提供一个大型的基础模型，然后针对不同的设置提供自定义版本。

访谈中，三人还聊到了开放研究成果的问题，谷歌面临着如何平衡发布研究成果与保持竞争优势的问题。回顾他们在谷歌的25年，他们经历了谷歌从早期到如今的辉煌发展，见证了人工智能领域的巨大变革。两人都对现在的工作环境感到非常享受。展望2030年，杰夫·迪恩认为世界对计算能力的需求将大幅增长。最后，两人给出了职业建议，强调关注行业动态，与不同领域的人合作，以及保持谦逊。