本文来自微信公众号：字母AI，作家：袁心玥开云kaiyun，裁剪：王靖开云kaiyun，题图来自：AI生成
Transformer的奠基东谈主，启动参与寻找Transformer之后的下一步。
Google工程副总裁、Gemini模子联结崇拜东谈主Noam Shazeer在X上晓示，我方将离开Google，加入OpenAI。
Shazeer是《Attention Is All You Need》的中枢作家之一，最早的“Transformer八子”就有他的名字。
从GPT到Claude、从Gemini到险些系数主流大模子，当代AI的底层结构都绕不开Transformer，而Shazeer恰是最早参与界说这套结构的东谈主之一。
2024年，Google曾通过一笔约27亿好意思元的手艺授权与东谈主才回流交往，把Shazeer和部分Character.AI团队重新请回Google，让他参与Gemini模子研发。不到两年后，这位Gemini联结崇拜东谈主再次离开Google，回身去了OpenAI。
据OpenAI首席相关官Mark Chen发帖，Shazeer将担任OpenAI新的架构相关崇拜东谈主。
Sam Altman也发帖示意，从OpenAI创立之初，Noam等于他最想相助的东谈主之一。他等这一天等了十年，但很值得。
被Google反复追回的东谈主，又离开了Google
Noam Shazeer并不是第一次离开Google，从他的领英账号来看，他的奇迹生存险些一直在和谷歌“拉拉扯扯”。
Shazeer曾在2024年8月播出的Dwarkesh Podcast访谈中说，我方似乎每隔12年就会重新加入一次Google：2000年一次，2012年一次，2024年又一次。
2000年12月，Shazeer加入Google，成为公司早期的软件工程师。当时的Google还很年青，他亦然最早一批加入公司的工程师之一。
Shazeer最早参与的关键神气之一，是创新Google搜索的拼写纠错系统。但他感兴味的不仅仅搜索——还有AI。
他在播客里说，我方当年加入Google，有一个很朴素的主张：先赚一些钱，以后就不错遥远作念AI相关。
2009年，Shazeer曾良晌离开Google。公开府上并莫得详备阐发此次离开的原因。其后他在播客中回忆，几年后我方回Google和细君吃午饭，恰巧坐到了Jeff Dean和早期Google Brain团队足下，被那群东谈主重新眩惑。
2012 年，Shazeer重新加入Google。那一年，Google Brain正处在早期阶段，Jeff Dean等东谈主正在把深度学习从相关神气鼓舞到Google里面更中枢的位置。此次总结也让Shazeer从早期搜索工程体系，转向Google的AI主航谈。
几年后，Shazeer的名字启动真实插足当代AI史。
2017年，他和Ashish Vaswani、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、Illia Polosukhin等东谈主共同发表《Attention Is All You Need》，建议了Transformer架构。
其后发生的事情，还是不需要太多解释。险些系数主流大模子，底层结构都绕不开Transformer。
Transformer除外，Shazeer很早就参与推动寥落MoE，也等于搀杂行家模子——这条阶梯的中枢念念想是，不让每次计较都激活通盘模子，而是凭据不同输入调用不同“行家”模块，从而在扩大模子容量的同期放弃计较本钱。
其后，MoE成为大模子扩展和成果优化的关键标的。
2021年，Shazeer和Google共事Daniel De Freitas离开公司，创办Character.AI。据传，这件事的导火索是Google拒却公开采布他们参与开采的一款聊天机器东谈主。
那款居品最初名为Meena，指标是让AI能围绕鄙俚话题伸开当然对话。
据《华尔街日报》报谈，Shazeer曾在一份里面备忘录《Meena Eats the World》中算计，这类聊天机器东谈主有可能取代Google搜索，并创造数万亿好意思元收入。
但Google莫得选拔发布它，高管给出的事理包括安全性和平允性风险。对Google来说这能够是严慎，但对Shazeer这么的东谈主来说，更像是一个巨大契机被放下——而契机被放下，时时意味着被错过。是以Shazeer离开了。
一年后，OpenAI用另一种方式线路了Shazeer的判断。2022年11月，ChatGPT让全宇宙意志到，聊天机器东谈主可能成为闲居东谈主斗殴AI的第一进口。
Character.AI也在这股海浪中快速起势。
2023年3月，Character.AI完成1.5亿好意思元融资，估值达到10亿好意思元。它主打各式可对话的AI变装，用户不错和实用助手、虚拟东谈主物以致名东谈主形象聊天。
当年莫得放行Meena的Google，临了又不得不把Shazeer请回来。
2024年，Google与Character.AI达成一笔零散交往：Google获取Character.AI的部分手艺授权，同期把Shazeer、Daniel De Freitas以及部分相关团队带回Google DeepMind。
为了拿到手艺和东谈主，Google付出的代价高达约27亿好意思元。
据《华尔街日报》报谈，Shazeer也因为抓有Character.AI股份，在这笔交往中获取了数亿好意思元收益。
换句话说，Google当年拒却发布的聊天机器东谈主阶梯，临了以另一种玄妙的方式回到了Google。
总结后，Shazeer加入Gemini中枢蛊惑层，参与Google最关键的大模子研发。他的头衔变成了Google工程副总裁、Gemini模子联结崇拜东谈主。
不到两年后，剧情又迎来出动——Shazeer又一次离开Google。这一次，他去的是作念出ChatGPT的OpenAI。
细想来，他的故事若干像是一段对于chatbot的孽缘。
Transformer之后，下一个改变时期的架构
据OpenAI首席相关官Mark Chen的说法，Shazeer将担任OpenAI新的架构相关崇拜东谈主。
往日几年，大模子行业最熟练的叙事是scaling law：更大都据、更大模子、更多算力、更长凹凸文，带来更强智力。
但从2024年启动，越来越多迹象标明，单纯扩大预历练范围的角落收益正不才降。
Ilya Sutskever曾公开示意，预历练看成往日几年最关键的scaling配方，正在接近数据和门径上的范围；淌若仅仅把范围再放大100倍，并不会自动带来下一次GPT-3到GPT-4式的向上。
另一方面，Transformer自身的短板也启动暴露馅来。
前些年，大家还会把问题解析成“模子还不够大”或者“凹凸文还不够长”，但当今越来越多相关高慢，许多智力瓶颈并不仅仅范围问题，而是架构问题。
比如，长凹凸文不等于真实顾虑。模子不错在几十万以致上百万token的凹凸文里检索信息，但这不代表它确实保重了一个庞大的里面情状。它能回看往日，不等于它明晰当下的情况。
再比如，念念维链不等于真实推理。Chain-of-Thought、reasoning model、test-time compute的流行，阐发模子如实需要更多中间计较。但淌若每少量情状变化、每一个浅易推理，都要靠显式翰墨写出来，再重新喂回模子，本色上是一种相配玄妙的补丁。
Google DeepMind前段时辰发的论文《The Topological Trouble With Transformers》（Transformer的拓扑窘境），沟通的等于上述问题。
论文指出，纯前馈Transformer在动刻画态跟踪上存在结构性短板。Transformer很擅长回看凹凸文，却不自然擅长保重一个抓续变化的里面情状。
论文举了几个直不雅的例子：模子不错在凹凸文里看到前边的对话，却仍然在多轮交互里出现前后不一致；它不错看到对于“bank”的凹凸文，却在后续问题里从把这个词从“河岸”解析成“银行”；它也可能在猜数字游戏里给出彼此矛盾的反应。
淌若一个模子仅仅把往日全部放进窗口里，再通过翔实力机制去查找，它更像是在翻一册很长的札记，而不是抓续领有一个会更新的顾虑。
提及来，这背后以致带有少量观念科学和玄学意味。以东谈主类自身为例，东谈主的顾虑和设想力分享一个高度交流的中枢神经收罗——顾虑并不是把往日好意思满归档，然后在需要时原样调取。许多时候，顾虑更像是一种回溯性的重建：大脑在当下重新组织足迹、补全语境，并把往日、设想和判断搀杂成一个不错行径的情状。
真实的智能，尤其是长程推理、多轮对话、斟酌、代码代理和复杂任求实施，需要的不啻是追想往日，还要解析当下实在的情状。
虽然，Transformer毕竟是很久之前的底层架构，这篇说的“短板”其实更像是放在当今的评价框架里去看往日的一个架构。
但也恰恰阐发，Transformer偶然一定适合咱们当下对于智能的需求。
当今围绕Transformer的蜕变还是屡见不鲜：MoE试图惩办参数范围和计较本钱之间的矛盾；高效解码试图裁减推理本钱；长凹凸文试图扩展模子的顾虑范围；state-space model、递归结构、latent reasoning、test-time compute，则试图补上情状跟踪、遥远一致性和动态推理的短板。
AI行业徐徐酿成了一个新的共鸣——下一代模子不可仅仅更大的Transformer，它必须更会组织计较、更会保重情状、更会在推理历程中更新我方对宇宙的示意。
于是，架构问题又被翻了出来。
Shazeer加入OpenAI的秀美意旨就在于此，架构相关崇拜东谈主这个岗亭指向的，恰是前沿模子竞争最底层的问题。
这让Shazeer的跳槽不再是“Transformer之父去OpenAI不绝加强Transformer”的故事，更像是一个参与界说Transformer时期的东谈主，启动参与寻找Transformer之后的下一步。
契机本钱、东谈主才干戈和下一代模子
对Google来说，Shazeer的离开虽然是损失——这个损失并不仅仅少了一位Gemini联结崇拜东谈主，还指向Google AI史里阿谁反复出现的问题：它时常很早看到将来，却偶然能最快把将来推到用户眼前。
Shazeer在播客中回忆，Larry Page以前常说，Google第二大的本钱是税，最大的本钱是契机本钱。（以防万一，Shazeer还补了一句：淌若Page没说过，那我方还是误引他许多年了。）
Google领有宇宙上最强的相关东谈主员、最好意思满的工程体系、着手进的TPU和数据中心、以及宽裕普遍的居品进口。但越是这么的大公司，越要在安全、平允、组织范围和居品化风险之间反复衡量。
在AI这么一个窗口期极短的行业里，严慎自身可能是必要的，但严慎也可能变成玄妙的延伸、契机的流失。
而对OpenAI来说，Shazeer的加入，意旨相配紧要——就连Sam Altman都示意“从OpenAI创立之初，Noam等于他最想相助的东谈主之一”。
OpenAI得到的是一组极其稀缺的教会皆集：Transformer、MoE、大范围历练、高效解码、对话模子、基础模子工程，以及在Google这种超大范围系统里多年打磨出来的架构直观。
大模子架构相关并不是建议一个漂亮主张就实现了。Shazeer在播客里说过，小范围相关最瞎想的情状，是早上醒来意想一个主意，本日写出来，跑一些试验，很快看到初步收尾。
而前沿模子研发真实贫穷的方位，恰恰在于从“小试验”走向“大系统”。一个创新在小模子上看起来灵验，放大到最大范围历练时偶然还能建树；几个单专灵验的手段放在一齐，也偶然能协同职责。
到了最大范围历练，许多试验险些无法真实加快。临了仍然是N=1的试验：一群最奢睿的东谈主坐在房间里，盯着历练收尾，判断到底是哪一部分起了作用，哪一部分拖了后腿。
OpenAI当今需要的，不仅仅更多GPU、或者再历练一个更大的模子。它需要更底层的架构判断：把有后劲的结构放大到真实历练系统里，把成果普及飘荡为本钱上风，并用新的架构变化翻开下一代智力。
Shazeer最宝贵的方位就在于判断智力。
与此同期，OpenAI正在靠近十分千里重的财务压力。
Financial Times报谈称，OpenAI 2025年开销达到约340亿好意思元，净损失约390亿好意思元；另有清楚财务文献口径高慢，包摄于OpenAI的净损失约为385亿好意思元。
这里面包含不少复杂的司帐和非现款神气，但标的很明晰：前沿模子竞争正在变成一场极其玄妙的干戈。
OpenAI的伏击感，部分也来自它最径直的敌手Anthropic。
本年6月，Anthropic和OpenAI先后提交IPO文献，两家公司险些在统一时辰把我方推向公开商场。
在这个节点上，Anthropic一直在补强中枢东谈主才。本年4月，Anthropic请来前Microsoft Azure AI高管Eric Boyd担任基础方式崇拜东谈主，崇拜相沿Claude不绝蔓延所需的底层系统。5月，Anthropic还拉来了OpenAI联结独创东谈主Andrej Karpathy，让他加入Claude的预历练团队，并组建一个用Claude加快预历练相关的小组。
于是，OpenAI也在东谈主才上攥紧补强：Shazeer崇拜架构相关，Clint Gibler加入OpenAI Cyber团队，辩认指向模子底层智力和安全智力。
这场东谈主才战背后，争夺的是谁能更快找到下一代模子的历练方式、推理方式和组织计较的方式。OpenAI淌若要在上市前不绝线路我方的当先性，就必须线路我方有智力把模子作念得更强、更庞大、更低廉。
而当今，OpenAI把这个问题交给了也曾一位参与界说Transformer的东谈主。
本文来自微信公众号：字母AI，作家：袁心玥，裁剪：王靖