来源：飞哥说AI

作者：高佳；创意：李志飞

编辑：好困

年从一场巨头之间的巨额合作开始，一场汹涌已久的AI暗战摆上了台面。

随着微软和OpenAI融资的推进，双方在关系变得更加深厚复杂的同时，也在与谷歌等竞争对手的较量中鏖战上风。

一面是Google连夜唤回创始人，急推「高仿」Bard；一面是OpenAI的ChatGPT风头正劲，全民翘首以待GPT-4的到来。

一直在AI领域堪称老大哥的Google，在这场棋局中一酸再酸，毕竟一度在LLM领先的Google曾经看似更有赢战「先机」。

从年举世发布Transformer，奠定LLM的基石，到1年5月的I/O大会上，LaMDA惊艳众人的亮相，Google风光无限。

直到Bard官宣前，「被动」一直被视为Google面对ChatGPT的处境。

Google如何一步步「输掉」这盘布局多年的AI大棋，OpenAI又何以让Google棋输先著？

首先，让我们回顾一下蕴含在这场旷日持久的AI暗战之下的关键技术时间线。

01Google与OpenAI，LLM领域的发展时间线

从对ChatGPT技术路线的拆解追溯，及其论文中提供的技术点和示意图看，ChatGPT与InstructGPT核心思想一致。

其关键能力来自几个方面：强大的基座模型能力(InstructGPT)，高质量的真实数据，以及从用户标注中反馈学习(RLHF)等，以此一窥ChatGPT是如何一步步进化成目前的强大形态。

年，DeepMind最早提出了RLHF概念，这一后来解锁ChatGPT重要「涌现」能力的关键，它通过人工标注作为反馈，提升了强化学习在模拟机器人以及游戏上的表现效果。

同年6月，Google发布NLP领域的里程碑——Transformer，成为后来所有LLM的基础架构，也为GPT铺就了前提。

年6月，在Transformer问世不到一年的时间，OpenAI发布了只有解码器（decoder-only）的GPT生成式预训练模型，通过大数据集进行训练，并主张通过大规模、无监督预训练+有监督微调进行模型构建。

年10月，Google重磅推出著名的具有划时代意义的BERT，一个比GPT大四倍，拥有.4亿参数的大模型，几乎在所有表现上碾压了GPT。而自带光环的BERT只有编码器，用一种「完形填空」的方法，其训练效果超过人类表现，宣告NLP范式的改变。

年2月，被碾压的OpenAI准备背水一战，此时一个重要的命题摆在面前，BERT的大火让是否坚持做生成式模型成为一种灵魂拷问，但OpenAI坚定自己的目标——AGI，孤勇直前地践行生成式，并加倍投入，提出有15亿参数的GPT-2，并没有特别新颖的架构，它只是基于Transformer的解码器，稍做修改。尽管最初OpenAI并不愿意发布它，因担心它可能被用来向社交网络发送假新闻。

年10月，Google发布了统一的模型框架——T5，基于编码解码器的T5（BERT只有编码，GPT只用解码），最大模型亿参数并开放。兼容了BERT和GPT下游任务的T5，再次让Google风光无两。

0年5月，卧薪尝胆的OpenAI，在生成式之路一往无前，发布了规模是GPT-2两个数量级的亿参数的GPT-，在业内掀起AGI热浪，也拉响了巨头规模竞赛的号角。

1年10月，Google推出FLAN（亿参数），并从此开始重新转向只有解码器的模型，还提出了ChatGPT用到的InstructionTuning概念。

2年1月，Google再推LaMDA（亿参数），展示了接近人类水平的对话质量以及在安全性和事实基础方面的显著改进，并称其可能具有「意识」。所有人在当时觉得Google已在LLM遥遥领先。

2年月，OpenAI发表经过「魔鬼调教」的InstructGPT（亿参数），提到采用InstructionFinetune和RLHF，比GPT-更擅长与人类「沟通」，但并未引起大规模的

转载请注明:http://www.aideyishus.com/lkyy/3852.html