直播回顾 | 从AlphaGo到ChatGPT，七大问题一一揭秘

来源: | 作者:pmod6d781 | 发布时间: 2023-03-16 | 4045 次浏览 | 分享到:

1、回顾AI发展史，深蓝、AlphaGo和ChatGPT为什么能破圈？

答：深蓝让人第一次感觉到计算机靠算力和算法可以战胜人。当时硬件配置受限，人们对计算机的期望值并没有那么高，认为算力的堆砌也是有极限的，而解国际象棋的算法也没有围棋复杂，所以热度过去之后，并没有掀起广泛的参与。但那之后，从2000年开始，一批算法逐渐兴起，例如统计学习、决策树等等，进入了算法百花齐放的时间段。

而AlphaGo在更复杂的围棋界能够异军突起，是因为在算力突破的基础上又叠加了Buff，用上了深度学习、强化学习和Monte Carlo树搜索，用神经元的方式硬把层数增加，在深蓝的基础上把围棋的问题解决了。几年的时间，从遇强则强到所向披靡，进步神速。

当下，ChatGPT的风靡，则是因为生成式AI，可以按照人类发出的指令来生成相应的内容，给了人们很多意料之外的惊喜，展示出了大模型的威力。

上述三波人工智能的出圈，都在一定程度上突破了固有认知，点燃了人们心中的火种。

2、红极一时的AI技术，后来都应用到了哪些行业、哪些场景？

答：AlphaGo之后，首当其冲受到影响的是围棋行业，新手练级的对象都变成了AI；其次，强化学习在竞技游戏行业使用也很广泛，只要计算机能模拟输赢的过程，用强化学习、延迟的奖赏机制、Monte Carlo等策略的仿真，再加上一些价值函数的回溯，总会做得不错。所以强化学习很擅长打的游戏，哪怕没有预制的游戏动作画面上下文模型，像素级也能打。计算机的游戏水平也随之也有了质的变化。另外，在机器人控制领域，在线仿真学习最佳控制策略，也是一种有效尝试，这种尝试也进一步拓展到了基于离线数据的控制优化领域。

3、揭秘ChatGPT背后的大语言模型，如何实现智能对话？

ChatGPT所使用的GPT-3技术是一种基于transformer的大语言模型，这个模型本质是自回归的、前后依赖的、强上下文的。

从本质上讲，图像是多尺度的数据，所以CNN等模型非常适合，而语言是有前后依赖关系的序列，所以需要具有自回归或刻画上下文依赖能力的模型。GPT模型的原理是在前面输入一段前缀语句，后面接哪些词的概率比较高，接上之后再往不断迭代，一直接到ta认为可以停止的位置。与其他AI模型相比，ChatGPT有个天然的优势，所有互联网上的文字，包括论坛、文献、新闻、小说等等，都可以成为模型的训练素材。

过去，语言的刻画，过去常用LSTM和RNN等自回归模型，问题是并行化不好，得把一条语句整理完再到下一句，且一旦句子太长，长依赖关系就不容易处理好。