后来出现了两个技术革新，一个是Embedding，把枚举的离散量变成了低纬度的连续量，就可以更好地表征两个词之间的相似度；第二个是Attention注意力机制（特别是self-attention），解决哪个词和哪个词之间更相关。80年代语音识别中的一个大突破就是用隐马尔可夫等模型去刻画词语间的管理，但HMM表达能力有限。用attention注意力机制，叠加神经网络的强逼近能力以及positioning等，组成transformer，就能更好地解决这个问题。
GPT技术从2018年演进至今，经历了多个版本的迭代。与之同期，GOOGLE也研发了一个大语言模型BERT，引入了Mask机制，在一个完整的句子中掩盖掉某些字段，用大量的“语料”投喂，来猜测并补充完整语义，适用于文本理解。而ChatGPT是生成式的，有了前面的一句话，下一句话应该怎么接，更适合聊天，交互性更好。
生成代码：代码不一定对，但能提供一定的启示，例如R或者Python里的很多函数有很多种用法，而每个人的使用习惯不同，有的可能平时不经常被用到。
ChatGPT毕竟是一个数据驱动的模型，遇到在ta的训练数据涵盖不够的领域，尤其是涉及很多工业专业深度的内容，很可能会“一本正经地胡说八道”。使用ChatGPT小贴士：如果不关心准确性/对话质量，可以放心使用；如果有足够的专业知识可以判断ta的准确性，那么ta可以辅助你很快梳理一套框架或启发一些思考；再或者，你抱着怀疑的态度，可以将ta回复的一些专业术语摘出来，重新搜索学习，再做判断。
这次ChatGPT给人最直观的感觉是，原来算力可以这么牛。
算法方面，相比于服务器用的电费来说，ChatGPT算法显得朴实无华，其相关算法其实学术界一直在做。算法本身并不复杂，但需要特定的语义和程序，也需要强化学习。
数据方面，大语言模型的数据来源非常广泛，ChatGPT在既有可用资料库的基础上，还雇佣了很多劳动力给数据打标签，才有了今天的聊天效果。当然，作为一家商业公司，能用这么大的网络和大量的算力支撑ChatGPT的使用，背后还是有很多关键技术的，比如巨型GPU集群、高性能通讯、高性能计算等等。
