的性能为何如此强大？其背后的根源何在？需要强调的是，只是一种机器，它们与人类有本质上的区别。虽然它们可以生成类似人类的输出，但将它们拟人化并不明智。
为何性能如此出色？虽然仍存在各种问题，但其表现出的能力已经远远超出了最初的设计期望。最初，它旨在处理NLP任务，即利用机器处理自然语言。所谓的自然语言，指的是中文或英文等人类语言。
科学家希望这种机器能够像处理编程语言一样处理人类语言。于是，他们研究了NLP这个学术领域，并开发了许多技术路线。然而，的路线相对激进，采用了一种端到端学习的方式，简单来说，神经网络可以从输入端到输出端自行学习，无需人类分析语法和知识结构。这意味着人类不再需要帮助机器分析语法和句式，也不再需要处理复杂的知识结构。既然机器可以深度学习，那就让机器从头到尾自己解决问题吧。然而，这个看似荒谬的方法最终成为了NLP的突破口。
从一开始，就表现得非常出色，当时它只是一个实验网络，只有4000个神经元，但它已经能够对一段文本中隐藏的正负情绪做出反应。这意味着它已经充分理解了文本中的浅层特征，开始识别文本中更深层次的隐藏特征。
所谓的特征实际上就是之前提到的统计模式。实际上，人类很擅长从各种数据中找出统计模式。例如，婴儿会从看到和听到的语言性质中找出模式，从而构建自己的语意、语序、语法和情绪等知识，并逐步扩展到更复杂的模式。
虽然的学习过程与人类不同，也不像婴儿那样可以从极少量的数据中学习这些模式，但只要它看过的文本足够多，它仍然可以统计和识别其中的各种模式。然而，人类文本中的信息是分层级的。在理解文本中的情绪之前，必须先理解语法和语意。这种层次结构对人类和都至关重要，两者都必须按层次学习。实际上，的整个预训练过程就是特征层次逐渐深入的过程，在术语上被称为分层学习。这是神经网络的核心能力之一，也是深度学习这个词的来源。
这种分层学习与人类个体积累知识的过程非常相似。例如，随着一个人的成长，他的阅读量和社会实践越来越多，他从语言中可以读取的信息和洞察力也越来越丰富，对事物的判断和预测也越来越准确。虽然缺乏人类的视角，只能从语言中进行学习，但随着它网络规模的扩大，它能够识别的特征层次也越来越深，从最基本的语法句式到语气风格情绪，再深入到文本中隐含的意图和偏好。
进一步分析文化心理，则可以发现价值观和意识形态等更深层次的社会学特征。就像人类一样，也可以逐层挖掘语言文本中的潜在信息，从最基本的语法句式到语气风格情绪，再深入到文本中隐含的意图和偏好。
在统计角度来看，学习这些特征并不困难。至少在日常交流中，已经能够准确识别文本中的细微特征。然而，作为文本预测机，需要预测的是任何人写下的一段随机文本。从逻辑上讲，要想准确预测一段话，这段话的作者必须了解相关知识。
例如，如果完全不懂法律，就无法准确预测律师写的辩词，如果完全不懂编程，就无法准确预测程序员写的代码。因此，它需要更深入地挖掘文本中的知识，包括人类文明中所有的科学知识。因此，已经远远超越了NLP的范畴。
最初，它的设计只是为了预测下一个词，但它所蕴含的潜力是巨大的。更重要的是，所学的知识不仅仅是死记硬背的知识条目，而是通过不断学习形成的知识结构。每一层都建立在理解上一层的基础之上。因此，它的知识体系非常扎实。虽然它的知识结构不如人类那么精炼，还存在一些冗余和缺陷，但它已经超过了所有人的预期，甚至超越了科学家们精心绘制的知识图谱和知识库。
它所掌握的知识不仅仅是死记硬背的知识条目，而是通过不断学习形成的知识结构，每一层都建立在理解上一层的基础之上。因此，它的知识体系非常扎实。虽然它的知识结构不如人类那么精炼，还存在一些冗余和缺陷，但它已经超越了所有人的预期，甚至超越了科学家们精心绘制的知识图谱和知识库。
尽管人类的整个知识体系过于复杂，也不可能完全学透，但这已经远远超过了包括设计师在内所有人的预期。没有人想到这个神经网络仅仅依靠它不起眼的统计能力，就超越了科学家们精心绘制的知识图谱和知识库，并且真正意义上触碰到通用人工智能的概念。这是人类工程史上首次利用微观层面的涌现，超越了传统的自上而下的设计方式。
虽然的网络规模和算例庞大，但其成功的关键在于其神经网络的神奇之处。它能够超越最初的设计期望，运行得非常出色，以至于人们不得不使用“信念”这个词来表达他们的敬畏和赞叹。随着不断的迭代和改进，最终将深入我们的生活，不仅能够处理和提供信息，还能协助我们更高效地组织信息。这将使我们真正体会到“一切都是信息”的意义。
这就是的本质，每天跟我学习新知识，关注我，下期见。
