第一节：从并行逻辑回归到神经网络 1. 神经网络的本质 很多人初学神经网络时会觉得它是一个复杂的“黑箱”，但从数学视角来看，神经网络并不是某种全新的魔法。本质上，一个神经网络可以看作是同时运行的多个逻辑回归。 当我们审视一个简单的单层结构时，它执行的操作与逻辑回归高度相似：对输入特征进行加权求和，然
第一节：NLP 分类任务的本质挑战 在自然语言处理（NLP）的演进过程中，我们始终在解决一个核心矛盾：语言的离散符号本性与语义的连续复杂性之间的冲突。 从离散符号到分布式表示 早期的 NLP 依赖于独热编码（One-hot encoding），这种方式将单词视为孤立的符号，无法捕捉词与词之间的相似性
第一节：机器如何“理解”语义？ 在深度学习统治自然语言处理（NLP）之前，计算机看待单词的方式非常简单：每一个词都被视为一个孤立的符号。通常我们使用 One-hot 编码，即给每个词一个极长的向量，其中只有一个位置是 1，其余全是 0。 但这种方法有一个致命的缺陷：它无法表达词与词之间的关系。在 O
第一节：计算机如何理解“意义”？ (How do we represent meaning?) 在深入研究复杂的算法之前，我们需要先思考一个哲学问题：什么是“意义”（Meaning）？ 1. 语言学中的“意义” 根据《韦伯斯特词典》的定义，意义通常指一个词、短语所代表的“思想”（Idea）。在传统
