什么是机器学习？

到现在，许多人认为他们知道什么是机器学习：你“喂”计算机一堆“训练数据”，这样他们就能“学习”做事，而我们不必具体说明具体方法。但计算机不是狗，数据不是狗，前一句话有太多的空引号。那东西到底是什么意思？

机器学习是人工智能的一个子领域，它探索如何通过计算模拟（或超越）类似人类的智能。虽然一些人工智能技术（如专家系统）使用其他方法，但机器学习通过专注于一件事来推动该领域目前的大部分进展：使用算法自动提高其他算法的性能。

以下是在实践中如何工作，对于一种叫做监督学习的常见机器学习。这个过程从一项任务开始——比如说，“识别照片中的猫。”目标是找到一个能够完成任务的数学函数。这个称为模型的函数将以一种数字作为输入——在这种情况下，数字化的照片——并将其转换为更多数字作为输出，这可能代表“猫”或“不是猫”的标签。该模型具有基本的数学形式或形状，为任务提供了一些结构，但一开始不太可能产生准确的结果。

现在是时候训练模型了，这是另一种算法接管的地方。首先，一个不同的数学函数（称为目标）计算一个数字，表示模型输出和所需结果之间的当前“距离”。然后，训练算法使用目标的距离测量来调整原始模型的形状。它不必“知道”模型所代表的任何东西；它只是在某些数学方向上推动模型的一部分（称为参数），从而最大限度地减少实际输出和期望输出之间的距离。

一旦进行这些调整，流程就会重新开始。更新的模型将训练示例中的输入转换为（稍微更好的）输出，然后目标函数指示了对模型的另一个（稍微更好的）调整。等等，来回，来回。经过充分的迭代，训练模型应该能够为其大多数训练示例产生准确的输出。这是真正的诀窍：它还应该在任务的新示例中保持这种性能，只要它们与培训不太相似。

使用一个函数反复推动另一个函数听起来可能更像忙碌的工作，而不是“机器学习”。但这就是重点。启动这个无意识的过程可以让任务的数学近似值自动出现，而人类不必指定哪些细节很重要。凭借高效的算法、精心选择的函数和足够的示例，机器学习可以创建强大的计算模型，完成我们不知道如何编程的事情。

分类和预测任务——例如识别照片中的猫或电子邮件中的垃圾邮件——通常依赖于监督机器学习，这意味着训练数据已经提前排序：例如，包含猫的照片被标记为“猫”。训练过程塑造了一个函数，该函数可以将尽可能多的输入映射到其相应的（已知的）输出上。之后，经过训练的模型标记了不熟悉的示例。

与此同时，无监督学习在未标记的示例中找到结构，将它们分组为未事先指定的组。从用户过去的行为以及计算机视觉中的一些对象识别任务中学习的内容推荐系统可以依靠无监督学习。一些任务，如GPT-4等系统执行的语言建模，使用监督和非监督技术的巧妙组合，称为自我和半监督学习。

最后，强化学习通过使用奖励信号而不是预期结果的例子来塑造一个功能。通过试验和错误最大化这种奖励，模型可以提高其在动态、顺序任务上的表现，如玩游戏（如国际象棋和围棋）或控制真实和虚拟代理的行为（如自动驾驶汽车或聊天机器人）。

为了将这些方法付诸实践，研究人员使用了各种听起来奇特的算法，从内核机到Q学习。但自2010年代以来，人工神经网络占据了中心舞台。这些算法之所以得名，是因为它们的基本形状受到脑细胞之间的联系的启发——在许多曾经被认为是不切实际的复杂任务中都成功了。大型语言模型使用机器学习来预测文本字符串中的下一个单词（或单词片段），由具有数十亿甚至数万亿个参数的“深度”神经网络构建。

但即使是这些巨像所有机器学习模型一样，也只是核心功能——数学形状。在正确的语境中，它们可以成为极其强大的工具，但它们也有熟悉的弱点。一个“过度拟合”的模型非常贴合其训练示例，以至于它无法可靠地推广，就像猫识别系统在照片颠倒时失效一样。数据中的偏见可能会因训练过程而放大，导致扭曲甚至不公正的结果。即使模型确实有效，原因也并不总是很清楚的。（深度学习算法尤其受到这种“可解释性”问题的困扰。）

尽管如此，这个过程本身还是很容易识别的。在内心深处，这些机器都以同样的方式学习：来回学习，来回学习。