来源：MIT 作者：Adam Zewe
麻省理工学院的研究人员创建了一个框架元素表，展示了20多种经典机器学习算法是如何连接的。新框架阐明了科学家如何融合不同方法的策略来改进现有的人工智能模型或提出新的模型。
例如，研究人员使用他们的框架将两种不同算法的元素结合起来，以创建一种新的图像分类算法，其性能比当前最先进的方法高出8%。
框架元素表源于一个关键思想：所有这些算法都学习数据点之间的特定关系。虽然每种算法可能以略有不同的方式实现这一点，但每种方法背后的核心数学是相同的。
基于这些见解，研究人员确定了许多经典人工智能算法基础的统一方程。他们用这个方程重新构建流行的方法，并将它们排列成一个表格，根据它学到的近似关系对每个方法进行分类。
就像化学元素周期表最初包含空白方块，后来由科学家填写一样，机器学习的元素表也有空白。这些空间预测了算法应该存在的地方，但尚未被发现。
关于这一新框架的论文的主要作者，麻省理工学院研究生Shaden Alshammari说，该表为研究人员提供了一个设计新算法的工具包，而无需从以前的方法中重新发现想法。
Alshammari补充道：“这不仅仅是一个隐喻。”“我们开始将机器学习视为一个结构系统，这是一个我们可以探索的空间，而不仅仅是猜测我们的方式。”
该研究将在国际学习代表会议上发表，包括谷歌人工智能感知研究员John Hershey、麻省理工学院研究生Axel Feldmann、Thomas和Gerd Perkins电气工程和计算机科学教授、计算机科学和人工智能实验室（CSAIL）成员William Freeman；以及麻省理工学院研究生兼微软高级工程经理高级作者Mark Hamilton。
一个偶然的方程
研究人员并没有着手创建机器学习的框架元素表。
加入弗里曼实验室后，Alshammari开始研究聚类，这是一种机器学习技术，通过学习将相似图像组织到附近的聚类中来对图像进行分类。
她意识到她正在研究的聚类算法与另一种称为对比学习的经典机器学习算法相似，并开始深入挖掘数学。Alshammari发现，这两个不同的算法可以使用相同的底层方程重新构建。
Hamilton说：“我们差点偶然得出这个统一方程。一旦Shaden发现它连接了两种方法，我们就开始梦想将新方法引入这个框架。几乎我们尝试的每一个都可以添加进去。”
他们创建的框架，展示了如何通过这个统一方程的视角来看待各种算法。它包括从能够检测垃圾邮件的分类算法到为LLM提供动力的深度学习算法。
该方程描述了此类算法如何找到真实数据点之间的联系。
每个算法都旨在最大限度地减少其学习近似连接与其训练数据中真实连接之间的偏差。
他们决定将I-Con组织成一个框架元素表，根据在真实数据集中如何连接以及算法近似这些连接的主要方式对算法进行分类。
Alshammari说：“工作是循序渐进的，但一旦我们确定了这个方程的一般结构，就更容易在我们的框架中添加更多方法。”
发现一个工具
当他们布置框架时，研究人员开始看到算法可能存在但尚未发明的差距。
研究人员通过从一种叫做对比学习的机器学习技术，借用想法并将其应用于图像聚类来填补一个空白。这产生了一种新的算法，可以对未标记的图像进行比另一种最先进的方法好8%的分类。
他们还使用I-Con来展示如何利用为对比学习开发的数据去偏技术来提高聚类算法的准确性。
此外，灵活的框架元素表允许研究人员添加新的行和列来表示其他类型的数据点连接。
Hamilton说，归根结底，以I-Con为指导可以帮助机器学习科学家跳出框框思考，鼓励他们以他们不一定想到的方式结合想法。
他补充道：“我们已经表明，仅仅一个植根于信息科学的非常优雅的方程，就为您提供了跨越100年机器学习研究的丰富算法。这为发现开辟了许多新的途径。”
“也许如今作为机器学习研究人员最具挑战性的方面是每年出现的论文数量似乎无限。在这种情况下，统一和连接现有算法的论文非常重要，但它们极其罕见。耶路撒冷希伯来大学计算机科学与工程学院教授Yair Weiss说：“I-Con为这种统一方法提供了一个很好的例子，并希望激励其他人将类似的方法应用于其他机器学习领域。”他没有参与这项研究。
这项研究部分由美国空军人工智能加速器、国家科学基金会人工智能和基本交互研究所以及Quanta Computer资助。
本文转载自MIT，本文观点不代表雅典娜AI助手YadiannaAI立场。
