来源：MIT News 作者：Adam Zewe
程序员现在可以使用大型语言模型（LLM）更快地生成计算机代码。然而，只有当代码遵循编程语言的规则并且不会导致计算机崩溃时，这只会让程序员的工作更轻松。
存在一些方法来确保LLM符合它们生成文本的任何语言的规则，但其中许多方法要么扭曲了模型的预期含义，要么太耗时，无法执行复杂的任务。
MIT麻省理工学院和其他地方的研究人员开发的新方法自动引导LLM生成符合相关语言规则的文本，例如特定的编程语言，并且没有错误。他们的方法允许LLM将精力分配给最有可能有效和准确的产出，同时在流程早期就丢弃没有前途的产出。这种概率方法提高了计算效率。
由于这些效率的提高，研究人员的架构使小型LLM在为包括分子生物学和机器人在内的几个现实世界用例生成准确、结构适当的输出方面优于更大的模型。
从长远来看，这种新架构可以帮助非专家控制人工智能生成的内容。例如，它可以允许你在SQL中编写复杂的查询，SQL是一种数据库操作的语言，仅使用自然语言提示。
“这项工作具有研究范围之外的影响。麻省理工学院研究生、该框架论文的联合主要作者João Loula说：“它可以通过确保人工智能生成的输出保持有用和正确来改进编程助手、人工智能驱动的数据分析和科学发现工具。”
共同主要作者Benjaminy LeBrun、Mila-Quebec人工智能研究所的研究助理和约翰·霍普金斯大学研究生Li Du；联合高级作者Vikash Mansinghka ’05、MEng ’09、PhD ’09、麻省理工学院大脑和认知科学系概率计算项目负责人兼首席研究科学家；Alexander K.Lew SM ’20，耶鲁大学助理教授；Tim Vieira，苏黎世联邦理工学院的博士后；以及Timothy J.O’Donnell是麦吉尔大学的副教授，也是Mila的加拿大CIFAR AI主席，领导了国际团队；以及其他几位。该研究将在国际学习代表会议上发表。
强制执行结构和含义
控制LLM生成的结构化文本的一种常见方法包括检查整个输出，如计算机代码块，以确保其有效且运行无错误。如果没有，用户必须重新开始，积累计算资源。
另一方面，程序员可以停下来检查开发过程中的输出。虽然这可以确保代码遵守编程语言并在结构上有效，但渐进式更正代码可能会导致它偏离用户预期的含义，从长远来看会损害其准确性。
Loula说：“强制执行结构比执行意义要容易得多。我们可以快速检查某些东西是否使用正确的编程语言，但要检查其含义，您必须执行代码。我们的工作也是关于处理这些不同类型的信息。”
研究人员的方法涉及将工程知识纳入 LLM，以引导其走向最有前途的产出。这些输出更有可能遵循用户定义的结构约束，并具有用户预期的含义。
“我们不是想培训LLM来做这件事。相反，我们正在设计一些专家会拥有的知识，并将其与LLM的知识相结合，这提供了与您在深度学习中看到的非常不同的扩展方法，”Mansinghka补充说。
他们使用一种叫做顺序蒙特卡洛的技术来完成这一点，该技术使LLM的并行生成能够相互竞争。该模型根据其输出的前景动态地将资源分配给不同的并行计算线程。
每个输出都赋予了权重，表示其结构上有效和语义上准确的可能性。在计算的每个步骤中，模型都关注那些权重较高的模型，并抛出其余的。
从某种意义上说，这就像LLM有一个专家在它的肩膀上看着它，以确保它在每一步做出正确的选择，同时专注于整体目标。用户指定他们想要的结构和含义，以及如何检查输出，然后研究人员的架构引导LLM完成剩下的工作。
“我们已经计算了困难的数学，因此，对于您想要纳入的任何类型的约束，您将获得适当的权重。最后，你会得到正确的答案，”Loula说。
提升小模型
为了测试他们的方法，他们将该框架应用于负责生成四种类型的输出的LLM：Python代码、SQL数据库查询、分子结构和机器人遵循的计划。
与现有方法相比，研究人员的方法表现更准确，同时需要更少的计算。
例如，在Python代码生成中，研究人员的架构使小型开源模型能够超越其规模两倍多的专业商业闭源模型。
Loula说：“我们非常兴奋，我们可以让这些小模型的拳头远超过他们的重量。”
展望未来，研究人员希望使用他们的技术来控制生成的文本的更大块，而不是一次处理一小块。他们还希望将他们的方法与学习相结合，这样当他们控制模型生成的输出时，它学习会更准确。
从长远来看，这个项目可以为非技术用户提供更广泛的应用。例如，它可以与自动化数据建模和查询数据库生成模型的系统相结合。
Mansinghka补充说，该方法还可以启用机器辅助数据分析系统，用户可以与软件进行对话，该软件可以准确模拟数据的含义和用户提出的问题。
“语言学的基本问题之一是如何将单词、短语和句子的含义以世界模型为基础，解释含义和参考中的不确定性和模糊性。预测可能的令牌序列的LLM没有解决这个问题。我们的论文表明，在狭窄的符号领域，从技术上可以将单词映射到基于基本含义的分布。O’Donnell说：“这是朝着认知科学、语言学和人工智能领域更深层次问题迈出的一小步，这些问题需要了解机器如何像我们一样交流世界。”
这项研究部分由加拿大CIFAR人工智能主席计划、麻省理工学院追求智能和融合研究资助和支持。
本文转载自MIT News，本文观点不代表雅典娜AI助手YadiannaAI立场。
