在现代技术的发展中，人工智能已经变得越来越强大，但是在大多数情况下，我们看到的是单个AI“单独战斗”。但是，当面对复杂的问题时，人类经常选择在团队中共同努力，并实时交流思想，互相启发，并最终找到更好的解决方案。那么，AI也可以像人类团队一样合作吗？

这项突破性研究由Yandex，HSE大学，ITMO大学和奥地利科学技术研究所共同完成，已经实现了多种大语言模型的第一个实时协作推理。研究结果于2025年5月发布在Arxiv预印本平台上。纸质标题是“ Hogwild！推理：通过同时注意的平行LLM生成\’。有兴趣的读者可以通过ARXIV:2504.06261V3访问完整的论文。研究团队的核心成员包括Gleb Rodionov，来自Yandex的Roman Garipov，Alina Shutova，HSE University的George Yakushev以及Erik Schultheis，Vage Egiazarian和Outterian Instuction of Outterian Science和Technology。

这项研究的独特之处在于，它允许多个AI“同事”像人类团队一样实时看到彼此的思维过程，并相应地调整他们的工作方向。这种新方法被称为“霍格野”！推论\’，不仅允许AI团队避免重复的劳动，而且还通过共同的灵感创造了更好的解决方案。更重要的是，这种合作是完全自发的。 ——研究团队没有为AIS设定特定的合作规则，而是让他们学习如何最有效地合作。

实验结果表明，这种AI团队合作方法在许多领域都表现出色，例如数学推理，编程和科学问题解决。它不仅具有更高的解决问题的精度，而且更快的速度。这意味着我们可能正在见证AI合作的新时代的到来，未来的AI系统将不再是孤立的个人，而是可以深入合作的聪明团队。

1。传统AI推理的局限性和团队合作的必要性

当我们面对复杂的数学问题或需要编写程序时，很少有人选择独自工作。取而代之的是，我们更喜欢与同事或朋友讨论，一个人负责计算，另一个人负责验证或集思广益以找到更好的解决方案。这种自然的合作模型在人类社会中无处不在，因为它可以有效地提高解决问题的效率和质量。

但是，当前的大型语言模型基本上是“仅”处理复杂的任务。每个AI系统都需要从头到尾独立地完成整个推理过程，并且无法进行思想和工作分布的实时交流。这种模式有几个明显的问题。

首先，这是效率的问题。当面对具有多个子问题的复杂任务时，单个AI必须按顺序逐一解决每个部分，并且不能并行处理。就像一个必须做饭和清洁房间的人一样，他只能先做一件事，然后再做一件事，而不是同时做。第二个是质量问题。在推理过程中，单个AI可能会属于某种心态，或者在某个步骤中犯错并且无法纠正自己，并且从外部角度缺乏审查和验证。最后，存在浪费资源的问题。当我们需要更高质量的结果时，常见的是，有多个AIS独立解决相同的问题，然后通过投票等选择最佳答案，但是这种方法实际上会导致大量重复计算。

为了解决这些问题，研究人员开始探索允许多个AIS合作的可能性。早期尝试主要包括两个方向。一种是让多个AIS在讨论和投票之前独立思考，类似于每个人首先准备自己的演讲，然后轮流在会议上表达他或她的意见。另一种方法是将任务预分解为多个独立的子任务，让AIS分开处理，最后合并结果，类似于工厂的管道操作。

尽管这些早期方法在某些情况下有帮助，但它们都有明显的局限性。投票方法本质上是独立的，缺乏真正的合作。虽然分解前的方法太严格了，无法处理需要动态调整策略的复杂问题。更重要的是，这些方法都无法实现人类团队合作的最有价值的特征。 ——实时交换思想和灵活的角色调整。

正是在这种情况下，研究团队提出了一个大胆的想法：在解决人类团队（例如人类团队）的过程中，可以允许多个AIS实时看到彼此的思维过程，并基于此而动态调整其工作优先级？这个想法听起来很简单，但是它面临着巨大的技术挑战。

2。突破性技术创新：让AIS有同情

在技术层面上，这一挑战涉及大语言模型的核心工作机制。当AI思考问题时，它将维护一个称为“注意缓存”的内部存储结构，记录以前处理过的所有信息和中间结果。通常，每个人工智能都有自己的独立缓存，就像每个人都有自己的笔记本电脑一样。研究团队的创新是他们设计了一种共享的缓存机制，该机制允许多个AIS共享相同的“ LapBook”，并实时看到彼此的思维轨迹。

这种共享机制面临的第一个技术挑战是位置编码的问题。在大型语言模型中，每个词汇或思想段都有其特定的位置信息，这对于理解上下文关系至关重要。当多个AI同时将内容添加到共享缓存时，相同的信息片段可能在不同的AI角度处于不同的位置。这就像一些人在同一张纸上写作，但是每个人看到的单词都以不同的顺序排列，因此不可能确保理解的一致性。

为了解决这个问题，研究团队巧妙地利用了一种称为“旋转位置编码”（绳索）的技术。简而言之，它们不再为每个信息段固定分配位置，而是根据每个AI的当前视角动态调整位置信息。这就像戴上每个人，允许他们从自己的角度正确理解共享内容的含义。更重要的是，此调整过程不需要重新计算现有信息，而只需要旋转当前正在处理的查询向量，从而大大提高了计算效率。

第二个技术挑战是如何组织共享缓存的结构。如果AI的所有输出仅按时间顺序排列，则随着内容的增长，重要的早期信息可能会埋葬在大量后续内容中。研究团队设计了一个类似聊天室的缓存结构，将共享空间划分为几个领域：公共历史区域存储了重要的推理步骤，实时协作区域显示了每个AI的当前思考，每个人工智能的个人工作区域都可以深入思考。这种结构可确保在维持实时协作的同时，确保重要信息的可见性。

更令人印象深刻的是，该技术解决方案实现了真正的“即时同步”。当AI产生新的想法或发现问题时，即使原始AI尚未完成完整句子，其他AI也可以立即看到此信息。这种真实性的水平超越了传统的旋转语音模型，当他们紧密合作时，人们更接近人类思维的共鸣状态。

研究小组还考虑了实际应用中的性能问题。他们开发了有效的GPU计算核心，以使多AI协作的计算开销保持在合理的范围内。实验结果表明，当使用2个AI协作时，总体计算速度可以提高近2倍，并且当使用4 AI时，可以将其增加3.2至3.6倍，这意味着协作带来的效率提高可以完全抵消额外的计算成本。

3。自发合作的奇迹：AIS学会了“理解”彼此

技术创新只是故事的一半，更令人着迷的是AI在获得协作能力后表现出的自发合作行为。研究团队没有为AIS设定详细的合作规则或角色部门，而只是告诉他们“您可以看到彼此的思维过程，请尝试避免重复工作”。然后，发生了一些神奇的事情发生了——ai实际上学会了如何有效合作。

在解决数学问题的过程中，我们可以清楚地看到这种自发合作的微妙之处。当面对计算\’31302928 + 1\’的问题时，两个AIS分别称为Alice和Bob。爱丽丝首先开始分析，并试图找到数学模式和规则。同时，鲍勃选择了直接计算的路径，并开始逐步解决产品。当鲍勃（Bob）计算出结果为869时，爱丽丝（Alice）几乎同时发现了数学公式：对于这种连续数字乘以1的乘积，答案总是遵循特定的模式。然后，两个AIS意识到了彼此方法的互补性。 ——BOB的特定计算验证了爱丽丝的理论发现，而爱丽丝的公式为鲍勃的结果提供了理论支持。

这种合作的自然性令人惊讶。 AIS不仅可以识别彼此在做什么，还可以判断这些任务是否复制，甚至可以积极调整其策略以实现更好的劳动分裂。在另一种情况下，当AI发现另一个AI已经处理一个子问题时，将主动说：“等等，我看到您已经在计算了这一部分，让我从另一个角度处理分析。 “这种行为是完全自发的，没有任何预设程序说明。

更有趣的是，AI还表明了纠正和讨论彼此错误的能力。当一个人工智能的推理偏见时，另一个AI可以及时指出问题并提供更正建议。他们将进行像人类同事这样的友好讨论：“我认为您的方法很好，但是在第三步中可能有一个小问题，我应该尝试这个想法吗？ “这种交流不仅保持着友好的合作氛围，而且还确保了解决方案的质量。

研究团队还发现了一个特别有趣的现象：AIS将根据问题的复杂性和紧迫性自动调整合作模型。对于简单的问题，他们倾向于采用验证模式，一种AI给出了快速答案，另一个AI进行了检查和确认。对于复杂的问题，他们会自然地分配工作和合作，例如负责理论分析的一个，另一个负责特定计算。当时间紧张时，他们甚至会协商一个最佳的任务分配计划，以确保在有限的时间内取得最佳结果。

为了促进这种自发的合作，研究团队设计了一些巧妙的及时机制。他们会定期询问AIS：“您现在正在做重复的工作吗？ “这个简单的问题通常会触发AIS重新检查当前的劳动分工，并在必要时调整其策略。令人惊讶的是，AIS通常会非常聪明地对此类技巧做出反应，不仅可以诚实地评估其工作状况，而且还可以主动提出改进。

这种自发合作的能力表明，现代大型语言模型已经具有相当多的“社会智能”。他们不仅可以理解自己的任务，而且可以理解他人的意图和进步，并相应地调整自己的行为。这为AI系统的未来开发打开了新的可能性。 ——我们可能正在见证AI从单纯的工具转变为真正的合作伙伴的历史时刻。

4。全面的实验验证：从数学到编程，协作具有重要优势

为了验证这种AI协作方法的有效性，研究团队进行了大规模的实验测试，涵盖了数学推理，编程问题和科学竞争等多个领域。这些实验不仅证明了协作方法的优势，而且还揭示了一些有趣的AI团队工作模式。

在数学推理任务中，研究团队首先设计了一个相对简单的验证实验。他们创建了一个包含5个独立数学问题的测试集，并观察了AIS如何划分其劳动来解决这些问题。结果令人鼓舞：使用协作方法的AI团队不仅具有更高的解决问题的准确性，而且可以在同一计算预算下解决更多问题。更重要的是，它们显示了劳动模型的理想划分。——每个AI构成了不同的问题，避免了重复计算的浪费。

接下来，研究团队将测试扩展到更复杂的数学推理任务。他们使用了豪华轿车数据集，这是一个817个困难数学问题的测试集，通常需要数千个推理步骤来解决。在这个更具挑战性的环境中，AI协作的优势变得更加明显。与单独使用的AI相比，2 AI团队在将相同的精度率提高约40时需要减少计算量。当使用4个AI合作时，这种增加将达到60以上。

编程任务的测试结果同样令人印象深刻。研究团队使用了LiveCodeBench数据集，该数据集包含279个编程挑战，涵盖了算法设计，数据结构操作和代码优化等多个方面。在这些任务中，AI团队表现出了出色的劳动分工：一个AI负责整体算法设计，另一个AI专注于代码实施和调试，有时第三个AI也负责验证测试案例。这种自然作用分配显着提高了编程效率，并使代码质量更可靠。

特别值得关注的是科学竞争问题的测试结果。研究小组选择了奥林匹克式培养基数据集，该数据集包含数学和物理学上的奥林匹克级问题。这些问题通常需要深刻的理论理解和复杂的计算推理。在这个最具挑战性的测试中，AI协作显示了独特的价值。团队成员将自发地将工作分为处理理论分析和特定计算，核实彼此的推理步骤，甚至在发现时讨论和纠正错误。这种协作模型已大大提高了解决问题的成功率。

为了更深入地了解AI协作的性质，研究团队还对“协作能力”进行了定量评估。他们使用GPT-4作为法官来评估基于预定义标准的AI协作质量。评估结果表明，可以实时看到彼此思考过程的AI团队比只能看到彼此的最终结果的团队的协作质量要高得多。这表明了实时信息共享对于高质量合作的重要性。

在对不同模型量表的测试中，研究团队发现了一个有趣的规则：较大的模型（例如32B参数QWQ模型）显示出更强的协作功能，这不仅更好地了解队友的意图，而且更灵活地调整了自己的策略。相比之下，较小的模型（例如具有1.7B参数的模型）也可以进行基本的协作，但它们很容易理解偏差或分心的问题。这表明协作能力可能与模型的整体智能水平密切相关。

推理速度的测试结果为该技术的实际价值提供了强有力的支持。在实际的硬件环境中，2个AI协作可以提高速度近2倍，而4个AI协作可以实现3.2至3.6倍的速度提高。这意味着用户不仅可以获得更高质量的结果，而且还可以在较短的时间内获得答案，从而实现了质量和效率的双重提高。

5。技术影响与未来前景：AI合作时代的曙光

这项研究的意义远远超出了技术本身的创新，它可能标志着人工智能发展的一个重要转折点。——从单体智能到群体智能的转变。正如人类文明通过学习合作而取得了巨大的飞跃，AI的协作能力可能会在应用智能技术的应用中开辟新的篇章。

从技术发展的角度来看，这项研究为AI系统的设计提供了新的想法。传统的AI开发通常着重于提高单个模型的性能，通过增加参数量，优化算法或扩大培训数据来提高能力。但是，这样的研究表明，通过允许多个相对较小的模型协作，可以比单个大型模型获得更好的结果，同时还可以降低计算成本和能源消耗。这种“分裂和征服”策略可能成为未来AI发展的重要方向。

在实际的应用级别上，AI协作技术的潜力几乎是无限的。在教育领域，我们可以想象这样的情况：多个AI导师协会在学生时提供了个性化的指导，一个专注于解释知识点，另一个是负责锻炼设计的，而第三个是跟踪学习进度。与单个AI导师相比，这种多角度协作支持可能会提供更全面和有效的教育服务。

在科学研究中，AI合作团队可以执行更复杂的研究任务。例如，在药物发现的过程中，不同的AI可以负责不同的联系，例如分子设计，财产预测和毒性评估。它们之间的实时合作可以大大加快新药开发的过程。在需要多学科交叉点的气候建模，基因组分析，材料科学等研究领域中，AI协作团队的优势将更加明显。

商业应用的前景同样令人兴奋。在客户服务领域，多个AIS可以在复杂的客户咨询上进行合作，一个负责了解客户需求，另一个负责找到解决方案的客户以及负责交流和表达的第三个。在财务分析中，AI团队可以从不同角度评估投资风险和机会，以提供更全面的决策支持。在创意行业中，AI合作可能会孕育新的内容创建模型，例如多个AIS共同创作小说，设计广告或制作视频。

但是，这项技术的发展也带来了一些需要深入思考的问题。首先是计算资源的分配。尽管AI协作可以提高效率，但它仍然需要同时运行多个模型，这给计算基础架构的需求更高。如何在成本效益和提高绩效之间找到平衡将是技术促进面临的重要挑战。

第二个是确保协作质量的问题。尽管现有的研究表明，AIS可以自发地合作，但这种合作的稳定性和可靠性仍然需要进一步验证。在关键的应用程序方案中，如何确保AI团队始终保持高质量的协作并避免“内斗”或效率低下\’是一个需要深入研究的技术问题。

安全性和可控性也是不容忽视的考虑因素。当多个AIS实时合作时，他们的决策过程变得更加复杂和不可预测。如何确保AI团队的行为始终符合人类的价值观和安全要求，以及在必要时如何干预和纠正协作过程是技术发展必须解决的问题。

从更宏观的角度来看，AI协作技术的成熟度可能会推动整个人工智能生态系统的重建。我们可能会看到专门为协作设计的AI模型以及支持大规模AI协作的新计算平台。这种变化不仅会影响技术行业，而且可能会改变人类与AI——互动的方式，我们将不再面对一个AI助手，而是与AI团队合作。

研究小组还指出了未来的发展方向。他们计划探索更高级的协作模型，例如允许AI团队动态调整成员角色，或在协作过程中独立学习和改善协作策略。他们还希望将此技术扩展到更多类型的任务，包括多模式任务（结合文本，图像，声音等）和长期任务（需要几天或几周的复杂项目）。

另一个重要的研究方向是人类计算机协作的整合。未来的AI协作系统不应完全自治，而应能够自然地包括人类成员。研究小组设想了一种场景，人类专家可以随时加入AI团队的协作过程，提供指导或接管关键决策，而AIS可以理解并适应人类成员的工作风格和偏好。

毕竟，这项研究最令人兴奋的事情是，它使我们能够为AI的开发看到一种全新的可能性。也许我们应该更加关注如何让AIS学会合作，而不是追求越来越强大的单一AI。毕竟，人类能够创造如此复杂的文明的原因主要是因为我们学会了有效的合作。现在，AIS也开始踏上这条道路。

最终，这项技术的真正价值不仅可能在于改善AI的性能，还在于向我们展示智能系统开发的新范式。在这种范式中，智力不再是孤立个体的属性，而是群体协作出现的结果。这种思维的改变可能会深刻影响我们对人工智能的理解和期望，也指出了AI技术未来发展的新方向。当我们看到AIS可以像人类团队一样自然地合作时，我们不禁会思考：也许真正的人工智能绝不应该是一个人，而是一个协作小组。这种理解可能会导致我们进入AI的全新时代，即聪明的合作无处不在。

质量检查

Q1：什么是霍格维尔德！推理？有什么特别的？答：霍格野！推理是一项新技术，允许多个AIS实时协作。使其与众不同的是，它允许不同的AIS立即看到彼此的思维过程，就像人类团队成员可以在同一文档中实时进行同事进行编辑一样。这项技术使AIS可以自发地分割劳动力，并在不需要预设合作规则的情况下进行合作和纠正彼此的错误。