CAMEL AI实习生本科勇闯NeurIPS | AgentTrust的探索之路

1. 请两位介绍一下自己

谢承兴: 我是谢承兴，西安电子科技大学计算机科学专业大四学生，主要研究方向涵盖大语言模型（LLMs），目前主要聚焦于LLM reasoning。具体来说，我对提升LLM在实际任务中的决策与问题解决能力、探索多模态生成模型的创新应用，以及优化code LLM的表现尤为感兴趣。我未来计划攻读博士，期望能在这些领域继续深入研究。

陈灿宇: 我是陈灿宇，主页是https://canyuchen.com/，目前是伊利诺伊理工学院博士四年级在读，研究方向是Truthful, Safe and Responsible LLMs以及其在social computing和Healthcare中的应用。我目前有负责“LLMs Meet Misinformation” initiative，目标是为了抵御LLM时代的虚假信息，长远来说，我期望能够实现Safe and Aligned Artificial General Intelligence。

1. 当初是如何进入CAMEL AI实习的？能分享一下你们的背景和相关故事吗？

谢承兴:当初我进入CAMEL AI实习，主要源于对大模型领域的强烈兴趣。当时，大模型研究非常火热，我对这一前沿方向产生了浓厚的好奇心。由于当时还没有明确未来的研究方向，便希望通过实际项目深入了解这一领域的发展潜力。

恰巧，我身边的一位资深学长向我推荐了CAMEL这个开源项目，认为它十分适合我的背景和兴趣。我随后联系上了国豪学长（CAMEL AI 创始人），并与他进行了简短的交流。在交流过程中，我们探讨了各自的背景以及对未来研究方向的构想。他向我介绍了该项目的核心目标和研究内容，我也分享了自己的学术经历与兴趣领域。经过这次深入沟通，我对大模型的研究方向产生了更大的兴趣，认为这是一个非常有意义的探索机会，于是决定加入团队，投身到这个充满挑战和创新的项目中。

这段经历不仅加深了我对大模型的理解，也让我更加明确了未来的研究方向。

2. 实习的体验如何？在这段时间里，你们最大的收获或挑战是什么？

谢承兴: 这段实习经历对我来说非常宝贵，整体体验十分出色。我同步申请的是KAUST的访问学生的项目，得益于这个平台的丰富资源，能够全身心投入到项目和研究中。

一个很大的优势是，项目中有许多来自不同背景的优秀博士生参与，尤其是在国豪学长的带领下，他经常组织学术讨论和研究分享，让我有机会与来自各领域的顶尖人才交流。这种跨学科的讨论不仅拓宽了我的研究视野，也为我在项目中的问题提供了更多的解决思路。通过这些讨论，我能够更加深入地理解复杂的研究问题，提升了自己的科研能力。

实习期间，我最大的收获不仅仅是专业技能的提升，更在于人脉网络的扩展。我有机会与许多在大模型和相关领域有深厚经验的专家学者建立联系，这为我未来的学术发展打下了坚实的基础。

同时，这段实习也充满了挑战。面对前沿的研究课题，我时常需要不断学习和适应新的技术和理论。如何高效解决研究中的难点、同时在团队中有效沟通与合作，这些都是我在实习过程中逐步克服的挑战。但正是这些挑战推动了我的成长，让我更加清晰地看到了自己未来的研究方向。

1. 你们是如何构思这篇论文的主题和研究方向的？灵感来源是什么？

谢承兴/陈灿宇：这篇论文的主题和研究方向的构思源于对LLM在实际应用中展现出的强大潜力，尤其是其在模拟人类行为方面的能力。在深入探讨相关领域的过程中，我们逐渐对大模型能否有效模拟和预测人类行为这一问题产生了浓厚的兴趣，因为这直接关系到我们如何设计和部署智能代理的框架，尤其是在多智能体协作中的应用场景。

灵感的核心来自于我们对于Multi Agent的协作机制及其在复杂任务中的应用潜力的思考。通过大量的文献调研，我们发现当前关于信任行为（trust behavior）的研究框架，如Trust Game的框架，是一种非常经典的模型，广泛用于研究人类的信任行为。我们意识到，若能将大模型与这一框架结合，研究大模型与人类在信任行为上的对齐情况，不仅能够为智能代理的设计提供新思路，还能进一步推动人机交互的信任机制优化。

因此，我们最终决定将论文的主题聚焦于大模型与人类信任行为的对齐。这一研究不仅涉及大模型的行为模拟能力，还探讨了大模型在多智能体环境下如何与人类协作，以及在不同场景中信任如何影响智能代理的表现。希望通过这一研究，能够为更高效、更可靠的人机协作系统提供理论支持和技术参考。

1. 在多位作者共同参与的情况下，能分享一下合作过程中的体会吗？特别是在协调不同视角和专业背景时有哪些收获？

谢承兴/陈灿宇：在这次合作中，我们的团队成员来自不同的学术背景，各自专注于不同的研究领域。这种多样性在整个合作过程中带来了非常丰富的讨论和深刻的洞见，同时也为我们的论文增加了更多的维度和深度。

最大的体会之一是，不同背景的研究者在分析问题时会提出完全不同的视角和见解。不同的视角相互碰撞，虽然有时会产生分歧，但最终这些讨论往往会促使我们对问题有更全面的认识，从而使论文的逻辑更严密，研究的结论也更加稳固。

在这过程中，我们也意识到如何协调不同学科之间的视角差异是合作的关键。为了让论文不仅能够被各个方向的研究者理解，还要在保证其学术严谨性的同时顾及不同领域的专业性和完整性，我们花了很多时间在如何表述问题、解释结论和展示数据上。需要反复修改和打磨，以确保每个成员的贡献都能体现，同时也让整篇论文具有统一性和连贯性。

另外，合作中的一个重要收获是学科间的互补。每个研究者在自己领域内都有深厚的积累，因此在合作中不仅能够提供多角度的分析，还能帮助团队从专业的角度弥补文章的不足。

同时在合作过程中，不同研究者对侧重点的调节也是一个需要平衡的重要方面。大家的研究兴趣和关注点不同，有时需要花时间去协调团队的优先级，并找出大家都能认同的研究方向。这种协调虽然具有挑战性，但也帮助我们明确了研究的核心问题，确保论文能够同时兼顾学术深度和广泛的应用价值。

2. 你们在研究过程中遇到过哪些主要挑战？是如何克服的？

谢承兴/陈灿宇：在研究过程中，我们遇到的主要挑战是如何设计好论文的架构和叙事脉络。由于这个方向相关文献较少，我们需要清晰、逻辑地讲述研究的创新点，同时让读者感受到它的学术价值。这对于跨学科的研究尤其重要，因为我们要在人工智能和经济学两个领域之间找到平衡，确保AI和经济学的研究者都能够理解和接受我们的研究。

为了解决这个问题，我们与不同背景的研究者广泛讨论，收集他们的意见和反馈。这种跨学科的讨论帮助我们认识到不同领域的关注点，并据此调整我们的文章结构和叙事方式。我们通过反复修改，确保论文的故事线清晰连贯。此外，尽管文献较少，我们依然进行了广泛的调研，从AI和经济学两个方向的文献中寻找启发，以保证研究方法和理论的严谨性。

3. 关于高分被拒后有什么思考？

谢承兴：关于ICML被拒的反思，我认为一个关键问题在于我们当时的研究结论（claim）过于强烈，可能在某些评审看来不够严谨，缺乏足够的证据支撑。这导致了文章的拒稿。我们意识到，尽管创新性很重要，但过于大胆的结论如果不够细致严谨，容易让人质疑研究的可信度。

在这次经验之后，我们重新审视了文章的结构和结论，对我们的主张进行了更高标准的要求。在修改过程中，我们更加注重细节，确保每一个结论都有充分的实验数据和理论支持，使文章的表达更加谨慎和稳妥。正是这种更为严谨的态度，帮助我们在NeurIPS的投稿中得到了较高的评价。

4. 这篇论文最终发表时，最让你们感到自豪的部分是什么？

谢承兴/陈灿宇：这篇论文最终发表时，最让我感到自豪的部分是我们成功地将复杂的研究工作呈现得非常清晰，并且能够让不同背景的读者，尤其是经济学背景较弱的人，也能理解我们想要解决的问题。

一开始，我们面临的一个挑战是如何让跨学科的研究-结合人工智能和经济学的领域-既专业又通俗易懂。经过反复打磨和调整，我们最终达到了这个目标，不仅能够清晰地传达论文的核心脉络，还兼顾了不同学科的读者群体。这种跨领域的沟通能力和表达清晰性，是我们整个团队非常骄傲的成果。

5. 从最初的构想到最终发表，整个过程中你们学到了什么？

谢承兴：如何平衡团队中不同成员的意见。每个人的背景和思考角度不同，因此在面对各种反馈时，需要能够理解各方的观点，并通过有效的沟通找到共识。这让我在团队协作和决策中积累了更多的经验，学会了如何在多元化的团队中促成高效合作。

我如何与不同背景的研究者进行更广泛的合作。之前我的合作范围相对较小，而这次跨学科的合作让我深刻体会到团队合作中的沟通技巧、任务分配、以及如何协调多方资源，以确保项目顺利推进。

如何更好地讲述一个论文的故事。一个好的研究不仅仅是数据和结论的堆积，还需要通过清晰的叙述让读者理解我们的思路、动机和创新点。这是一个需要不断打磨和提升的能力，也是未来在科研过程中需要持续学习和改进的关键点。

1. 这篇文章涉及了许多基于行为经济学的建模，请问这种跨学科背景的研究，你们是如何获得非原本专业背景的专业知识和见解的呢？

谢承兴/陈灿宇: 一开始，对于跨学科的行为经济学知识，我们主要通过广泛阅读相关文献来获取。由于信任行为的研究框架本身相对成熟，我们找到了一些质量很高的综述文章，从中梳理出如何利用Trust game来衡量人类信任行为的整体框架。通过这些文献的学习，我们逐渐积累了所需的专业知识和见解，为后续的研究奠定了基础。

同时，在撰写论文的过程中，我们也积极寻求有社会科学背景的专家和老师的帮助。他们为我们提供了宝贵的反馈和建议，帮助我们确保文章的表述符合社会科学的研究标准，并在跨学科的角度上更加严谨和全面。

2. 你们觉得这篇论文解决了什么样的问题？它可以在哪些领域和场景中有贡献？

谢承兴/陈灿宇：我们这篇论文主要解决了一个关键问题，即当前的AI和人类在行为上的对齐程度仍然存在差距。通过我们的研究，我们展示了在许多情境下，只有部分模型才能在行为上与人类表现得较为相似，而其他模型则表现出较大的差异。这一发现对于AI-human alignment研究具有重要意义。

在实际应用中，我们的研究可以为多个领域和场景提供贡献。首先，在人机协作领域，这篇论文的成果能够帮助开发者设计出与人类更一致、更可信的AI系统，提升人机协作的效率和效果。其次，在AI Safety方面，如果AI和人类在行为上不对齐，可能会在实际部署中引发信任和安全问题。我们的研究可以为未来AI系统的设计提供参考，确保这些系统在关键任务和高风险场景下能够更好地与人类协作，避免潜在的安全隐患。

3. 这篇文章让我想到了糖域实验，也是经济学领域非常有名的模拟实验。你们有考虑用大语言模型（LLM）来复现这个实验吗？

谢承兴：这是一个非常有趣的想法。确实，很多经济学领域的经典实验，是可以通过LLM Agents来复现的。这不仅可以帮助我们探索LLM在这些模拟实验中的表现，还可以深入研究LLM在相同情境下与人类行为的异同。

我们可以设计一系列实验，模拟人类在糖域实验中所面临的决策情境，观察LLM如何做出选择，以及它们在面对延迟满足或即时满足时的反应。这将有助于我们分析LLM是否具备与人类相似的行为特征，比如对未来奖励的判断或自我控制能力。此外，我们还能进一步挖掘这些模型在特定情境下表现出的与人类不同的行为特性。

4. 在prompt类似的情况下，不同的模型的代理表现了不同的信任水平，你们觉得这可能原因是什么呢？

谢承兴/陈灿宇：我们认为，模型在相似的prompt下表现出不同的信任水平，可能有以下几个原因：

首先，预训练和后训练阶段使用的语料内容可能存在差异。每个大模型在训练过程中使用的语料库会包含不同的文本和信息，这些语料库内部可能带有某些偏见。这些偏见可能会影响模型在特定情境下的判断和行为，进而导致不同模型在信任水平上的差异。

其次，在RLHF的过程中，不同模型可能使用了不同的训练方法和策略。一些模型可能更注重在人类反馈中强调信任和合作行为的案例，而另一些模型可能偏重其他行为特征。这种训练方式的差异会直接影响模型的行为表现，使它们在面对相同情境时表现出不同的信任水平。

5. 这篇论文所采用的方法你们觉得有什么局限性吗？

谢承兴/陈灿宇：我们认为这篇论文的方法确实存在一些局限性。首先，我们的方法是在特定框架下进行的，而现有的框架（如Trust Game）并不能完全涵盖和模拟人类的复杂行为和选择。因此，仅仅研究Human Trust Behavior还是不够的。如果我们希望大模型能够真实模拟一个人类社会，还需要考虑更多人类社会中的关键因素，例如文化、情感、环境影响等，这些因素对人类行为有着深远的影响，但在现有的框架中还未得到充分的关注和研究。

1. 你们对未来的研究方向有何规划？有哪些特别想解决的问题？

谢承兴: 未来我主要想研究的关键方向是大模型的广泛应用，尤其是在提高生产力和解决实际生活问题方面。我认为，大模型已经具备部署到多个领域中去的潜力，但仍然存在许多亟待解决的研究问题。

一个特别想解决的问题是大模型在代码生成和理解上的表现，如何让LLM在代码任务中更接近人类的水平。目前，我在研究如何让大模型在代码任务上的表现更加一致、可靠，并且能真正帮助开发者提高效率。

另一个关注的方向是开源大模型的规划和推理能力。尽管当前的大模型在各类任务上表现出色，但开源模型的规划能力相对较弱，尤其是在需要复杂推理和长链任务时。这限制了它们在一些实际应用中的效用。因此，我希望通过研究，探索如何进一步增强这些模型的规划与推理能力，使它们在实际应用中表现得更加智能和高效。

2. 当前AI领域内最让你们兴奋的技术趋势是什么？如何与CAMEL-AI的研究结合？

谢承兴：当前AI领域最让我感到兴奋的技术趋势是利用真实世界的问题来评测大模型的能力。这种趋势让大模型的研究逐渐从理论走向实际应用，促使我们更加关注模型在现实任务中的表现。这种评测方式不仅让模型的能力得到更真实的检验，也推动了模型在处理复杂问题和多任务协作中的提升。

这一趋势与CAMEL-AI的研究方向高度契合。特别是我们正在研究的多智能体框架（multi-agent framework），正是为了提高智能体在处理复杂任务中的协作与规划能力。通过将多智能体框架应用于现实问题，我们可以设计更好的AI工作流，让AI在实际应用中表现得更加高效和智能。这种架构有助于提高AI在多个任务中的表现，尤其是在需要智能体协作和决策的场景中。

3. 你们如何看待AI与人类未来的协作关系？

谢承兴：我认为未来人类与AI的协作关系将会更加紧密且高效。人类在这个过程中可能主要扮演需求提出者和最终审查者的角色，而AI则承担起大部分执行任务的责任。

未来的场景可能是，人类只需要通过简单的prompt来表达需求，AI就能够根据这些输入进行自动化处理、规划和执行复杂任务。在任务执行过程中，AI可能会根据具体情况向人类寻求反馈，确保方向正确或结果符合预期，但整体的工作流和问题解决的主要步骤将由AI负责。这样，人类能够将更多时间和精力放在战略性思考、创造性决策和高层次的问题上。

4. 对于想要加入AI研究的学生或初学者，你们有哪些建议或鼓励的话？

谢承兴：

1. 打好基础。无论是数学、编程，还是深度学习的基础知识，都需要扎实掌握。AI的核心很多时候涉及复杂的算法、统计模型以及优化问题，因此数学基础会帮助你更好地理解背后的理论，编程能力则能帮助你将这些理论付诸实践。

2.动手实践。与其仅仅通过阅读书本或文献，不如尽早参与实际项目。可以从一些简单的AI项目入手，逐步积累经验。通过做项目，你能更快地掌握知识，并在解决实际问题中提升自己的技能。这种实践不仅能帮助你巩固理论知识，还能锻炼你的问题解决能力，帮助你更好地应对未来研究中的复杂挑战。