AGI（全能智能体）需要是一个广泛的、非常通用的智能体，它能完成多种任务、处理多种输入，但也需要在处理任务复杂性方面具备深度。将学习和搜索结合在一起，是以可扩展的方式利用计算能力的最佳途径，也是实现自主决策的秘诀。 Reflection AI 立志于打造任何人都可以上手使用的AI Agent，几乎无需任何编程技术基础，只需要利用通俗语言的prompt即可构建自己的AI Agent，并达到Agent行为几乎完全可控。 Reflection AI的创始人Misha Laskin曾在伯克利人工智能研究实验室从事人工智能研究，并曾经担任谷歌DeepMind的研究科学家，他的联合创始人Ionnis Antonoglou是 AlphaGo 的创造者，也是谷歌大型语言模型Gemini的人类反馈强化学习 (RHLF)负责人。他们离开DeepMind创立Reflection AI是为了更快到达AI Agent的彼岸。 已获得估值 1 亿美元的新融资，红杉资本领投，通过创建能够自动执行通常在计算机上执行的复杂知识工作的“超人类通用代理”。
据消息人士称，AI agent初创公司 Reflection AI 以 1 亿美元的估值获得了红杉资本的融资。这家初创公司正在打造“能够自动执行计算机上知识工作的超人通用agent”。
传统的LLM根据用于训练它们的数据产生响应，并且受到知识和推理限制的约束。语言模型从来都不是为执行自主决策而训练的，它们的训练目标是进行对话互动和预测互联网上的内容。相比之下，agent技术使用后端的工具调用来获取最新信息、优化工作流程并自主创建子任务以实现复杂目标。
也就是说，相比于传统的LLM模型，AI agnet拥有:
1.调用工具的能力、记忆力与推理能力。
2.可以将过去的交互存储在记忆中并规划未来的行动，进而实现长期目标。
3.可以使用反馈机制（例如其他 AI agent和人机协同 (HITL)）来提高响应的准确性，随着时间推移适应用户期待，从而提供个性化体验与更加全面的响应。
作为AI agent的实践者，Reflection AI是如何工作的呢？
1.STEP 1 创建并测试：我们从最新的生成式人工智能语言模型开始，这些模型为 ChatGPT、Bing 以及现在的 GPT-4 提供了支持。我们会根据您的内容提示或微调基本模型，使其与您或您的员工或您的内容进行对话选择自定义的AI主要功能并利用通俗易懂的prompt设置初始说明。通过添加手机号可以在后续与AI agent通过短信聊天。利用“向下的拇指”按钮修改改进答案，并可以通过拖拽文件或复制URL链接添加数据训练自己的模型。引入警戒线：您是否希望您的机器人能做或不能做某些事情？用简单明了的语言给出您的指示。
2.STEP 2 升级发布：通过升级套餐，可以面向特定用户发布自己的AI agent进行邮件或短信聊天。而付费用户则可以把AI聊天机器人嵌入任何网站，或向任何手机号发送给短信。
3.STEP 3 监控分析：后台监控工具可分析每一次互动并协助用户进行调整与再次培训。
4.STEP 4 集成扩展：通过API可以集成到任何沟软件、平台与工具，成为可以完成实际工作的AI agent。部署到您已经使用的消息传递渠道，具有企业可扩展性。
02 人人皆可打造的自定义Agent：零门槛，轻松上手
Reflection AI 立志于打造任何人都可以上手使用的AI agent。只需要通过点击或复制网页链接就可以把数据加入知识库并按自己的节奏训练模型。用户只需要考虑要向 AI 发出什么指令，然后用通俗易懂的语言写下来，就可以在 5 分钟内进行训练，无需编码或技术技能。同时，Reflection AI还提供prompt模板可供选择，因此只需添加任何特殊说明即可。只要用户能填写表格，就具备了在Reflection AI平台上构建 AI 所需的所有技能，团队处理了所有棘手的技术问题。
prompt是用户对机器人应如何聊天的指示，决定了个性化AI的大部分行为。Reflection AI 称，如果prompt构建得足够好，自定义的AI agent的行为几乎可以完全控制。prompt构建是一门随着时间的推移而学会的艺术。如果chatbot没有按照想要的方式行事，只需对其进行编辑即可。例如，为了防止它编造事实，只需在prompt中添加一句话：“如果你不知道答案，就说你不知道。” Reflection AI提供所有最新的技术和工具来控制行为，例如添加训练数据和 RLHF（从人类反馈中进行强化学习），用户可以在其中纠正答案。
Reflection AI并不是唯一尝试AI agent的公司。例如，Imbue专注于开发可推理和编码的agent，他们强调如今的agent在“最后一英里”推理能力上的不足，并通过强化学习与微调进行改善；同时开发可自编码的agent，目前可以让可读写代码的技术人员自建agent，并在将来继续降低对用户编程基础的要求。而Decagon和Sybill这类公司则专注于特定垂直应用情景，Decagon致力于客户支持，而Sybill则面向销售代表。Emergence、AgentOps、Crew AI 和 Phidata 等公司致力于提供构建agent的基础设施，可以让企业用户的技术人员拥有更流畅且实用的工具。
虽然市面上的各种AI agent公司都意识到了构建agent技术门槛的重要性，但鲜少企业目前真正可以做到面向几乎无编程基础的普通使用者。Reflection AI通过后端团队的技术设计，完成了设计agent时从编程语言到通俗prompt语言的转变，更是他们“让任何一个人都可以构建自己的agent”理想的体现；同时Reflection的chatbot应用场景更为广泛，在通用性上更贴合AGI，可以作为真人聊天机器人面向任何客户或使用者，甚至可以通过训练模仿已逝亲人的聊天行为协助心理治疗。
03 告别DeepMind：为了更快抵达AGI的未来
Reflection AI的创始人Misha Laskin曾在伯克利人工智能研究实验室从事人工智能研究，并曾经担任谷歌DeepMind的研究科学家，他的联合创始人Ionnis Antonoglou是 AlphaGo 的创造者，也是谷歌大型语言模型Gemini的人类反馈强化学习 (RHLF)负责人。
最初Reflection AI的灵感来自于他们的工作经验。在最近的Sequoia播客中，Misha Laskin提到，目前缺失的关键点在于，语言模型尚未以可扩展的方式利用搜索或规划系统。AGI（全能智能体）需要是一个广泛的、非常通用的智能体，它能完成多种任务、处理多种输入，但也需要在处理任务复杂性方面具备深度。而当前的语言模型系统非常广泛，但在深度上不够强大。如何以可扩展的方式验证任务是否正确完成，这就是实现自主决策的秘诀。
Rich Sutton（ZP注：Rich Sutton是强化学习领域的先驱者，提出了时间差分学习算法）认为有两种方式可以利用计算能力。第一种是通过学习，也就是通过在互联网上进行训练来利用计算能力。另一种方式是搜索，即通过展开一系列计划并选择最佳方案来利用计算能力。Misha Laskin认为，将学习和搜索结合在一起，是以可扩展的方式利用计算能力的最佳途径，这也是AI领域中最深刻的理念之一。他还表示，如果自己打造团队去解决这个问题，能够更加迅速应对这一挑战。
Reference:
https://reflectionai.xyz/
https://bots.messagesimproved.com/landing
https://www.sequoiacap.com/podcast/training-data-misha-laskin/
-----------END-----------
