Atom News | HydroX AI宣布与Anthropic合作,打造全球化人工智能安全体系

文摘   科技   2024-10-23 11:32   北京  
 


项目动态


近日,Atom Capital被投企业、大模型安全公司HydroX AI宣布与人工智能领域领军企业Anthropic达成合作伙伴关系,共同提升大型语言模型(LLMs)的安全性。Anthropic在创建注重安全的先进AI系统方面处于领先地位, 此次合作对于专注于大模型安全的初创公司HydroX AI而言,是一个重要的里程碑。






大模型安全和红队测试的重要性

HydroX AI深信,确保大模型的安全不仅是一项技术挑战,更是一项道德使命。随着人工智能系统日益融入医疗、金融、国防等社会关键领域,其故障或滥用可能造成重大后果。因此,HydroX AI正在构建模型红队测试和保护机制——不仅是为了发现漏洞,更是为了建立对人工智能系统的信任,保护用户,并确保人工智能造福所有人。

HydroX AI与Anthropic的合作代表双方对开发安全、可靠、负责任的人工智能系统的共同信念。双方联手合作,共同采取具体措施,确保人工智能在推动创新的同时,也能保证安全性,更加安全可靠地惠及未来。

模型压力测试与风险识别


作为Anthropic漏洞赏金计划的一部分,HydroX AI将在其大型语言模型的压力测试中扮演关键角色,重点识别和缓解通用“越狱”攻击。这些攻击可能绕过AI安全防护机制,带来广泛风险。通过与Anthropic合作,HydroX致力于应对 CBRN(化学、生物、放射性与核安全)和网络安全等关键高风险领域中的重大漏洞。



HydroX AI的重要里程碑


此次合作是 HydroX AI的一个重要里程碑。它彰显了其对人工智能安全、隐私和合规的承诺,同时也为公司提供了一个极其难得的宝贵机会,与世界顶尖AI团队并肩合作,共同引领人工智能风险控制的前沿,拓展人工智能安全的边界。通过将HydroX在人工智能安全方面的专业经验与Anthropic 的前沿研究相结合,两家公司将携手确保人工智能技术在全球范围内安全、可控地部署。



关于HydroX

HydroX AI由硅谷深耕安全领域的世界顶级专家及黑客于2023年2月创建,位于美国加州,是一家专注于AI Safety(大模型安全)和 Safe AI(安全人工智能)的科技企业,致力于为大模型公司、使用大模型的企业以及其他B2B行业的客户提供全方位、多层次的AI安全解决方案。目前HydroX AI已经成为Anthropic、Meta和IBM等全球领先企业的AI安全合作伙伴。关于公司想了解更多,可见我们之前对CEO ZL的访谈(https://reurl.cc/93mv5X)以及公司官网(https://www.hydrox.ai/)。



我们为什么投资HydroX AI


随着大模型技术的快速发展,其安全问题正变得日益重要——大模型受众广泛、场景多元,与用户交互深入,超越了互联网时代的任何产品。这一方面展示了AI巨大的影响力,同时也意味着一旦AI出现安全问题,其波及范围将难以预估,可能带来灾难性的后果。这意味着大模型安全相关的解决方案将成为很强的市场刚需——这背后既有监管立法驱动,也有企业自身真实业务需求驱动。因而,大模型的安全(包括对齐、攻防、隐私保护等)一直是我们重点关注的投资方向之一(Atom Capital:大模型安全之Alignment & Privacy)。我们相信,随着这一次AI技术的飞速发展,将诞生一个全新的大模型安全市场,其中也会孕育出新的AI安全巨头。


安全领域历来是一个门槛很高的创业领域,对于团队背景的要求极高,HydroX AI的团队也是吸引我们投资的原因之一——团队汇聚了AI、安全、工程领域的众多世界级专家,很契合这个领域对团队复合背景的需求,CEO ZL对这个领域有深刻的洞察和思考。而大模型安全作为全新的前沿领域,早期进入的团队有机会与行业最头部的参与者一起建立行业共识,领导行业标准的制定,形成先发优势。我们看好HydroX AI在这个全新领域能够成长为新一代的AI安全领导者。




About Atom Capital

Atom Capital是一支由连续创业者和投资人成立的新锐风险投资基金,专注于AI、大数据和云原生领域的早期投资,聚焦颠覆式创新机遇,发掘、孵化和陪伴优秀的科技创业者成长。

Atom Capital
科技最前沿,创业路上的一点光