点击蓝字
关注我们
2024年12月3日上午，由清华大学、新加坡国立大学、香港科技大学联合主办的“2024人工智能合作与治理国际论坛”举办了以“行业、监管机构和第三方公司之间的人工智能安全相互作用”为主题的圆桌对话。对话由新加坡政府人工智能验证基金会执行主任沙米克·昆杜（Shameek KUNDU）主持，欧盟《通用人工智能实践准则》副主席尼塔山·拉库马尔（Nitarshan RAJKUMAR），Resaro AI管理合伙人兼首席执行官阿葡丽尔·钱（April CHIN），波士顿咨询公司数字化构建与设计部门（BCG X）工程主管罗宾·韦斯顿（Robin WESTON）作为对话嘉宾参与对话与交流。
圆桌讨论
沙米克·昆杜（Shameek KUNDU）主持圆桌对话
对话关注的第一个问题为，基础模型的安全测试和人工智能商业应用的安全测试之间，是否存在关联性。主持人沙米克·昆杜（Shameek KUNDU）认为两者关联度不大，完全是两回事。过度强调联系性会导致检测机构的双重测试，既要测试模型本身的内在安全性和性能，又要测试该模型在实际使用中的表现特别是与应用场景的互动，这可能导致两个测试都无法取得很好效果。
尼塔山·拉库马尔（Nitarshan RAJKUMAR）提到，模型级别的安全性与应用级别的安全性之间存在区别。就像人们将充电器插入插座时，不会关心供电问题或者其他极端风险，而只关心这个充电器到底能不能正常工作。
阿葡丽尔·钱（April CHIN）将基础模型类比为“微型核反应堆”，把实际应用比作通过“微型核反应堆”来为电灯泡供电。对于基础模型，需要确保其按预期运行，防范各种潜在风险，规避灾难性后果。而对于实际应用，则需要确保其不会在多种文化背景下产生偏见、歧视和不良后果。
罗宾·韦斯顿（Robin WESTON）倾向于认为两者之间的关联度不高，因为基础模型的安全验证对人工智能应用安全的检测是否具有帮助，不得而知。并且在实际应用阶段，如果加入太多检查和防护措施，反而会打破产品开发的连贯性和减缓开发速度，在客观上降低产品质量。
尼塔山·拉库马尔（Nitarshan RAJKUMAR）发言
对话关注的第二个问题为，人工智能商业应用者对于安全测试的关注重点和需求是什么。主持人沙米克·昆杜（Shameek KUNDU）提到，一些观点认为，应用者通过测试可以明确自己能从基础模型中具体获得什么，一些观点则认为，正因为人工智能模型本身是不完全透明的领域，所以应用者需要通过安全测试去构建一个框架来应对可能发生的不确定风险。除此之外，应用者更关注的可能只是是产品落地和有效运行，而非安全问题，因为他们的客户不会太关注基础模型或者前沿技术的安全风险。
尼塔山·拉库马尔（Nitarshan RAJKUMAR）赞同到，对于下游应用者而言，他们更关注的是市场需求和产品销售。对于他们而言，安全问题理论上是国家和社会层面的范畴，应由政府部门和相应机构对此负责，由他们进行评估，保这些技术不会带来巨大风险。当然，应用者也会认为即便自己对此有责任，也不具备相应的能力，无法像监管者那样可以确保这些技术不会被恶意使用。
阿葡丽尔·钱（April CHIN）提到，应用者希望通过安全测试帮助他们和客户建立起对人工智能技术的信任基础。应用者可以借此更好地弥合学术基准和业务基准的差距，同时也能更好地向治理部门和客户证明这个系统足够安全，从而使产品顺利投入使用。
罗宾·韦斯顿（Robin WESTON）以自己工作为例，提到其更专注于为客户提供数字化的解决方案比如构建技术系统，因此大部分精力会花在如何确保系统的正常运行，只有20%的精力会放在基础模型安全性的问题上。
阿葡丽尔·钱（April CHIN）发言
对话关注的第三个问题为，如何更好地消除降低人工智能特别是生成式AI所带来的风险。主持人沙米克·昆杜（Shameek KUNDU）认为，可以通过在标准基础上的第三方认证，发放类似电气设备的认证标志，确保模型的安全性和可靠性。这种认证不仅能增加模型使用者的信任，还能确保在使用过程中不会出现重大风险。此外，还可以在安全测试阶段针对重点风险如错误信息和虚假信息等进行测试，减少其被滥用的风险。
尼塔山·拉库马尔（Nitarshan RAJKUMAR）认为，值得肯定的是现在对于安全问题的关注越来越大，很多像自己这样的技术专家正在逐渐将关注点转移到政策和治理领域。目前来看，提高安全性的关键还在于是否能提高模型的透明度，因为政府和社会能借此更好掌握技术实际发展水平和提前发现大规模风险出现的迹象。但同时，一些看似可行的方法实际上还存在挑战性，比如测试阶段的重点测试对象就很难明确，正如尼塔山·拉库马尔曾一度认为错误信息和虚假信息将是公众最关心的问题和风险，然而结果却并非如此。
阿葡丽尔·钱（April CHIN）提出，关键在于让所有相关方（模型提供者、使用者、监管机构等）在技术生命周期中具有清晰的责任和协议，确保每个环节都能做到风险最小化。不仅是对基础模型本身进行安全性测试，还包括对基础模型在实际应用中的表现进行持续监控和改进，从而确保其在不同情境下都是安全、可靠，且符合法律和伦理要求。
罗宾·韦斯顿（Robin WESTON）表示，人们需要找到一种测试方式，既能保持技术发展速度，又能明确重点风险领域，同时还要考虑到系统延迟的实际情况。此外，确保模型安全不仅在于保证模型本身的安全，还要考虑到边界条件、护栏等与模型进行互动的部分。
罗宾·韦斯顿（Robin WESTON）发言
清华大学人工智能国际治理研究院（Institute for AI International Governance, Tsinghua University，THU I-AIIG）是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势，研究院面向人工智能国际治理重大理论问题及政策需求开展研究，致力于提升清华在该领域的全球学术影响力和政策引领作用，为中国积极参与人工智能国际治理提供智力支撑。
新浪微博：@清华大学人工智能国际治理研究院
微信视频号：THU-AIIG
Bilibili：清华大学AIIG
