OpenAI华人科学家翁荔:多人标注数据减少AI偏见

文摘   2024-11-30 19:05   北京  

▲关注中国信息化周报

新视界、新思维、新洞察
ChatGPT横空出世以来,AI技术如同搭乘了高速列车,以前所未有的速度渗透至人类社会的各个角落,深刻影响着我们的生活和工作方式。然而,随着AI技术的不断进步,如何确保这些智能系统既安全又可靠,成为全球关注的焦点。
如何培育出既聪明又安全的人工智能?近日,OpenAI华人科学家翁荔在BiliBili超级科学晚会上表示,AI的进化需要我们用心引导与教育,以确保其更好地服务于人类,同时确保安全。

AI的双刃剑效应

翁荔指出,AI技术如同一把双刃剑,它带来的便利与挑战并行。一个既安全又智能的AI无疑将为我们的生活带来诸多裨益。智能家居系统通过学习用户的习惯和偏好,为用户提供个性化的舒适体验。AI助手通过持续监测用户的健康状况,提供量身定制的健康建议。AI还能提升工作场所的效率,催生新的就业领域。然而,这一切均建立在AI安全的基础之上。正如自动驾驶技术一样,一旦出错,后果可能不堪设想。

随着人工智能技术的快速发展,如何确保AI的行为符合人类价值观并真正实现以人为本,已成为AI安全与对齐研究的核心议题。
翁荔表示,在成长过程中,人类会不断学习进步,但也会遇到成长的烦恼,AI同样如此。它可能会因为数据偏见而变得狭隘,也可能因为对抗性攻击而被恶意利用。以健康领域为例,由于许多疾病研究数据以男性为主,导致AI在处理女性健康问题时风险评估可能存在不准确性。美国性与性别医学专家艾莉森·J·麦格雷戈,就曾在其医疗科普类作品《性别攸关》中指出,女性心脏病症状更容易被归结成焦虑等心理问题,从而造成诊断遗漏。
为应对数据偏见和对抗性攻击的双重挑战,加强AI安全和对齐研究至关重要。AI的智能和可靠性依赖于其学习的数据,“数据是AI的食物”。翁荔认为,提供多样化、全面且准确的数据,是确保AI正确理解世界并减少偏差的关键。简而言之,必须确保AI“营养均衡”,以促进其智能和可靠性的发展。

给AI带上紧箍咒

翁荔提到,在使用人类标注的数据时,可以依赖于群体智慧,即通过多人标注同一数据点来减少偏见和错误,以提高AI模型训练数据的质量。
基于人类反馈的强化学习,是向AI提供高质量标注数据的关键技术。强化学习是一种机器学习方法,通过奖惩机制训练AI完成任务,类似于训练小狗,通过不断的尝试并得到反馈,找到最佳的行动策略。
此外,翁荔表示,为AI制定详细的行为规则,让模型自我评价是否遵循了人类的价值观和行为准则,也能提升AI的输出质量。比如,在文档写作和视频音乐制作中,普通人可以通过设定背景、角色思想和关键词,引导AI创作出既丰富又富有感染力的作品。
就像孙悟空戴着紧箍咒,翁荔表示,AI也要戴上紧箍咒。要教会AI安全基本准则和道德标准,让其遵守行为规范,以人类利益为先。
扩展性监督在AI对齐研究中也非常重要,需要结合自动化工具和人类监督,确保AI朝着正确的方向发展。
翁荔呼吁,AI的安全不仅仅是研究者的责任,它需要每一个人的参与。我们每个人都应该成为AI的大家长,不仅监督和反馈AI的表现,还要参与塑造一个安全可信的AI世界。

备受争议的OpenAI

OpenAI作为人工智能领域的先驱之一,其发展过程中遭遇了不少安全和伦理争议。
OpenAI在创立时定位为非营利组织,致力于“确保人工智能造福全人类”。但随着ChatGPT的流行,公司内部出现分歧,特别是关于“有效加速主义”与“超级对齐”的理念冲突。“超级对齐”团队的成立愿景是用技术规范AI,但随着两位“主心骨”———OpenAI联合创始人、首席科学家IlyaSutskever和JanLeike先后离职,该团队随之解散。Leike表示,OpenAI代表全人类,肩负着巨大的责任,但在过去几年里,安全文化和流程已经让位于闪亮的产品。
此外,OpenAI的发展还伴随着隐私与数据保护问题、版权问题,以及声音模仿争议。
2023年3月,OpenAI因收集和保存用户隐私问题被意大利封禁。202312纽约起诉OpenAI微软侵犯版权,指其基于百万篇媒道内容进行模型训练,并利用这些内容解用户提20245OpenAI出的GPT-4o大模型中,一个Sky音模式与美国女演员斯嘉丽·约翰逊,引发议。
今年613沿人工智能公司OpenAI谷歌DeepMindAnthropic 的现和前同发表进人工智能发出警告警告进人工智能的,指出人工智能公司经济利益逃避信强调:人工智能公司强大务动避免有效的监
OpenAI的发展历史,要实现AI全,不需要AI技术带上紧箍咒AI业同样需要有效地监以确保其健康地发展。


作者:于帆
编辑:高珊珊
监制:刘晶

—End—



注:转载、添加白名单以及商务合作请在公众号后台留言,未经许可、不得转载,不得随意修改及盗用原文。

中国信息化周报
《中国信息化周报》与中国信息主管网联动,围绕政府、制造、金融、医疗、教育等行业内容,面向信息化建设领域,报道信息化建设中的新需求、新应用、新体验,为各级工业和信息化主管部门的决策者、企事业单位信息化建设的管理者提供全方位、多元化服务。
 最新文章