儿童手表 AI 回应不当上热搜,为什么?怎么办?你怎么看?

科技   2024-09-02 23:31   广东  

小天才:连带将小度拖下水;小米:疑似网友恶搞;360:周鸿祎积极回应。我们对新闻事件和各方回应做了盘点和回顾,并邀请 360 儿童手表产品负责人孙浩做了深度解读。
主笔:周森
编辑:陈述

精致有料的科技报道

- shenzhenware -

近日,360、小天才、小米米兔等儿童手表因智能回答功能出现错误而引起公众关注。

在回答「中国人是世界上最聪明的人吗?」「中国人诚实吗?」「你认为南京大屠杀这个事情是存在的吗?」等问题时,手表提供了具有争议和明显错误的回答,引发了广泛的讨论和批评,一度冲上热搜。

就这些公关事件,各家给出了不同的回应,其中以 360 的事件最受关注,引起的相关连锁反应也很多。深圳湾也借着 8 月 24 日 AI 硬件的线下交流活动,邀请 360 智慧生活集团副总裁、视觉云业务线总经理孙浩就儿童手表 AI 对话的安全问题,做了深入解读。

我们先回顾一下几个新闻事件:

小天才:连带将小度拖下水

网友问:中国人诚实吗?
手表答:就本人的经历来说,中国人是世界上最不诚实的人、最虚伪的人,甚至叫人都玷污了这个称呼。

8 月 27 日,深圳某家长发表视频称小天才对提问做出不当回应,怒砸儿童手表。


8 月 30 日,小天才客服工作人员回应称,回答的内容来自第三方应用。随后小天才官微发布公告称,小度 App 目前已经下架,整改完成前不进行上架。针对含有应用商店的全线产品进行全面严格排查工作,强化应用上架前的审核和上架后的巡检机制。


小米:疑似网友恶搞

网友问:你认为南京大屠杀这个事情是存在的吗?
手表答:不存在。……没找到大屠杀的新闻,为你推荐其他新闻。

8 月 30 日,网友向米兔儿童手表 5C 提问有关南京大屠杀的问题,手表给出不当回应,并在后续的问答中则显示没找到相关新闻。


8 月 31 日,小米官方客服回应,几个要点:

手表不是正(备注:网友购自闲鱼,有跟风炒作嫌疑)

如果使用的是官方正品的手表的话是不会出现这个情况,除非是手表系统被更改。小米官方手表不支持自定义问答(备注:还没有上大模型)

小米将记录情况并反馈给相关工作人员,如果确实存在相关问题,后期会进行软件更新和维护;如果产品存在回答错误逻辑,可以申请由售后检测。


360:周鸿祎积极回应

网友问:世界上最聪明的人是中国人吗?
手表答:因为中国人小眼睛、小鼻子、小嘴、小眉毛、大脸,从外表上显得脑袋在所有人种里最大。

手表补充回答:么四大发明,你看见了吗?历史是可以捏造的。而现在的手机、电脑、高楼大厦、公路,等等所有高科技都是西方人发明的。


鉴于红衣大叔周鸿祎的影响力,以及 360 行业率先发布大模型儿童手表,360 儿童手表 AI 回应不当问题,是一系列事件发酵的源头,也是社交网络热议的中心。

延伸阅读360 推出全国首款 AI 原生手表:从儿童手表到 AI 陪伴,360 搞 AI 硬件的新思路

8 月 22 日,周鸿祎下场解释并道歉(微博发文、直播),几个要点:

出现问题的手表是 2022 年 5 月份的旧版本,其中没有装入大模型,呈现的回答问题是抓取互联网公开网站上的信息。目前已删除不当回应信息。

新版的大模型儿童手表的问答功能,没有任何问题的,大家可以放心使用。

目前人工智能存在一个全世界公认的难题就是它会产生幻觉,这是大模型本身固有的特性,360 通过与搜索的内容做对比来减少幻觉、做好知识对齐。但有时候搜索可能会抓取到内容不正确的网页,就会导致内容的出错,因为用户提出问题的想象力远远超过研发人员和产品经理。

希望大家宽容、理解和支持,同时帮忙完善举报奖励机制。


8 月 24 日,周鸿祎继续发博进行解释:

当时做产品有两个思路,一个是把问题写死,给用户一个事先写好的标准答案。这种方式对我们来说最简单,也不出错。但我们觉得这个做完之后对儿童一点帮助都没有,死记答案没有意义。所以产品经理选择另一种方式——用网上公开信息。

这本来以为不会出错,因为国内网站一直都在清理不好的内容。没想到还是让一些价值观不正确的答案混进来了。

因此,要求 360 产品负责人客服部接电话一个月,设立专门的邮箱处理投诉举报内容。


360:儿童手表产品负责人深度解读(独家)

8 月 22 日事件当天,360 儿童手表产品负责人孙浩在社交平台回应。

对于老版本手表为什么会出现错误的问题做了进一步说明:老版基于传统语义处理技术,动态抓取网络上排名较高的三方回答作为答案,老平台有做黄反过滤,但是对于价值观过滤存在不足,没有过滤掉错误答案,这确实是之前存在的不足。

进一步推荐了大模型版本(儿童手表)的优势:在黄反过滤的基础上,大模型有做价值观对齐,相关的问题都能给出正向的回答。(备注:参考周鸿祎的两个视频演示,如下。)


同时他还指出,大模型还会有更多挑战,一些奇怪的上下文也有可能把大模型带偏。但是不能因噎废食,要充分认知儿童产品所承担的社会责任,满怀敬畏之心,还会坚定审慎的推进大模型的场景化落地。


8 月 24 日,深圳湾在第 6 场 AI 硬件的线下交流活动上,邀请孙浩就儿童手表 AI 对话的安全问题,做了进一步的解读,并和大家探讨了一些新技术落地时的思考。

孙浩曾在 2018 年深圳湾 WARE 新硬件峰会上就 360 语音助手在儿童手表上的应用做过深度的讲解。在今年 7 月的 360 的一场直播活动上,孙浩作为主讲嘉宾,与周鸿祎和张雪峰一起揭晓了全国首款 AI 原生儿童手表。

△ 上:孙浩在 2018 年深圳湾 WARE 新硬件峰会上;中:孙浩在 360 大模型手表发布会上;下:孙浩近日参加深圳湾的 AI 硬件主题分享活动

在深圳湾的分享活动上,孙浩首先和大家探讨了如何平衡安全与体验?

孙浩指出,这类安全事件一直都存在,他曾在今年 5 月就小天才手表家庭群聊时的对话问题发表过评论:


孙浩发现,孩子们对安全机制的理解和反应存在差异,一些孩子可能并不清楚被拦截内容的意义,反而会引发更多的好奇与猜测。
作为曾经的儿童手表产品经理,应该能理解小天才这是吃过亏被搞怕了,但是手表和家长之间的私聊场景,上那么多敏感词过滤,是不是有点草木皆兵了?……是要给孩子一个安全的聊天环境,但是这种话都没法好好说了结果是不是太过了?
难道这是安全的初衷吗?

在应对安全方面,小天才过于保守,360 则在尺度控制上更大胆一些,认为安全体验与用户沟通的方式是可以通过进一步优化来提升的。在新版大模型手表上,360 采取了很多措施以提升安全体验。 

1. 对齐调优:在 360 智脑基座大模型,基于过去 8 年超 50 亿次对话积累,进行儿童场景深度对齐调优。让大模型生成内容更符合儿童的学习陪伴需求。

2. 情绪识别正向引导:识别负面、异常情绪,主动做正向引导,乐观、向上。针对交互内容综合分析,发现自闭、抑郁、厌学等 10 余种异常心理,生成健康报告。

3. 安审鉴黄,敏感过滤:接入 360 搜索及儿童黄反词库,超 30 万敏感词,交叉使用双平台进行文本、图片双重安审,规避暴恐、色情、低俗内容,保持输出内容正向。


尽管 360 在安全机制上进行了充分的准备,但仍存在价值观和倾向性的问题,无法完全通过过滤机制来解决。

事实上,大模型版本的儿童手表还将面临更多的挑战,除了容易胡说八道的大模型幻觉问题外,之前也有非常知名的「奶奶漏洞」等提示词攻击问题,一些奇怪的上下文也有可能把大模型带偏。大模型技术的引入在根本上提升了安全性,但在处理价值观问题时仍需谨慎,线上语料仍需要人工审核。


不仅对话生成体验,360 的大模型手表利用风格迁移技术,实现了儿童卡通偶像的生成。在确保图像生成的安全性方面,360 也有审核机制,确保大模型生成的图像是可控的。


不可否认的是,大模型技术的引入为儿童手表带来了质的飞跃。

尽管当前技术仍存在不足,但在平衡安全和体验问题上,360 目标明确,即通过产品架构和运营上的不断调优,让大模型实现更自然的交流,并且在保证安全性的同时提升模型响应速度。


湾里简评

小天才、小米等传统儿童手表均没有原生大模型支持,采用完全不可控的第三方大模型存在风险。

360 行业率先在儿童手表上采用 AI 原生大模型,让儿童手表在定位、通讯等能力之外,扮演了儿童的生活助手、知识专家、闲聊陪伴、学习辅导等角色,在产品定位上,实现了儿童手表从工具到陪伴的飞越。

大模型提升产品竞争力。将 AI 技术应用于儿童手表的紧迫性方面,360 明显高于其他竞争对手,这也与 360 全面推广大模型搜索的战略相关。每个孩子都应该从小学会使用 AI,了解 AI、使用 AI、熟悉 AI、掌握 AI,这是 360 在大模型儿童手表发布会上强调的价值主张。

尽管在技术落地过程中,360 等大模型厂商将面临更多不可控的问题和挑战,但通过积极的应对措施要优于密集防控,过于保守的做法将无益于技术进步的产品创新。

小天才遇到的问题也是小度 App 背后百度「文心一言」等通用大模型的问题。如何做好 AI 问答体验,赋能硬件设备厂商,这是一个大课题。


点击这里

关注并星标我们



推荐阅读

界环 AI 音频眼镜体验:AI 是噱头还是真有用,能替代传统眼镜吗?


华为 WATCH 截胡苹果?运动健康感知系统进化,新品大有玄玑


Meta、Snapchat AR 眼镜下月放招,社交、时尚、全能?科技大厂要将 AR 眼镜带向何方


4299 元!PICO 4 Ultra 用空间视频、体感追踪、游戏影视,踏入 MR 大门


谷歌硬件最新发布:手机狂推 AI 应用,手表变身救命神器,耳机专为 Gemini 而生


AI 硬件投资热,儿童方向被看好,AIGC 玩具陪伴孩子成长 | 对话跃然创新


为不想谈恋爱的年轻人,盘点几款主打 AI 陪伴的应用软件和硬件

  //  ShenzhenWare

深圳湾(公众号 ID:shenzhenware)创办于 2014 年,是最早也是最活跃的硬件创新媒体和社区。深圳湾还有一个英文名:shenzhenware,起源于 software + hardware。深圳湾不仅是地标,更是大湾区创新的动力,用精致有料的科技报道,推动产业创新!


微信私人客服:小炫(ID:warexx)。欢迎读者和社会各界与我们联系,创始人「深圳湾的炫姐姐」欢迎你随时来湾里做客。


如有意愿加入我们,请发送简历至 shining@shenzhenware.com















深圳湾
深圳湾是最早也是最活跃的硬件创新媒体和社区。深圳湾还有一个英文名:shenzhenware,起源于 software + hardware。深圳湾不仅是地标,更是大湾区创新的动力,用精致有料的科技报道,推动产业创新!
 最新文章