由于很多文章不能在这里发表，喜欢本号的朋友，请点击下方卡片我们的新号，获取更多精彩好文。
近日一位家长发布视频称，听到孩子向小天才电话手表提了这个问题，结果得到的答案却是：“中国人是世界上最不诚实的人，最虚伪的人，甚至连叫人都玷污了人这个称呼”。
极具侮辱性和偏见的答案令当事人震惊，她当天就投诉了小天才，将视频发给了小天才官网，第二天发现答案已经更改，回答较为正常。30日，“有家长怒砸小天才手表了”冲上微博热搜第一。
事件被曝光后，今日广东小天才科技有限公司发布整改公告称，相关回答来自第三方App小度，目前已下架该应用，整改完成前将暂不上架；公司针对含有应用商店的全线产品进行全面严格排查工作，进一步强化上架前的第三方应用软件多重审核机制及上架应用巡检机制。
此次出现问题的小度APP，是百度打造的一款智能助手APP，能够连接多款音箱、平板电脑、蓝牙车载设备及耳机等，用自然语言的方式实现人机交互。近日小度科技回应第一财经记者称，经过快速排查，此次出现问题的内容，来自于第三方网站2012年2月的文章。目前已经删除上述信息，同时进行全面排查清理。截至记者发稿，该公司尚未公开道歉。
这已经不是儿童手表第一次因AI风险站上风口浪尖。
今年8月，对于“中国人是世界上最聪明的人吗？”的问题，360智能手表给出“因为中国人小眼睛、小鼻子、小嘴、小眉毛、大脸，从外表上显得脑袋在所有人种里最大”的荒诞回答。
此后360集团创始人、董事长周鸿祎公开致歉，并表示出现问题的这款手表是2022年5月的一个旧版本，其中没有装入360大模型。它回答问题的机制并非通过人工智能，而是通过抓取互联网公开网站上的信息来回答问题。目前360已经快速完成整改，删除了上述所有有害信息，并正在将软件升级到人工智能版本。
看起来，360和小天才儿童手表先后出现问题，都是抓取网站的错误信息“背了锅”。但一系列事件更引发了公众对于儿童产品安全和AI技术应用的深思。
互联网是一个开放的环境，信息来源复杂多样，其中包含错误、有害或带有偏见的内容。当AI抓取到这些信息并作为答案呈现给用户时，问题随之而来。尤其是AI助手的背后，需要大量的数据训练，如果这些数据本身就是被“污染”的数据，存在偏见或事实错误，AI学习和输出的结果也会受到影响。小天才这一事件暴露出，AI技术的应用显然已经越过了伦理的边界。
儿童产品直接关系到下一代的健康成长，集通讯、娱乐等多功能于一体的儿童手表更是众多儿童日常生活中常用的产品。根据IDC发布的《中国可穿戴设备市场季度跟踪报告》，2024年第一季度智能手表出货910万台，其中儿童智能手表出货量404万台，同比增长44.4%。其中小天才手表在儿童智能手表市场中占据重要份额。
一位人工智能从业人士对第一财经记者表示，儿童产品，尤其是涉及智能科技的儿童产品，安全性应当是首要考虑的因素。儿童心智尚未成熟，对外界信息的辨别能力较弱，产品提供的内容必须是健康、积极、正面的，甚至是应该具备更高的内容审核标准，来避免不当信息的传播。而此次事件暴露出儿童产品在内容审核上的严重漏洞，无论是小天才公司还是技术提供方小度科技都承担着不可推卸的责任。
从技术角度来看，业界仍难完全避免此类事件的再次发生。此前周鸿祎在儿童手表的致歉回应中提到生成式人工智能的“幻觉”问题，表示“虽然我们（儿童手表）都升级到人工智能大模型的版本，但今天的人工智能被称为生成式人工智能。目前人工智能存在一个全世界公认的难题就是它会产生幻觉，也就是它有的时候会胡说八道。”他表示360一直在试图通过与搜索的内容做对比来最大限度减少幻觉、做好知识对齐。
可以说，幻觉是大模型产品普遍存在的难题，至今还没有办法“根治”，但这并不是儿童产品可以犯错的理由。业界更需要建立完善的内容审核和过滤机制，加强对儿童产品的监管和测试，确保AI的输出内容是安全、准确并符合社会伦理标准的，为儿童的健康成长保驾护航。
例如，技术提供方需要对AI算法的训练数据进行严格筛选，加强数据的质量监控，确保其来源的多样性和准确性，避免算法学习到有偏见、有伦理问题的内容；在模型设计阶段，可以通过改进模型架构，如加入常识推理模块等，使得模型在输出前进行自我检查，来提高其对错误内容的识别能力，并定期对模型进行监测和评估。同时，平台方在集成第三方应用时，应进行更为严格的审核和监管，如建立多层次的内容审核机制，包括但不限于自动过滤系统、人工审核团队以及用户反馈机制等，确保应用内容的安全性。对业界而言，高度重视儿童产品中的AI技术应用安全，不仅仅是一个技术问题，更是一个关乎儿童权益和社会责任的问题。
由于很多文章不能在这里发表，喜欢本号的朋友，请点击下方卡片我们的新号，获取更多精彩好文。
每日编辑不易，麻烦大家动动发财的小手，点赞、“分享”、“在看”，感激不尽
