算法需要更有温度
01
引言
罗杰斯在《创新的扩散》中提出了“意外后果”的观点，即一项创新在带来巨大好处的同时，也可能产生“无意”的负面影响。算法的内在力量是自动化决策，包括排序、分类、关联以及过滤等。算法歧视就发生在自动化决策之中。建立在数据基础之上的算法系统也会犯错，带有偏见，而且比以往的数字歧视更加隐秘。萨菲亚·乌罗哈·诺贝尔认为如果不仔细考虑驱动人工智能算法和基础数据集中的潜在偏差，则存在扩大而非缩小机会和成就差距的“意外后果”。算法歧视包括种族歧视、性别歧视、年龄歧视、消费歧视、弱势群体歧视等。
思考1：
除了我们日常常见的大数据杀熟，性别歧视，地域歧视，人种歧视之外，还有多少常见的算法歧视？
▼
02
算法歧视在广告业产生的原因
1. 技术原因
（1）用户标签化
在DMP与RTB迅速发展的今天，用户信息唾手可得，用户画像清晰可见。在用户填写个人信息时便被打上事实标签，通过学习用户的使用习惯为其打上模型标签，最后通过算法对其行为进行预测。通过一层层的筛选与学习，可以清楚获悉用户的消费能力与个性化喜好，因此用户逐渐被标签化，一定情况下由动态变为静态。
程序化系统使得消费者洞察智能化，通过文本的识别、视频的分析以及声音的处理将非结构化数据与结构化数据转化，尽可能通过现有数据模拟真实的用户画像。
（2）算法的数据质量原因
为何Facebook与Google智能广告推送总是将高新工作招聘广告推向白种人，将“特殊”职业以及低阶层工作推向黑种人？算法的数据质量也占据了重要的成分。算法程序本身就是一个“黑箱”，但数据的收集却来源于千千万万用户。若算法收集到的数据中黑人与白人的相关信息呈现定向化趋向，那么算法不免会对人种进行区别化与程序化刻板画像。数据库收集到的关于黑人的不良言论越多，形成的刻板印象也就越深，此时算法只是完成了一个归类总结的过程，归根到底是来自于算法收集的数据过于片面与偏颇。换句话说，在被数据量化的世界中，数据本身与现实世界重合的程度决定了数据的可靠性。而现实中算法依赖的数据往往是有局限和缺陷的。因为算法是从有局限的训练数据集中学习，而任何一个数据集都可能蕴含偏见。
（3）外部干扰与内部黑箱
Facebook广告商曾言，即使广告商本身不以种族作为广告投放的区分依据，但最终投放结果仍然出现巨大的人种差异。政治倾向的选择、经济利益的驱使……各种各样的外部压力对数据的来源、算法的程序进行了干扰，“算法本身就是偏见”，算法处理的不透明化使得算法外部施加的压力不再清晰。
在人工智能深度学习过程中，输入的数据和输出的答案之间，存在着我们无法洞悉的“隐层”，又被称为“黑箱”。“黑箱”不仅意味着不能观察，还意味着即使计算机试图向我们解释，我们也无法理解。面对不透明、未经调解的、极富争议的甚至错误的自动化决策算法，我们将难以回避“算法歧视”与“算法暴政”。
思考2：算法机制真的是一个“潘多拉魔盒”吗？
是暗箱操作还是人为控制？
2. 广告主
（1）广告产品的定位
“300块钱的电饭煲只有屌丝搜得到，3000元的高档电饭煲却让高富帅搜得到。”算法依据消费者的消费能力让相应档次的产品进入对应消费能力的消费者的眼帘。产品价格的差异便体现了中高低端产品档次的分类。由于算法对产品的定位细分严格，这就导致了“什么消费能力的人看到什么档次的产品”，给予用户挑选的范围缩小且模式化了。
（2）广告商投放选择
实时竞价让广告商选择具有最高回报率的投放场景，中国数据调查报告显示：71%的数字媒体广告投入都是浪费的，一面是广告主不断加大数字广告的投入，与之相应的是不匹配的ROI，为了实现精准投放，广告商不得不放弃与之画像不匹配的用户，而具有相似特征的用户的人群特征也是相似的，广告商放弃了这类人群的投放机会，也就造成了对这类人群的歧视。
3. 广告形式
程序化创意的打造让广告实现了在合适的场景以合适的姿态展现给合适的观众，广告生产由创意为王转向了精准投放，在流量大于创意的时代，不同的广告为他们的目标受众精准设计，本就呈现了选择性的趋势，这种选择性也一定程度上加剧了算法歧视的蔓延。
4. 消费者行为习惯
消费者日复一日的消费习惯让算法完全掌握用户的个性化偏好，消费者的媒介素养也一定程度上影响了算法对用户的刻画。算法推送主动帮助用户减少甚至摒除其不感兴趣或者不匹配的广告内容，用户产生了对算法的依赖，也加剧了用户自我形象的固化，沉浸在私人订制的信息茧房当中。
03
计算广告中算法歧视的危害
算法将个体的分类、排序和过滤，对个人生活产生了深远的影响。算法不仅仅是个人隐私的问题、信息安全问题，还包括社会公正的问题。
1. 继续固化和扩大偏见和歧视
算法歧视延续着传统，即处于不利地位的群体实际上应该得到更少的优待。如果没有刻意的关注，这些创新可以很容易地固化歧视，强化偏见，掩盖机会。在没有任何特殊处理的情况下，数据挖掘可以重现原有的歧视模式，继承决策者的偏见，或者仅仅反映出社会中普遍存在的偏见。
2. 不断蚕食消费者剩余，压榨消费者个人财富
根据经济学家杂志显示，2014年在排名前100名最受欢迎网站中，超过1300多家公司在追踪消费者。利用算法技术，根据消费者网页浏览历史来调整价格会增加企业14%到55%的利润，而只使用人口统计数据来个性化定价只会使利润增长0.30%，这意味着企业通过算法和大数据进行的个性化定价利润增长已经增加了48倍。在企业利润增加的同时，消费者的剩余被企业剥夺，消费者个人福利被减少。
3. 剥夺个人自我决定权，破坏了信息的多样性
算法推荐信息可以点对点提供个性化、定制化信息，但也让个体放弃了自我决断权，数据控制者比我们更了解我们，可以告诉我们需要什么信息，算法操纵着我们的世界和决定，又强加给我们另一种特定的价值体系。个性化的选择引发了信息偏向，我们的视野更加狭隘，成为了信息茧房效应，还可能带来群集化风险。个体沉浸在算法推荐营造的信息世界，逃避和过滤那些与自己不同看法，容易形成信息偏向问题。
4. 对个体生命构成潜在的威胁
研究者发现将数据转化为信息的算法系统并不是绝对可靠的，它依赖于不完美的输入、逻辑、概率和设计人员，即使有过于乐观的假设，数据挖掘算法准确率为99.9%。当应用到2亿人的时候，有成千上万的人会经历错误的治疗。因此，在医学领域，大规模筛查的方法备受争议。换句话说，尽管大数据的挖掘者可能会假装采取更科学、更好、更公平的决策，但结果往往会有随意性，只具有有限的精确性。许多数据挖掘者可能不知道这一点，也不关心。许多算法在没有警告的情况下产生输出，这一事实在其结果中造成了危险的过度自信，极有可能对个体的生命造成损害。
04
基于多元主体的探讨
1. 监督方视角
国家与立法机关需要制定相关法律对算法滥用进行限制，对算法的设计进行规定，最大程度减少算法歧视的发生。与此同时，需要衡量企业主体方不合适公开的商业竞争秘密以及算法公开接受监管，满足消费者知情权之间的一个相对平衡。从商业审核机构方来看，需要引入专业领域具有相关专业知识的人员参与审核，建立并且不断完善一套对于算法的审核和评判的系统。与此同时引入消费者、大众的参与，发挥众人的监督作用：可以打造一个展示平台，向大众展示审核的算法，每个人可以参与体验，评论反馈算法的准确性，并且可以提出自己的改进意见。这样不仅能够建立一张：“过滤网”，对于算法的使用设立门槛，提高用于商业广告领域算法的整体的质量，还能够反馈给设计方算法的问题，促进算法的改进，减少算法歧视的现象，达到监管和建议的双重效果。
2. 广告主视角
现阶段互联网广告与精准投放实现匹配，而物联网广告也在技术的支持下逐渐智能化、定制化，因此全场景数字化广告是每个品牌方的努力方向，如何用更少的投入获取更高的ROI也成为了每个广告主的思考与目标，大数据时代下个人信息不免标签化，把个体数据格式化归类也是当前大数据的学习方向，在当前广告业态的发展趋势下，如何利用算法寻找最佳目标受众，已经是大势所趋。因此广告主在竞争压力下必定会出于利益考究，放弃不匹配的受众，放弃忠诚度低的用户，将更多的流量聚焦到有潜力、符合定位的用户当中，算法歧视是不可避免的。
对于广告主来讲，算法歧视有他的好处也有坏处。减少投资浪费、提高曝光度是对广告主的最大益处。现阶段网络热点更迭频繁，用户追随的浪潮也是接替不穷的，依据算法广告主可以迅速掌握消费者的喜爱方向以及关注热点，根据热点的变化更新自己的广告形式和广告卖点，让自己的广告始终处于前卫的状态。但算法歧视一定程度上也为品牌方减少了新用户的来源，由于与之画像不匹配的用户长时间处于临界状态以及黑色地带，新用户缺少甚至没有途径对品牌产生了解与连接，而仅仅依靠网络KOL，到达率也是不尽人意的，算法歧视剥夺了新用户接触品牌的权利，一定程度上对广告主吸引新用户产生了不利影响。
最后，广告主可能还算是算法歧视的隐形受害者。由于算法的“黑箱”操作，广告主对于自己的广告实际到达哪些用户也是不清晰的，具有延迟性与滞后性，影响广告信息到达的因素太多且不确定，实际到达率与广告主的预期也许还有差别，广告主与投放平台的关系也决定了其投放的风险性。
3. 程序化交易平台视角
低价要求和无理的KPI是价格歧视的罪魁祸首。在不少广告主的理解中，程序化购买的精准度无法验证。这就造成了广告主不断给程序化交易平台施压，价格不断压低，在低价的背景下，还要求程序化交易平台实现各种无理的KPl，甚至包括销售效果的转换等。广告主的要求倒逼程序化交易平台降低成本，其只能也必须通过用户信息分类画像短时间内实现精准投放，最终也就造成了价格歧视的出现。
程序化购买的“低价”思维，其实是广告主的一个误区。在正常情况下，程序化购买与低价并没有直接联系，程序化购买应该是用最合适的价格买到精准的受众。在行业乱象下，媒体及代理商本身的价格恶性竞争，让广告主只能通过不断压低价格，才能形成心理安慰，至少没做亏本买卖。但其实广告主低价得到的资源到底是什么，只有媒体及代理商自己心里知道。这种广告资源“称斤卖”的方式，价格战的恶性循环，对程序化整个行业的发展，是有百害而无一利的。
从程序化购买“低价”思维的角度，程序化交易平台近年来被广告主质疑投放效果的案例不在少数。效果要求步步紧逼下难免出现效果造假的行为。因此最终措施还是应该归结到广告主低价思维的破除上，只有对程序化交易是一次低价行为的观点不再认同，才能真正换程序化交易平台一个良好的发展环境，才有机会为“价格歧视”的真正消失做出努力。
思考3：
KPI所导致的价格歧视真的无理吗？
还是既得利益者所受到的无理抨击？
4. 消费者个人角度
消费者应该养成一定的防范与察觉意识，在发现算法中嵌入歧视机制时，应当审慎思考与应对，适当时给予举报与反馈。当然，老师在我们展示中提到，有时“歧视”，确实是歧视吗？这个问题可以发展为，如果取消了多样化的推送，投放得千篇一律时，用户极有可能提到那为什么不给我投放个性化广告？多样化的标准就是歧视。我认为计算广告中群体的区别对待是毋庸置疑的歧视，应该警惕的是针对群体化的歧视，包括种族、民族、性别、年龄、残障、性取向、宗教等。而针对不同消费者的价格歧视，消费者也应积极维护权益。因为实施价格歧视的商家多为头部且具备技术实力和数据基础，不平衡的竞争策略只会让巨头商家更加强势，消费者越发弱势。区别性地对待消费者，最终制造新的不平等和社会分裂。
05
思考
算法歧视真的是歧视吗？目前来看，很多情况下我们判定一个算法形成了歧视，其原因往往不是设计者在设计时的主观意愿。歧视是由偏见的认识和态度引起的，算法的模型再完善，计算结果再精准，也是机器学习的结果，就如机器无法完全拥有人类的情感一样，算法本身不会自我创造偏见。算法的工程师也很少刻意设计带有偏见的算法。从歧视的定义上来看，算法并不带有偏见的认识与态度。但是从结果上看，算法歧视产生了歧视结果，造成了不良影响。
思考4：如果说算法本身就是歧视，那么对算法歧视做到怎样的控制才算合理呢？
参考资料：
【1】如果广告的注意力只有1.7秒，品牌主该如何适应这一变化？——新潮传媒集团
【2】算法歧视研究：比大数据“杀熟”更值得关注的领域。汪红春，周憬
【3】传媒观察 | 广告算法不能凌驾于人之上. 曹钰涵，曾琼
【4】人工智能背景下的“算法歧视”及其治理 高丽华 刘尧
【5】Helbing D. Big Data Society: Age of Reputation or Age of Discrimination?[J]. Social Science Electronic Publishing, 2015.
【6】陈昌凤, 张心蔚. 信息个人化、信息偏向与技术性纠偏——新技术时代我们如何获取信息[J]. 新闻与写作, 2017(8):42-45.
编辑：于晓雯 吴晓茹
感谢迟铠 黄宇恒 姚舜禹 陈天赐同学供稿
