算法的社会 | Annual Review of Sociology

学术   2024-11-10 10:10   上海  

算法的社会

摘要:


海量数据与用计算机代码编写的程序或算法相配合,以进行数据分类、组织、提取或挖掘,几乎所有主要的社会制度中都发生了这一现象。本文解读了有关这一转变的社会影响的学术文献。首先,我们讨论了一个新职业阶层的兴起,我们称之为代码精英(coding elites)。通过对数字生产方式的技术控制,以及从新近被边缘化或无报酬的劳动力——网络工人阶级(cybertariat——中抽取劳动力,这个群体巩固了他们的权力。第二,数字优化技术在教育、医疗、信贷和金融以及刑事司法等不同领域的使用,加强了精算决策逻辑的主导地位,有可能改变社会再生产和流动性的途径,但也促成了那些被治理者的反击。第三,我们探讨了数字传播中同样普遍的算法中介是如何改变人们的互动、联系和思考方式的。最后,我们建议审慎对待人工智能的疯狂承诺,但承认算法过程、社会结构和主体性之间日益紧密的结合。


作者简介:

Jenna Burrell  加州大学伯克利分校信息学院

Marion Fourcade  加州大学伯克利分校社会学系


文献来源:

Burrell, J., & Fourcade, M. (2021). The Society of Algorithms. Annual Review of Sociology, 47: 213-37.


本文作者:Jenna Burrell, Marion Fourcade

在我们这个迷恋技术的时代,算法已经承担了一个特别神秘的角色,让它穿上神学的外衣。像“算法”这样的概念已经成为模糊的短语,一个把多部分的复杂系统误认为是简单、单一系统的俚语。

Ian Bogost


黑客伦理与硅谷精神

在冷战初期的一次政府投资中,斯坦福大学从田园象牙塔变成了全球经济的引擎——国防部的计算机技术带着“科学作为无尽疆界”的高尚话语开始进入大学,最终抵达了斯坦福西海岸。然而与政府结合并不容易:越战和60年代的反文化运动使得军事赞助越来越遭到新兴工程师和计算机科学家的反对。他们想要宣称其自主权,相信信息的自由流通、共同体的政治优势以及赠与和互惠的精神。硅谷文化的神话随着一次次的技术革命(半导体、个人电脑、互联网、社交媒体等)开始具象化:在帕洛阿托(硅谷中心),大部分公司诞生于车库和地下室;没有人打领带;高管们都是大学辍学生;企业架构扁平。工程师们赞颂这些价值观,也称颂他们自己。但是他们玩世不恭的道德观和与之相连的无政府主义-自由主义政治倾向,也变成了一种意识形态。尽管谈及共同体和互惠,科技界的领导者和普通人都怀着对个人主义、竞争和适者生存的狂热信仰。

20003月,“.com”泡沫的破灭开启了关键性的转变。硅谷正处在十字路口:与互联网相关的公司(彼时还是一种新事物)不能取得长期盈利;那些在经济萧条中生存下来的新公司(例如谷歌),仍然免费提供服务,没有显著的盈利战略。这种情况随着“行为过剩”(behavioral surplus)的发现而改变——在搜索、聊天、社交等方面无利可图的业务线被广告商重新利用,预测用户行为。由广告作为资金支持的平台,通常是开放的、名义上免费的。现在似乎任何人都可以独立开发APP,独立开发者也可以获得巨大利润。

这种网络接入民主化的反面,是对用户监视和操纵的增强。现在,用户隐私或消费者福祉之类的考虑站在了商业发展的对立面,创收越来越依靠诡计(trickery)。为了吸引用户注意力,开发商采用赌博业中惯用的成瘾手法。与其对开放、自由、相互连接的愿景不同,商业公司现在专注于从更多人那里生成更多数据,并操控他们以确保预期的结果:一次滚动、点击,最好是一次购买。对数据的控制是通过更改法律cooptation of existing law完成的。首先,科技公司将通过cookies和追踪器产生的个人数据定义为丰富和免费的;他们通过平台协议和看似良性的模板合同来获取这些数据,将这一过程描述为一种互利的交换。接着,他们用专利权的法律表演和关于商业机密的争论来保护他们的数据财富。一旦打上“法律特权的标志”,本应属于个人或公共资源的数据就被有效地占有并重新编码为私人资本或资产。

从这些对数字生产手段前所未有的所有权要求中,现在可能出现一个新的阶级关系体系。本文分析了科技产业崛起和通过算法(algorithms)重组社会进程背景下的社会分工social divisions)。在下一节中,我们认为数字资本主义的核心鸿沟在于:代码精英(掌控数据和软件的人)和网络工人阶级(为算法提供训练数据,有时甚至将自动工作,而使其自身变成多余的人)的对立。我们还表明,对技术、经济效率以及公平性的要求是代码精英社会权力的重要组成部分。

代码精英的崛起和其他所有人的预先自动化

在“.com”的繁荣与萧条之后,硅谷浴火重生。一种由大数据和分析技术驱动的新生产模式正在涌现。收入的增加使房产价值飙升,一个又一个工人阶级社区被清空,留下的却是无家可归者的聚集地。这个地方的政治仍然是加州式的:理论上是进步的,但实践中“事不关己高高挂起”(not in my backyard)。当硅谷的工程师们享受生活或建立雄心勃勃的新慈善机构时,越来越多的人挨饿,睡在圣何塞和旧金山的街头。2019COVID-19大流行,不仅没有催生必要的反思,反而可能进一步为科技“解决主义者”(solutionist)的主张站台,并创造了新型的不平等。

城市极端财富和贫困的同时存在是新经济最明显的特征,而算法社会正是建立在这种特征之上的。以经典的马克思主义方式,这种区别将资本所有者与为他们工作的人对立起来。马克思认为生产关系及其产生的意识形态与技术发展紧密相关。他在《哲学的贫困》中指出:“社会关系是与生产力紧密联系在一起的。在获得新的生产力时,人们会改变他们的生产方式;而在改变他们的生产方式和谋生手段时,他们会改变他们所有的社会关系。手工磨坊为你提供封建领主的社会;蒸汽磨坊则提供工业资本家的社会。”今天与之相当的技术是软件系统,它由数据和算法的独特性驱动,并为我们提供了一个软件资本家的社会。

大规模的代码精英

新的精英占据了数字社会的上层——一种我们称之为代码精英的阶层,在此我们有意识地认同(self-conscious nod)米尔斯的“权力精英”。代码精英是这样一群人:他们由软件开发人员、技术CEO、投资者、计算机科学和工程教授组成,同时常常毫不费力地在这些富有影响力的角色之间切换。在全国各大高校(斯坦福大学更甚),学术界和工业界之间的隔膜并不大,教授们在创业公司、大公司的关键职位、政府资助的实验室和大学教室之间往复。

对计算技术的掌握赋予了特殊的权力(powers),这些权力同时是文化、政治和经济的。在文化方面,代码精英居住在值得信赖的数字世界,因为他们的形式主义可以在数学上证明,他们的技术看起来是普遍的,并能够远离人类政治的纷争。代码精英们将计算推崇为几乎每一门学科突破的关键,包括社会学;改造政府行为的每一个领域,以及解决人类面对的诸多问题。通过解决棘手的问题,他们提高了自己的社会地位。

在政治方面,代码精英们居住在强大的控制世界。在狭义上,为了将社会规范和法律规则从人类语言转化为计算机代码而必须进行的解释工作中,计算科学家不可避免地进行了简化和扭曲。但在广义上,“代码就是法律”(code is law)。代码治理有两层含义:第一,代码使世界变得清晰可读(legible),通过将人和物重构为机器可读的实体,从而为人和物说话;第二,代码的执行(enforces,暗合“执法”的隐喻,译者注),它像法律一样运行;但是纸面上的法律必须由一个单独机构(通常是人,因此能够行使自由裁量权)来执行,而代码既规定了规则,(一旦编译和运行)又将它们自动化。

在物质方面,代码精英们居住在有利可图的金钱世界里。对于风险投资人来说,数字技术产品最引人注目的是它们的规模有多大。例如,Facebook迄今为止在全球拥有超过26亿用户。正如Morozov所说,“Facebook上的人越多,它就越有价值....,这对搜索引擎来说也是如此:使用谷歌的人越多,它就越好,因为每次搜索在某种意义上都是对服务的修补和改进”。第一个优势被称为网络效应,第二个是机器学习的直接结果,可以提高预测的准确性。

与传统职业的制度化不同,代码精英的权力几乎完全停留在他们对技术的控制上,他们通过“更好更快地完成某项任务的纯粹能力”来获得权力;必要时,他们也依靠技术神话中预言和承诺的诱惑力。在市场扩张的过程中,科技产业要求完成曾被宣称为某种职业判断的任务——因此,所有职业都无法免于受到算法的影响,甚至完全被取代。合法性已经从专业人士转移到程序员,而且越来越多地转移到算法。在这个过程中,存在着一种意识形态,即“人类的思维是脆弱、有缺陷的,会导致非理性的选择,未能充分考虑更广泛的其他方案”。但是,这种克服人类不理性倾向的宣称,却蕴含着更强大的经济激励的欲望。

不联合的全世界网络工人阶级

权力在代码精英手中的巩固,也通过其向工人榨取劳动力的方式显现出来。如果说工业资本主义通过商品的拜物教掩盖了劳动的存在,那么数字资本主义则有意通过人工智能的拜物教和伪装的自动化来掩盖它。这是因为如果没有人工进行检查、纠正以及所谓“最后一英里”的工作,大多数算法系统无法充分运作:例如评价网页质量,纠正数字地图,标注视频,社交媒体审核等等。在人工智能的拜物教之下,是一条由沉默的、不可见的人组成的全球数字装配线,许多人在全球南方(Global South)的后殖民地。一个新的工人阶级站在代码精英的对立面:网络工人阶级。

网络工人阶级的工作并不只是为了将传统的任务数字化,或将其外包给更廉价的、分布在全球的劳动力;相反,它们也是数字资本主义运作的关键。与马克思时代的工厂工人不同,随着众包平台的兴起,网络工人阶级成员越来越个人化并且相互隔离,使得集体行动和团结变得更加困难。

对马克思和恩格斯来说,使无产阶级苦恼的是来自其他工人和技术本身的竞争。对于网络工人阶级来说,这两种威胁都已经完全内生化了。首先,数字公司通过平台扩大劳动力规模并将其工作分解为无数个微任务,这个过程被称之为“预先自动化”。换言之,平台同时使用他们自己的网络工人,既执行难以自动化的任务,又使用他们产生的数据来进一步完成这些任务的自动化。这些工人在被宣传为人工智能的系统中工作;他们的贡献被有意掩盖了,许多购买他们服务的人希望最终能够完全消除对这种人类工作的需求。第二,平台也放大了工人之间的竞争,因为它允许某些职业(例如教师、文化表演者)扩大他们的影响范围,将人力需求降到最低。第三,平台化的劳动力,无论是线上还是线下,通常都是通过算法自己管理的,以便根据市场条件、服务质量、物理距离或补偿进行实时优化。由此产生的工作体验的不稳定性——工作不确定、时间表不固定、令人窒息的监视、持续的高风险审查和不稳定的工资——导致了一系列的社会问题。此外,工人可能会经历算法的残酷,其形式是由不断变化的算法规则或跨越危险阈值所造成的命运突然逆转。例如,许多临时工或内容提供者都经历过因他们的评级或工作时间的下降而突然从作为他们主要收入来源的平台上被切断(cut off)。

最后,网络工人阶级并不止于廉价的平台化劳动力。数字资本主义的突出特点之一是其对自由劳动(free labor)的依赖:许多分类和识别工作事实上是由平台用户完成的。特斯拉司机每次开车都会训练公司的自动驾驶算法,就像我们所有人在完成“我不是机器人”的验证码测试以进入一个网站时一样。从这个意义上说,几乎每个人都属于网络工人阶级。一个现代的马克思可能会说,在21世纪,对资本来说,人的真正价值越来越不体现在其劳动能力和身体上,而是某种更加亲近的、也许更接近其物种存在的东西:即数以百万比特计的信息,这些信息有关他们是谁、内心深处以及人们如何相互联系。马克思将会在数十亿网络用户的无偿点击工作中,发现新形式的剩余价值的产生。他还会希望明确这种积累模式所特有的阶级对立和意识形态斗争。

精算主义及其反对者

代码精英们不断扩张进不同的领域,这以另一种基本方式改变了组织进程:推进一种以技术效率和机器客观性为基础的治理逻辑。通过数字管理的思维并不新鲜,新鲜之处在于对行为追踪数据的使用。大量不同种类的数据使得某些已经存在的算法类别变得更加强大。此外,一类新的算法(深度学习,即神经网络模型的进化)通过从数据中直接推断来利用这种数据的丰富性。虽然算法自己编程并不恰当,但是它们确实以超越人类理解的方式进行自我优化。这些技术放大了计算主义(computationalism)的文化力量,即相信计算机可以而且必须覆盖社会组织和资源分配的基本过程。

上一节讨论了代码精英如何将人类推理界定为不精确从而巩固其权力——机械化的、非个人化的过程优于个人裁量权的观念,也并非计算机时代的发明。韦伯讨论的专家职能部门的兴起就表明了这一点——官僚机构越去人化(dehumanized),越是发展得充分。同时,将社会群体的历史数据纳入官僚体系的运作,使得对未知个体的风险评估更加准确,而这种精算被提升至一种同进步思想相联系的崇高理想,希望提供更公平的社会准入机制与改善少数群体的生活机会。政治环境变化揭示出的对人的判断的过分依赖,也让人们将目光转向算法的平等承诺。

算法分类制度符合程序正义的论证,因为它似乎消除了人的任意性;但是,它可能无法满足其他社会公平的定义。它可能再现某些群体的不平等,也可能创造新的社会等级制。

算法不平等

在韦伯的分析框架中,最终形成阶级(或阶级状况)的是资产和机会在一系列制度领域内和之间的社会分配方式。算法的分配,改变了个人的生活机会,但也隐而不彰地重塑了社会阶层的形成过程。新的算法机制产生了一个分类的滑动尺度,对位置进行了更精细的区分。例如,对信贷风险有良好评估的理想借贷人享有慷慨的信贷合同,不理想的借款人面临高利贷,而那些位于两者之间的人则收到一系列或多或少的提议。因此,数字性可能会促进各种形式的掠夺性包容(predatory inclusion),而不是完全的排斥。

算法分配在理论上被设想为完全准确和公平,但它们在实践中存在不足。一是数据质量问题:许多训练数据集是在没有过多关注不同群体的代表性的情况下产生的,例如面部识别数据集促成了错误和偏见的传播。二是特定领域的数据可能反映制度的自我呈现,例如用于了解犯罪的警务数据。三是精算逻辑的一个关键前提——相信过去观察到的模式能够提供关于未来的有用信息——可能使得现有的制度不平等重现。四是错误的应用:算法系统中的函数由于制度成本优化和风险最小化,不能完全非个人化。最后,这些不足可能更难在政治上反对,因为它们通过对个人行为(而非群体)的测量来分类,因此会被认为是公平的,结果就是它们更难被挑战。

算法治理

长期以来,被纳入身份数据库是现代公民身份的前提条件,但是数字化放大了信息精确的野心,也以更精细的方式定制了公民身份条款和权益。这种趋势是全球性的:信息化现代化看起来非常熟悉,同时在不同的政治和历史背景下又有惊人的不同。印度的Aadhaar是一个综合的身份识别系统,储存了每个公民的指纹和虹膜扫描以及人口统计学数据,最初被宣传为消除贪污和有效提供福利服务的工具。它已迅速成为与公共和私人机构互动的必要条件,成为新兴的大规模监控基础设施的基础。南非、中国也有类似的例子。在这些例子中,公平分配并不是唯一的问题。那些被强行治理的人无法参与塑造治理条款或逃避代码的统治,这提出了关于民主和人类自治的基本问题。

被一个不可感知、毫无情感的系统统治——或过度统治——似乎违背了人类尊严和自主权的基本观念。欧盟的《通用数据保护条例》呼应了这些情绪,制定了一项解释权,要求对算法决策进行人工审查。同样,新的民族志文献表明,人们在工作生活中悄悄地抵制算法的权威。最后,算法系统及其倡导者有可能推动危险的迷信,哈耶克曾经谴责过这种迷信——即只有可测量的东西才是重要的。根据算法系统的技术能力来设定社会规范或法律准则,可能会使我们对不可测量但至关重要的过程视而不见。因此,适度的批判必须从承认算法是伦理政治实体(ethico-political entities)开始,它们能产生自己关于善、越轨和社会应该是什么的想法。换句话说,算法正在改变我们道德直觉的本质。下一节将研究这种变化的状况。

分类指标及其反对者
专家系统,无论由人还是机器组成,总是对与之互动的外行人提出要求。人们必须让自己变得清晰可辨,否则系统将无法识别他们,他们在与系统互动时必须遵守规则,而且他们质疑决策的能力往往受到限制。代码精英们不是让机器增强人类的智慧,而是重新组织社会活动,让人类支持计算机的运行。因此,在某种意义上,是人类被自动化了。一个人与数字系统的互动越多,他的个人和社会生活的进程就越依赖于算法的操作和选择。随着新数据流入,类别、分类被动态调整,计算系统在此基础上的行动也如此,这对人们如何看待自己以及社会身份如何形成有重要影响。
身份的调控

在今天的数据提取和分析系统中,个人属性往往是从行为痕迹中推断出来的。每个有血有肉的人都有一个由这些痕迹组成的“数据替身”。那些曾经被认为是固定的或几乎不变的身份方面——性别、种族、公民身份、国籍——在这种虚拟化的方式下也变得可读,例如通过数字活动推断是否为男性或女性。由于系统的评估总是灵活而可变的,因此对性别的算法推断随时可能改变。

虽然算法可以使生活的事实成为外在的和可调节的,改变“我们在世界中的方位的感觉”,但它们不太可能从根本上改变主要的结构形式(如性别或种族)在世界上的运作方式。随着算法分类不断回溯到我们身上,它们使我们质疑对自己的了解以及我们了解的方式。由于有了算法工具,我们现在可能不得不不断地在可测量生物或社会指标中寻找和发现自己,我们必须以一种超理性的、动态的、持续的方式来管理这些指标。

算法层面的道德经济

在线互动的庞大数字基础设施大多以广告创收为导向,需要人们的眼球和点击量来维持运作。平台的出现促成了心理学和经济学技术的使用,像TwitterFacebookYouTubeInstagramReddit的数字平台已经把自己建成了一个事实上的全球公共领域,对注意力的社会分配具有近乎垄断的权力。公共辩论、知识流动、平权诉求都已密切依赖于社交媒体的中介机构及其黑箱算法;同时,已有的行动者被熟练的或资金充足的活动家、有组织的网上暴民和点击式广告的制作者所取代。集体动员和反动员的精神在数字生产方式的不平等斗争中很容易被压倒。


从“算法社会(the Algorithmic Society)”
“算法的社会(the Society of Algorithms)”


代码精英们的终极目标就像他们建立的算法一样,仍是不透明的。许多计算机科学家的愿景是:算法社会只是一个新的社会物种(social species)出现的前奏,通用人工智能将复制或超越人类智力,也许会摆脱人的控制。摩尔定律指出,计算机功率趋向于指数级增长。如果我们接受这样的前提:即测量智能和进一步发展智能的能力根植于计算机处理能力,那么摩尔定律标志着一个明确的进步轨迹。然而,人工智能在社会中的发展轨迹不只是人类是否会受益的问题,而是谁会受益的问题。机器学习的分类将知情人(the knowers)与被知情人(the known)对立起来;那些让人工智能发挥作用的人对立于那些让人工智能为自己服务的人。目前,工业界的主流言论承诺了一种更温和、更可接受、更少偏见的人工智能,符合效率最佳的实践并有道德的注入。

多年来,许多人宣称,摩尔定律的终结迫在眉睫。如果不加批判地接受代码精英中狂热推动者的梦想,从“神学上而不是科学或文化上”对待计算,那将是一个错误。在这方面,社会学提供了一个有益的现实检视。观察数字技术的民族志学者已经指出了算法并不光彩的日常现实。我们可以拒绝机器智能的魔法式思考,同时也承认科技产业在经济、政治、文化中的巨大的改变生活的力量。除了未来主义和炒作,现有的人工智能实际上是相当平凡的。它由代码精英设计,由网络工人阶级维持,由大型数字公司的个人数据推动,常常为了利润最大化而优化,并由一套偶然的法律制度支持,以授权向企业和国家服务器输入持续的数据流。像以前的控制创新一样,人工智能监视、分类、解析、组装和自动化。像以前的社会监视和规训形式一样,它对穷人和少数族裔的影响不同,而且更有偏见。它远不是纯粹的机械化,而是深刻的、不可避免的人类。


编译 | 范屹槟

审核 | 华唐门生

审核 | 李致宪

©Political理论志


本文观点仅供参考,不代表Political理论志观点





前沿追踪/理论方法/专家评论
ID: ThePoliticalReview

“在看”给我一朵小黄花

PoIiticaI理论志
搜索“理论志”,发现新学术:十余万社会学人、政治学人、国政学人、政经学人共同关注的学术平台。目前,我们主力追踪全球政治社会、国家理论与政经研究新动态。
 最新文章