欢迎访问行业研究报告数据库

行业分类

当前位置:首页 > 报告详细信息

找到报告 1 篇 当前为第 1 页 共 1

人工智能时代算法权力的渗透与个人信息的监控

加工时间:2021-01-27 信息来源:国研行业资讯
关键词:人工智能;监控范式;算法权力;个人信息
摘 要:
内 容:

一、问题的提出

从物联网、大数据到人工智能、5G,加速演进的信息技术以更快的速度、更大的规模催生了更为深刻的社会革命。“科学与技术的推进,使得世界的`可预测性'增强,同时也造成了新的`不确定性'"①,数字化记忆以及由此带来的“凝视"让人们处在前所未有的数据收集和监控之中,个人信息作为全新的权力载体,经过数据聚合、代码设计、算法挖掘等一系列后台“催化",对信息主体进行规训与控制,构成独具智能时代标签的监控范式与权力渗透路径。

监控的技术产生权力的效应,这是米歇尔·福柯(Michel Foucault)微观权力理论的重要观点。20世纪70年代,福柯在“圆形监狱"理论基础上提出了“全景敞视主义",在他看来,监控与权力之间有着密切的关系,“圆形监狱"是一个神奇的权力机器,在“毫不喧哗"中产生效果,采用了时间、空间、光线等权力物理学技术,在被囚禁者身上造成一种有意识的、持续可见的状态,造成其“被监视"“被孤立"的心理,从而实现了自我管理与规训,监视者可见又不可确定的权力局势带来了监视效果的持续性,这就是所谓的“全景敞视主义"。

“全景敞视建筑"构筑的是一套话语理论,揭示作为权力的话语以何种方式发挥作用、并凸显主体的构建②,它的实质并不仅仅是塔楼上的那个狱卒,而是施加于囚犯、使他或她成为一个罪犯的整个话语/实践和权力结构③,这套结构规定、质询和确定了主体的位置、身份、立场④。

当代技术的发展与更迭早已突破了福柯关于监控技术的想象,但依旧没有摆脱“监视技术产生权力效应"的实质。数据、算力、算法构成了全新信息方式的内核,人、物、场景无时无刻不在进行着信息输出,多元数据库的关联以及精准智能的价值匹配,将现实世界与虚拟世界的关系全面升级,监控借助更为隐蔽、更加广泛的方式,将权力渗透到社会的各个细节与人们的日常行为之中,通过对人、物、场景的存在、属性以及关系进行标识与再现,成为当代社会的“圆形监狱"“透光窗户"和“中心塔楼",构成全新的社会控制与权力样态。

本研究试图探寻全新的信息方式下监控范式如何流变,其规训形态、主体身份与社会行为、监视主体,发生了哪些新的变化;作为信息方式内核的算法,到底通过什么途径完成了权力的渗透,通过对监控表象的梳理抵达权力建构的内核,触及技术发展如何撬动了现有的权力结构和社会秩序,并且设想在机器智能占据主导的世界,监控与权力的未来图景。

二、人工智能时代监控范式的流变

数据与算法的联姻让“全景监视"变得隐蔽而日常,规训形态从原先的“中心瞭望塔"变成遍布在社会有机体周遭的“毛细血管";各类传感设备具身模糊了公私边界,生物特征信息、思维活动、心理状态,以及动态的场景化信息变得可感可测,不断丰富和提升着智能系统的数据和算力;在中心塔楼熟练掌握操作盘的是一群看似中立的代码设计者、程序员,他们通过高门槛的技术知识,在技术后台借助流动与延拓的时空建构权力。

1.新的监控形态:从“瞭望塔"到“毛细血管"

以个人信息的监控为例,各类信息技术形成了不同的监控形态。数据聚合与挖掘技术,将琐碎的个人信息迅速汇聚起来,个人的习惯、偏好、关系和社交网络等不同的数据库被相互连接与分析,构成了主体现实与未来行动的重要线索,大数据“基于历史的数据去形成新的可视性"的逻辑,成为其建构权力的来源。物联网技术把人或各种物品通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备与互联网连接起来,通过信息交换和通信,实现智能化识别、定位、跟踪、监控和管理⑤,通过构建人与物的共生关系,进一步加剧了权力的延伸。人工智能技术将使人与智能机器(包括软件)变成人机合一的关系⑥,人与机器可以构成同一个系统,包括“人体"这个系统。人体上将有越来越多的“机器",它们以可穿戴设备、传感器和其他芯片形式存在,芯片可以植入人体,无限细密的监视之网不仅嵌入了人们的日常生活,权力效应还获得了潜入人类意识的可能。

伴随着各类技术监控触角的深入,对“所有地方的所有信息"⑦进行监视变得可能。所谓“所有地方",是指监控的发生正从固定的场所变得流动和液态,技术的日益精密与隐形,其强大的时空消弭能力、广阔的时空延伸能力、实时的多层次人机交互能力,使得“囚犯居民"无须关在任何建筑物中居住,只须照常进行日常生活⑧。所谓“所有信息",是指监控的形态正从“皮上监控"走向“皮下监控"⑨,新技术以暗流涌动的方式,将这种“感知"与“警觉"延伸至身体所处触达的时空,同时开辟了通向人类中枢神经系统的“电筒",让原本蜗居于人脑人心的思维活动、心理状态变得具体可感,监控几乎逼近至私人空间的极限。

因此,福柯论述的监控是在一个相对固定的特殊场所内进行,在这个独特的场所中,通过重构的空间、持久的注视、充足的光线,使得被监视者处于一种被隔绝、被观察、被控制的状态,权力的实施成为可能。人工智能时代的监控,不再只是附着于固定场所的“中心塔楼",而是如同空气和水一样,呈现“24×7"的毛细血管式的全覆盖;不再是“主干+枝杈"的一棵树,而是四处蔓延、能够触及任何一处细微角落的爬行植物。⑩

2.新的主体建构:去中心、多重化的“数字人"

在监控技术所诱发的权力效应中,主体建构方式的变化是其中的重要内容。马克·波斯特在福柯规训机制的基础上,通过对数据库话语的观察,认为“只要通过数据库,主体就被多重化、去中心化,电脑能从许多社会场合对主体产生作用,而所涉及的个体却毫不知情"⑪。

以个人信息的收集与处理为例,在普通个体看不见的“后台",“数据库通常是通过对现实的`拟仿'发挥功能的"⑫,这种拟仿可以理解为数据库信息方式下“被殖入的自我",每变换一种情境和场景,就会殖入一种新的自我。在现实自我与多个“被殖入的自我",亦即现实人格与数字人格之间,仿佛是“1"与无限大数量之间的“不对称耦合",“1"在对应无数种关联的过程中,极易导致自我的断裂,“主体不可能认为自己还占据着自我理性的、自律的主体性的中心,也不可能认为还是被一个界定明晰的自我所限定着,自我变成了分裂的、多重的、消散于社会空间之中"⑬。

随着技术与人的融合日益加深、人的身体与日常生活细节越来越精密地被缝合在了比特网络之中,人类开始变成一种“电子存在物"⑭。各类可穿戴设备与自我追踪装置,引发了量化自我运动⑮。技术具身的身体,使得主体的各项行为被数字化,变成了行走的“数字人",从每天睁开双眼的一瞬间,就被镶嵌在了现实与虚拟、多维时间与异质空间之间,游走在私人领域与公共领域之间。一方面,人本身成为计算机数据的重要来源,各类感知、行动都可以被技术、算法所利用并“再现";另一方面,这些基于技术逻辑的数据又规约着赛博人主体性的内涵及实践⑯。在这一过程中,数据智能通过“表征"而非“还原"的方式再现主体,同时能动地介入了主体的行动与社会现实的构建。

作为身体与技术的互嵌体,“数字人"最大的特征就是突破了人与机器的边界,技术可以创造虚拟身体并且把它与人类的肉身之躯分离开来,而且化身的形态各异,可以在同一个时间出现在不同的空间里,也可以在同一个空间中获得时间性的延续⑰,“化身"的多样形态直接导致了主体建构的多重化,使得“自然主体"与“数字主体"错综交叠。

3.谁来操控瞭望塔:代码控制者

当社会从有形的物质创造价值转向无形的信息创造价值,整个社会对信息资源的依赖和利用不断加强,来到中心瞭望塔的匿名的、临时的监视者也越来越多。传统权力机构不再只是超然的法律规则制定者和执行者,同时也是个人信息最大的收集、处理、储存和利用者⑱;商业结构因为资本逐利的天性,对信息这一“新资源"的需求甚过以往;信息机构,即专门从事个人信息收集、处理、储存、传输和利用等相关活动的法人和其他组织,开始作为独立的利益相关者出现。

福柯在其微观权力理论体系中,基于传播实践,提出知识生产权力,权力通过知识话语表现出来⑲,“知识的形成与权力的增强有规律地相互促进:一方面,通过对权力关系的加工,实现一种认识`解冻',另一方面,通过新型知识的形成与积累,使权力效应扩大。"⑳。面对个人信息的监控,在多个匿名监视者之中,占据技术话语的是代码控制者,即信息机构中的程序编写人员,是他们决定了如何对代码进行编译,决定了代码应当是怎样运行,决定了网络的缺省设置应当是什么,个人信息是否应当受到保护、所允许的匿名程度、所保证的连接范围等(21)。程序编写人员借助对代码的控制获得了所谓的“知识话语",坐上了瞭望塔中心操作盘的交椅。

但是,代码的运行镶嵌在社会结构之中,“它不仅仅是一个技术架构的控制,同时还是一套社会控制机制;它反映的不单纯是技术人员对于网络结构的自我认识,同时反映了在社会治理过程中,对技术变革的可控制性所蕴涵的政治意义和商业价值的关注"(22)。也就是说,代码控制者还必然包含了在社会运行结构中的传统权力机构和商业结构,它们唤醒了附着在技术变革之上更为强烈的控制意识。政治权威和商业资本,可以通过架设另一套准则,将代码运行规则予以根本改变,从而控制政治资源的流向或者找到最佳的营销方案。

伴随着智能技术的发展,代码运行规则还可能被另外一套准则所控制——机器准则,人类智慧可能被机器智能反超、人类准则可能被机器准则所僭越。在人工智能的初始阶段,看不见的“后台",或许仍然被传统权力机构、商业机构、信息机构等把持,“后台"运行的权力逻辑仍然与政治控制或者商业逐利有关。但在不断深度学习和算法迭代之后,机器智能就会超过人类智能,机器完全逾越了后台指令,代码便落入了真正的“黑箱"。

三、人工智能时代算法权力的渗透

在福柯的论述中,“全景监狱"不仅是通过监控的技术诱发权力效应的“神奇机器"(23),同时也是进行试验、改造行为、规训人的“实验室"(24);不仅通过对于肉体、表面、光线、目光的某种统一安排和内在机制产生制约个人的关系,诱发了不对称、不平衡、有差异的权力效应(25),同时还获得了深入人们行为的效能,能使权力在任何时刻进行干预,甚至在过失、错误或者罪行发生之前就不断施加压力(26)。人工智能时代,监控依然是权力实施的话语/实践,只是在流变的监控范式下,权力到底是通过怎样的方式渗透与嵌入,由算法构建起的权力是如何与政治经济系统的职能相互嵌合,构建起权力机制与职能结合的交汇点,从而具备了重塑社会权力结构的可能。

1.细小日常的规训机制:如影随形的权力座驾

在福柯看来,全景敞视机制的发展和普遍化是由细小的、日常的物理机制来维持的(27),细小的规训技术,规训所发明的表面上微不足道的技巧,乃至那些使规训披上体面外衣的“科学",都受到了重视,人们十分担心如果抛弃了它们,会找不到其他替代物(28)。

这样的描述十分逼近人们如今的智能化生存:一方面,用户通过手机使用,顺利实现了跨屏触达、场景渗透、互动参与和内容生产,全新的信息方式带来了多层次交往的体验;另一方面,多终端、沉浸式、场景化的媒介体验也导致了用户的工具依赖,手机全天候不能离身,各类工具类App内置了多个虚拟身份,全面嵌入人们的日常生活。

伴随着“24×7"的毛细血管式的监控形态,无孔不入的监控技术不仅慢慢扩展到个人生活无限细小的层面,同时还激活了沉寂已久的“身体",许多原先只有微弱影响力的与身体隐私有关的领域,开始被赋予意想不到的挖掘价值,比如伴随身体的移动而产生的位置信息;身体的某个细小部件(眼睛、耳朵)、基因(DNA)、运动(心跳、脉搏)或者全身扫描成像图景等构成的生物特征信息;穿透身体皮肤直达内心的意识信息等。“返场"后的身体不再只是被光线照亮的“轮廓",而是主体介入环境、置身场景、连结社会关系,使权力关系得以扩展的重要“介质",“对身体的监控从依靠身体的物理边界和身体活动的有限时空,变为延伸的、没有疆域的时空"(29)。

随着数据的积累与算法的升级,苹果的Siri系统、阿里开发的“天猫精灵"等开始抢滩“虚拟助手市场",试图为用户构建平行世界里的另一个自己,从而蓄积定向支配用户认知与行为的巨大能量。如今,中国的互联网用户越来越习惯让今日头条来推送各类资讯、让豆瓣列出书单、让百度地图带领从而抵达目的地、让大众点评推荐一款附近的且价格合理的餐厅,因此,当一个集结了上述功能的“智能私人管家"出现,人们一定会越发依赖、更加愿意被“套牢",并且自愿放弃其他选择的机会。

如果这款“私人管家"被默认设置在用户手机,能够与其他应用配合默契,那么,人们就会逐渐将更多原先的自行搜索与个人决策省略,“私人管家"由此获得了在推荐产品和解决方案之间自由发挥的特权。在这一过程中,后台获得的用户个人信息不仅呈现几何级的增长,而且还会在数据信息不断的“投喂"与“校验"下,拉动算法智能的提档升级,让这位管家变得越来越聪明、可靠,直至人们放心地将选择的权力完全移交。

因此,当个体被置于“观察"之下,当规训变得细小而日常,权力便如同笼罩上空的巨型“座架",如影随形、无处逃离,身处其中的人们在享受着智能、便捷、充分给予的便利服务的同时,也被牢牢限定在“数据+算法"的规训之中。

2.单向透明的主体建构:千人千面的算法画像

全景敞视监狱通过独特的空间构造保证了秩序的运行——囚室的房间被安排成正对着中心瞭望塔,具备了“向心的可见性"(30);但是环形建筑被分割的囚室,则意味着一种“横向的不可见性"(31),正是这种不可见性,成为一种秩序的保证,这种秩序维持了监视者随时可以计算和监控的权力,而被监视者则处于被隔绝、被观察的状态。

人工智能时代,数据痕迹的延伸生成一个更为透明的社会空间。然而,这种透明并非无差别的双向透明,而是数据持有者、算法控制者相对于互联网接入者的单向透明(32)。在这个虚拟空间,“主体是漂浮着的,悬置于客观性的种种不同位置之间。不同的构型使主体随着偶然情境的不确定而相应地被一再重新构建"(33),“主体被电脑化的信息传递以及意义协商所消散,被重新制定身份,在符号的电子化传输中被持续分解和物质化"(34),之后根据具体情况按照程序化的方法被区分与对待,构成了“千人千面"的算法画像。

事实上,淘宝等电商平台很早就推广了“千人千面"的购买界面,即根据用户的商品检索记录,迅速调整和定制动态界面,更好地呈现与用户搜索记录更为接近的相关商品。在用户点开网页的几秒之内,数据后台便根据其掌握的用户数据,主要包括搜索记录、购买历史、浏览痕迹、停留时间等信息,快速计算出用户最有可能购买的商品,并在显著位置呈现出来。

“千人千面"的硬件基础是手机运用所带来的“一人一屏",正是因为每个人的手机屏幕上可以显示不同的内容,价格才可以变成“千人千价",通过数据对用户进行区分和画像。例如在手机上购买机票,算法可以通过大数据判断用户是否为白领阶层,当用户进入购买界面时,高端白领看到的都是商务舱机票,而在校大学生看到的则是打折机票(35)。可以认为,手机上显示的票价反映的是电商对用户愿意为这件商品所支付的最高价格的估算,差别化定价反映出的是电商根据用户的购买意愿与支付能力,将其归入不同的分组,并且对每一位用户或者某一类消费群体的需求弹性做出合理判断的能力(36)。

个人信息和算法的结合,开始取代传统的市场调节,成为幕后价格操纵的那只看不见的手。商家和用户之间不再是一对多的关系,而是变成了一对一的关系,价格是根据活跃在中心瞭望塔的技术“大脑"们分类计算得出的,每一条价格都是隐秘的、单行的,用户被安置在彼此割裂的“囚室",等待着价格的差异化分配,同时被诱导对那些并非自己所需的产品支付更高的价格。

被后台计算出的“数字人格"在很大程度上取决于算法控制者对数据的处理原则,这样的原则为每个主体建构了额外的社会身份。比如,银行会根据你的信用记录判断你的“信用人格",从而决定是否给你发放贷款;工作单位会根据你以往的业绩与表现审定你的“工作人格",从而确定是否接受你的求职;保险公司会根据你的医疗记录评估你的“健康人格",从而决定给你匹配什么样的保险品种(37)……个人信息由此变成了一道划分社会阶层、区隔不同群体的鸿沟,通过隐蔽且匿名的方式,严密地进行着登记、评估和分类。

3.无形的囚室之墙:技术知识竖起权力高墙

“知识和信息一直是生产力和权力的重要源泉"(38),按照“数据—信息—知识"的层次结构,数据是离散的实体或符号,信息是结构化的数据,知识则是信息的积累和整合(39)。人工智能时代,“大数据以一种前所未有的海量形式泉涌出来,并从多种维度上持续不断地对于人的种种属性、状态和外部关系进行实时的描述和呈现;而算法技术则通过建模实现对人的认识感知能力、分析处理能力和决策判断能力进行`模拟仿真'以及在此基础上的超越"(40)。

不同于现实世界,虚拟世界的游戏规则必须借助一定的技术工具才得以实现。对技术工具掌握水平的高低,将会直接影响相应主体在网络空间行为能力的大小,这里所说的能力包括了对技术工具的占有、对技术知识的掌握以及对技术架构的支配(41)。在技术空间,架构主要由代码控制,“控制了代码就决定了整个网络应用背后架构的模式,对相关的网络应用行为也就构成了约束"(42)。

在网络的交易市集,网络平台商、应用软件开发商、网络用户之间共同形成了交易的主体,市集创收主要来源于用户点击与广告分成,面对个人信息这一财富与资本积累的源头,网络平台商、应用软件开发商同样如饥似渴,只要用户打开手机、将手机联网,便开始合力追踪和解读用户的个人信息。用户只要在某处网站或是某个应用程序上稍作停留,便无偿支出了大量的数据“原油"。

然而在代码支撑起的架构平台,由于占据的信息和技术资源不对等、支配技术的能力不均衡,网络平台商与应用软件开发商之间,呈现出不平衡的权力样态。应用软件开发商必须借助于平台控制者所提供的技术手段以及所设定的交易规则实现数字交易(43),因此,虽然平台商不直接对接用户,但在个人信息的占有和调度上处于核心和支配地位,在由算法权力支配的瞭望塔中,由此坐上了“第一把交椅"。

此外,由于占据着海量的个人信息,平台商就有更大可能根据既有的数据信息推测出用户的消费倾向,在信息资源的挖掘利用上,仿佛拥有了“上帝视角",可以更快地找到整张版图中缺失的、最为关键的一块拼图,也就更加清楚地知道将在哪块地表钻取数据“原油"。除此之外,面对更有价值的个人信息,平台商甚至可以直接要求调取应用软件开发商的数据库,或是直接出动自己的钻机来访问(44)。

以代码为代表的技术资源,通过对海量信息的占有、对技术知识的掌握、以及对技术规则的支配,将优势资源转化为对个体行为的支配、控制与影响,但是这样的权力运行也可能跳脱架构师们的控制,落入算法黑箱。这是因为,各种与个人生活息息相关的选择、评价和决策,一旦被编码并封装到复杂而不可思议的算法之中,就可能因为后续的错误修复与调整而多次迭代,致使作为代码控制者的架构师们也往往很难理解其中的价值内涵,从而陷入了某种“技术无意识"的状态(45),算法本身就化作了一股影响人和社会的不可思议的神秘力量,被运用到现实实践之中,对主体形成规训。

4.虚拟关系的精神控制:主体的驯化与异化

全景敞视建筑之所以能够产生“精神对精神的作用",不是依靠“铁栅、铁镣与大锁"(46),而是来自中心瞭望塔的“可见而又无法确知"(47)的监视,这种匿名的、虚拟的关系自动地产生出一种真实的征服,使得被监控者逐渐放弃了“越轨"的念头。

基于“日常生活信息构建的虚拟后台"的运作方式,不仅“能够减少行使权力的人数,同时增加受权力支配的人数,权力在任何时刻进行干预,甚至在过失、错误或者罪行发生之前就不断施加压力"(48)。算法和数据能够基于用户已经公开的碎片信息中推测出未经用户同意公开的意愿与倾向,对个人进行所谓“画像",这其中包括基于既有行为对未来罪责的预测与惩罚。“罪犯在实施犯罪前就已受到了惩罚,人们不是因为所做而受到惩罚,而是因为将做,即使他们事实上并没有犯罪"(49)。这会使未来社会处于看似“防患于未然",实则极其危险的境地,因为“基于未来可能行为之上的惩罚是对公平正义的亵渎"(50),“也将会让人们惶恐不安,因为这否认了自由意志,并伤害了人类尊严"(51)。

随着数据的日益累积、算法设计的不断升级,人的身体逐渐被技术所穿透、被数据所型构,人的行为甚至意识能够被算法所“窥视",这其中甚至包括依赖激情、欲望、感觉等抽象观念来决定的情感地带。有报道称,如今在美国,每6对决定结婚的夫妇中,就有一对是通过OkCupid等约会网站或App认识的(52),他们的会员平均会回答大约300个问题,算法被运用到这数百个问题和千百万用户中,这款软件的创建者们认为,算法,而不是宿命,能够帮人们找到真正的灵魂伴侣。除了让用户填写大量的个人信息,约会软件的算法正在向更加智能的方向发展——当用户觉得对方合眼缘,就会点赞或者往右滑动照片,没有兴趣则往左滑,如何两个人恰好彼此一致地完成了上述操作的话,就能够搭话了;或者用视频交流取代简单的照片,如果软件能够识别你和谈话对象的手势、表情、某个口头禅或是某个小动作,它可能能够通过一次短暂的交谈,帮助用户识别出合适的约会对象。

如果说,用户的照片、简介里的文字这些属于传统意义的个人信息,那么,两人同时做出的滑动屏幕的行为,这几乎就是个人在“无意识状态"下自动发出的“生物信号"了,在这样的背景下,算法通过捕捉这些生物特征信息,拥有了深入探测用户思维活动和心理状态的可能。这意味着,意识可以从身体中抽离,被算法拿去计算与实验,进而实现控制。因此,当越来越多的个人信息失去控制,意识与主体相抽离,并被算法重新建构之时,“算法真的比我更懂我?"“我如何成为我?"所指向的,是新一轮信息技术浪潮下,数据库话语构筑的全新控制范式之中,人们日益加深的异化困境。

四、结语

“任何一次技术革命的背后,实际上都是一种主体性质的观念革命,在这个过程当中也一定会产生新的社会呼唤"(53)。以个人信息为载体,人工智能时代的监控与权力呈现出不同以往的形态与路径,这些差异涉及我们如何划定信息边界、如何确立权力秩序、如何进行主体建构。如果我们将现在归于人工智能的发展初期,代码规制依然嵌套于现实世界的游戏法则,防止这种新型权力的肆意扩张、逾越边界,必须对其进行“可追责、可验证、可访问"的规制;必须为弱势个体赋权、赋能,让其不仅仅是这张网格中经受权力的节点,同时也是能够运用权力的节点。

再往前一步,倘若未来机器算法通过基于深度学习与自我训练,完成参数调整与模型构建,进而在一定程度上能够实现自我生产,意识、想法、信念等个人信息可以完全脱离身体,或者寄居于某个“虚拟身体"时,权力规制以及主体建构的议题或许就该变成:这些来自于主体、却又不受主体控制的数据、信息和算法,作为某种客观存在,如何在多维时空与宇宙万物间进行权衡较量、如何维持能量守恒的问题。


© 2016 武汉世讯达文化传播有限责任公司 版权所有 技术支持:武汉中网维优
客服中心

QQ咨询


点击这里给我发消息 客服员


电话咨询


027-87841330


微信公众号




展开客服