文献来源：

曾润喜,秦维.人工智能生成内容的认知风险：形成机理与治理[J].出版发行研究,2023(08):56-63.欢迎引用！

作者简介：

曾润喜，管理学博士，重庆大学教授、博士生导师。国家级青年人才计划入选者（2020.10-2023.10）、国家社科基金重大项目首席专家；担任国家级人才计划、国家级社科类课题通讯评审专家，教育部学科评估、专硕评估通讯评审专家，重庆市社科类课题和社科奖初评、复评和会评专家。研究方向：政策传播、数字政府传播、网络社会治理、媒体融合与传媒发展。

秦维，重庆大学新闻学院博士生。

人工智能生成内容的认知风险：形成机理与治理摘要：ChatGPT 的流行，标志着 AIGC 传播范式的正式到来，AIGC 产生的认知风险也接踵而至，亟须厘清 AIGC 认知风险的形成机理。PGC、UGC 和 AIGC 对认知的影响遵循了从权威说服到选择认同再到精准滴灌的模式变迁；AIGC 生成和传播的“漏斗模式”是改变用户认知的重要机理，具有多重过滤、满意原则、算法黑箱、自我进化等特征。AIGC 漏斗模式可能扩大用户两极分化，加剧社会操控和偏见，制造民意分歧和政治腹语，激化人机关系悖论等认知风险。为降低认知风险，需要优化 AIGC 漏斗技术，提升用户算法素养，建立负责任的算法体系和全过程治理等路径，最终实现善治算法和算法善治。 关键词：AIGC；ChatGPT；智能传播；漏斗模式；认知风险；治理效能

2022 年末，OpenAI发布ChatGPT引发全球关注。ChatGPT是生成文本和代码等内容的一款聊天机器人模型，是人工智能生成内容（Artificial Intelligence Generated Content，AIGC）最具代表性的应用成果。产学研各界普遍认为AIGC是利用人工智能技术自动生成内容的新型生产方式，将成为各产业和整个社会的“操作系统”。随着ChatGPT的流行，AIGC对人的认知影响也愈发显著。2023年8月15 日，由国家互联网信息办公室等七部门联合发布的《生成式人工智能服务管理暂行办法》正式施行，该办法明确要求“提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德”。言下之意，AIGC应遵循公序良俗，不应生成危害国家安全和利益、虚假有害或歧视性等存在认知风险的内容。已有研究分析了AIGC模式的转变[1][2]、发展趋势[3][4]、社会风险及治理变[5][6]，但对于 AIGC认知风险及其形成机理的研究较少。然而，AIGC对个体和群体、社会和国家乃至人类发展都将产生深刻的认知震荡，亟须分析AIGC产生的认知风险及其形成机理，以实现AIGC善用善治的目的。

一、网络内容生产模式对认知的影响差异

网络内容生产模式经历了专业生成内容（Professional Generated Content，PGC）到用户生成内容（User Generated Content，UGC）再到人工智能生成内容的跃升，对应了从 Web1.0 到 Web2.0 再到 Web3.0 的演进[7] ，三种生产模式对认知也会产生不同的影响。PGC 对认知的影响是权威说服模式。PGC 内容生产 者通常是具备丰富专业知识和技能的专业人士或专业机构，其生产过程配备严格的流程和审核机制，所生成的内容具有高专业性和权威性，有助于增强说服力。[8]同时，由于 PGC 生产主体数量和生产内容有限，用户的信息选择空间有限，认知选择余地小，加之长期接触 PGC 内容，客观上增强了 PGC 内容的说服效果。然而，PGC 内容的专业化或学术化等倾向，也导致部分用户在信息加工时出现认知鸿沟。不过，由于 PGC 内容有专业人士或专业机构的背书，并不会过度损害其说服力。
UGC 对认知的影响是选择认同模式。UGC 内容生产者通常是用户，所生产的内容包含生产者的真实感受和体验，能够提供内容多样化、形式生动化的信息。生产者所生成的海量内容构成了受众导向的信息自由市场，用户得以根据自己的价值观和认知倾向，进行差异化的信息选择和认同。高质量的生产者往往能成为意见领袖，也更易取得用户的选择和认同。[9]相较于 PGC，UGC 内容质量参差不齐，用户信息素养则尤为关键，信息素养高的用户可以在丰富的内容中“大浪淘沙始见金”；信息素养低的用户则可能迷失在信息丛林，受不准确、不全面、虚假低俗的内容误导，进而影响其认知水平和价值观，或陷入信息茧房。AIGC 对认知的影响是精准滴灌模式。AIGC 内容生产者是人工智能，所生产的内容具有海量、高效、精准、个性化等特点。不同于 PGC 和 UGC，AIGC 基于海量数据学习，能够快速地生成海量的内容。同时，AIGC 通过深度学习等技术，不但能够快速精准地获取用户的需求，还能够高效精确地生成符合用户认知模式且令用户满意的内容。虽然 AIGC 提高了生产效率，实现了供需匹配，但是 AIGC 过度追踪用户偏好也容易致使用户陷入信息茧房，失去与多元信息的连接。[10]此外，AIGC 既不能像 PGC 一样提供具有专业背书的权威信息，又不能像 UGC 一样提供可供自由选择的多元内容，而是在算法作用下生成单一且窄化的信息，对用户产生精准滴灌、认知窄化的影响。从 PGC 到 UGC 再到 AIGC，三者的发展既不是线性进化的关系，也并非新阶段取代旧阶段的结果，而是相互交织、螺旋式上升的发展过程。PGC-UGC-AIGC 内容生产主体逐步构成了“专业区隔—用户参与—人机合作”的生产关系链路，形成人机共创的局面。传播方式则呈现出从自上而下到自下而上再到算法中介的趋势 [11]，体现传播主体从专业驱动到用户驱动再到算法驱动的过程，受众地位则由被动到主动再到预先性选择。生产信息特征经历了从垂直化到平台中心化再到去中心化的变迁，实际上是信息生产逐步降低专家集中化程度但最终又回归到机器集中化的过程。内容审核也从严苛的媒体“把关人”到多元主体参与监督再到虚拟空间监督者缺位，最终构成虚实信息共存的状态，这些虚实夹杂的信息会增加信息的模糊度，加剧用户的认知判断障碍。意见领袖则经历了从专业人士到民间多元舆论领袖再到算法霸权的变化。以上网络内容生产模式的变迁体现了用户与信息逐渐失去连接的过程，在这期间信息与意见的发展呈现开口向下的抛物线趋势，用户认知也随之呈现出有限影响到认知多元再到认知窄化的趋势。

二、漏斗模式：AIGC 改变用户认知的结构机理

（一）AIGC 生成与传播的漏斗模式

AIGC 生成和传播过程可以分为输入阶段、过滤阶段和输出阶段三个阶段，即宽口输入、中间过滤、窄口输出三个过程，由此形成了一个漏斗模式（见图 1）。AIGC 漏斗模式运作包含数据、训练、搜索、计算、交互、生成等要素，过程与要素叠加，信息层层过滤生成窄化内容，最终对用户认知产生精准滴灌的作用。

第一个阶段是漏斗输入，即海量输入各类语料库、 图片等数据。这些无数据标注的原始数据被漏斗吸纳作为训练的基础。ChatGPT 是 AIGC 漏斗模式的典范，GPT-1至 GPT-3 预训练数据从约 5GB、1.17 亿参数分别指别数级增长至 45TB、1750 亿参数。[12]但是，海量无标注数据的准确度和完美性无法保证，如偏见、歧视等问题会导致数据有效性失偏。 第二个阶段是漏斗过滤，包括数据训练、用户搜索、 模型计算等中间过滤过程。AIGC 通过数据训练生成预训练大模型，在此基础上 AIGC 依据用户搜索指令对数据进一步计算，预训练模型下用户置于预先性选择的位置。以 ChatGPT 为例，GPT-3.5 预训练模型引入“分组系数注意力”和“标准化知识蒸馏”“无监督学习”等新技术架构和训练方法，深度学习用户的搜索指令，对海量数据进行清洗、排列、组合、匹配，从训练数据中总结规律和更新模型。这反映了 AIGC 的算法中介特征，促使用户置于训练数据和模型计算的中间过滤地带，算法驱动使得用户处于半被动的预先性选择位置。
第三个阶段是漏斗输出，即在用户和 AIGC 交互过程中反复修正内容，直至生成并输出最终的标准化答案。AIGC 生成终版内容前，用户和 AIGC 以对话等形式进行交互，用户对生成内容进行评估并提出修改意见，进而促使模型反复修正内容。在人机对话多次反馈计算修正的过程中，ChatGPT 根据用户的指令，基于预训练大模型锁定用户需求，实现内容供需精准匹配，直到生成并输出用户满意的标准化答案。

（二）AIGC 漏斗模式形塑认知的基本特征

AIGC 漏斗模式具有多重过滤的特征。AIGC 数据输入、 训练过滤、交互生成各环节建构了漏斗式的过滤机制，它类似于“过滤气泡”，意即个性化算法推荐跟踪与定位用户的兴趣，忽视信息的丰富度，从而阻碍了用户偶遇异质性信息。[13]但不同的是，使 AIGC 内容产生质变的是预训练大模型，这些预训练大模型如同一个分液漏斗的活塞，附着加强信息生成和输出的过滤功能。AIGC 漏斗模式的 层层筛选流程和预训练大模型的分液功能形成了多重过滤机制。虽然多重过滤机制提高了模型的精度、效度和泛化能力，但是 AIGC 整合海量信息后仅提供窄化内容，其过滤后的单一化内容将用户置于预先性选择的位置，也将加固用户选择性趋近或回避的信息获取行为模式。AIGC 漏斗模式遵循满意原则而非最优原则。在 AIGC 辅助下，用户面对决策情境时并非完全理性选择， 而是受到自我认知能力局限性和 AIGC 技术鲁棒性的双重限制。双重枷锁导致 AIGC 漏斗信息加工能力受限，致使生成内容不可能遵循最大化或者最优化原则而是用户满意原则。[14]即 AIGC 在生成内容时，会考虑用户的偏好和需求，并根据其以往的互动行为，为用户提供符合其期望的内容。用户预先确定满意阈值与 AIGC 互动生成内容进行对比和评估，当内容达到或超出用户满意阈值时予以采纳。在追求满意解的过程中，用户的个性化需求明显加强， AIGC 输出概率最高的内容是符合用户倾向的内容。AIGC 漏斗模式具有算法黑箱的特征。AIGC 漏斗模式在用于训练的数据来源、用于数据处理的算法模型、数据生成的结果和技术工具背后的价值导向等方面表现出的黑箱特征，使得工作过程不透明、难以解释和理解。一是 AIGC 的训练数据来源广、数据类型多样、数据量庞大，算法使用的具体数据集和数据预处理过程往往是不透明的。二是 AIGC 算法模型是复杂的预训练大模型，具有深度学习的功能，包含众多神经网络结构和参数，这些处理数据的模型内部运算和决策过程也是不可解释的。这导致用户并不清楚漏斗在信息过滤时以何种计算规则剔除和清洗数据。三是囿于数据和模型的复杂性和不可解释性， AIGC 漏斗生成结果的原理难以理解，当生成结果出现意外或不符合预期特征时，用户无法准确指导其进行调整和优化。四是深度学习等技术往往侧重于提高性能和实现任务目标，算法设计过程中透明度和解释性被忽略；同时不乏恶意制造虚假信息等 AIGC 滥用误用现象，故而技术工具的价值导向也呈现出黑箱特征。[15]AIGC 漏斗模式具有面向用户的自我进化能力。AIGC 漏斗模式的自我进化能力是通过对用户的需求感知、心理行为模拟和供给内容定制等方面强化学习来不断微调预训练模型，实现机器智识模拟人类意识。一是 AIGC 依赖计算机模拟人脑类似的神经网络连接方式进行运算，提高了对人的需求感知度。并且随着“无监督学习—监督学习—强化学习”等多种深度学习方法的发展[16]，AIGC 大幅提升了对用户的需求感知能力。二是 AIGC 通过追踪并分析用户的行为和兴趣数据，学习和理解用户的心理和行为模式，AIGC 可以更好地预测用户的需求和偏好，生成 更符合用户心理和行为的内容。三是 AIGC 还可以根据用户的个人特征、历史行为和反馈，生成差异化的用户画像，即 AIGC 面向不同个体形成个性化的漏斗，进行个性化内容定制，提高个人需求与供给的精准匹配度。

三、从个体到人类未来：AIGC 潜藏的多重认知风险

（一）个体层面的认知风险：加剧个体到群体的两极分化

扩大用户算法意识鸿沟的风险。数字鸿沟的概念发展从“接入沟”到“使用沟”再到“知识沟”[17]，在人工智能时代，还可能出现“算法意识沟”，意即用户是否意识到并且有意识地使用算法应用与设施。[18]算法意识沟随着 AIGC 发展而扩大，并潜移默化地影响用户认知。首先，目前仅少量早鸟用户意识到 AIGC 的重要性并合理使用。其次，多数算法素养较低的用户即使运用 AIGC，也难意识到 AIGC 是持续更新的漏斗模式。用户或是对 AIGC 采取冷漠或抵抗的态度，或是产生深度依赖，其认知易受 AIGC 影响和控制。[19]再者，较多用户对算法保持无知的状态，尤其是年龄较大或者受教育程度低的群体，这类群体多是 AIGC 的绝缘体，滞留在信息孤岛。固化用户信息和知识结构的风险。尽管 AIGC 以海量信息为数据源，但它为用户提供的信息却是基于对海量信息筛选后所给出的标准化内容。虽然免除了用户在海量信息中的搜索之苦，却也使得用户放弃了个性化的信息选择接触，失去了和多元知识的直接连接。一旦用户只接触 AIGC 提供的标准化信息，不仅容易导致用户知识的窄化， 形成个人信息茧房，还会丧失其自主求知探索欲。[20]此外， AIGC 漏斗输出内容的质量与知识付费模式构成倒金字塔结构，绝大多数群体由于依赖免费或低价服务，位于倒金字塔的底层，限制了信息的获取数量和质量；底层用户获得并吸收窄化后的信息，他们被笼罩在 AIGC 织造的信息茧房之中，会阻碍自身知识拓展，容易造成个人认知困境。[21]不过，尽管倒金字塔的中上层用户获得质量更高的内容，但也难以从过滤后的定制信息中逃逸。加速用户圈层化的风险。AIGC 可以基于不同类型的个体和人群，制造不同的社会圈层并加快用户圈层化的速度，从而影响圈层的认知和行为。AIGC 根据用户或者群体的数据和偏好生成内容，在同一个圈层引发共鸣，使得用户陷入其舒适区。他们接触到的信息缺乏多元性和广度，会产生认知偏差和局限，从而加剧社会的分化和隔阂。此外，AIGC 以算法驱动，划清不同圈层之间的边界。AIGC 依赖算法逻辑形塑理性逻辑，缺乏非理性和非逻辑 的价值认同与情绪共振[22]，不仅促使理性和感性认知模式分野，也进一步割裂不同圈层。因而，AIGC 以算法理性，消除圈层间模糊共存的缓冲地带，重构各圈层的认知和价值观，加剧不同圈层的对立与分裂，存在理性认知和非理 性认知对立的风险。加剧用户群体极化的风险。群体极化是指群体成员的态度或观点在互联网环境和群体的作用下，原有的倾向性逐渐转向极端化，变得愈发保守或者激进。[23] AIGC 漏斗模式在解决信息泛滥的同时，其生成的偏激内容也将刺激用户非理性的情绪化表达，从而加剧群体极化问题。AIGC 算法模型也可以被视为认知基模，AIGC 在与用户交互过程中不断修正模型，模拟并感知人类的意识， 强化个体和群体的态度，实现认知操控。已有研究表明，政府官员倾向于采纳算法生成与其刻板印象或想法一致的决策建议。[24]例如 ChatGPT 根据用户输入的信息训练 算法模型，在“输入—输出—训练—输出”过程中反复计 算、修正直至生成符合用户需求的内容，其原理是算法的 “自动化偏见”和个体或群体的“选择性遵从”[25]，进而 AIGC 强化或操控个体或群体的观点、态度和立场。

（二）社会层面的认知风险：引发社会歧视和社会操控

引发社会偏见和社会歧视的风险。AIGC 漏斗模式是一个黑箱，算法黑箱训练所使用的语料库可能因肤色、年龄、性别、地域等数据标签而存在歧视[26]，算法开发者亦存在宗教、种族、文化等偏见，数据训练和算法建构及运行都将重复这些偏见和歧视，经过有偏见的漏斗计算生成的内容必然有失公正，偏颇的 AIGC 内容在传播过程中还会重复巩固原有的社会认知偏见和歧视，将造成社会认知的偏离，解构社会共识。

改变社会认知的情景和惯习的风险。随着 AIGC 算法、算力和数据成为社会生活的底层架构，底层架构的变化将会影响社会惯习和社会文化等上层建筑。一方面，多元社会认知依赖用户在具体场景下与多要素的直接交互和流动[27]，AIGC 通过大数据的计算和过滤直接生成二手内容，导致认知情景丧失，进而冲击环境、家庭、学校教育等因素对认知社会化的影响。即 AIGC 减少了多元情境下用户间交流所诱发的思想碰撞和认知冲突，AIGC 认知拟态环境下用户难以突破刻板的社会认知结构。另一 方面，AIGC 通过改变社会信息接触的主动选择与能动调适，潜移默化地影响社会认知的惯习。AIGC 传播范式下，社会普遍选择人工智能生成式方式获取短平快的信息，ChatGPT、社交机器人等人工智能生成内容冲击主流媒体、 人际交流等传统渠道的权威性或多元化内容。随着 AIGC 计算认知使得社会公共空间和文化公共性的消逝[28]，导致社交区隔并且改变了大众的认知惯习，人们只愿意接收智能化和碎片化的信息。

塑造新的权威控制社会认知的风险。一方面，AIGC 打通虚实两个世界，创造 AIGC+ 工业、金融、教育、传媒等新的社会场景，AIGC 成为控制着两个世界互通互联的霸权，进一步逼近福柯对无所不在的现代权力范式的预言。同时，AIGC 算法具有分类、排序、选择、创造的强大能力，正如多明戈斯所言，一切知识都可能通过算法从数据中获取，是为“终极算法”。[29]然而，社会普遍忽略算法黑箱、人工智能鲁棒性等不可避免的技术局限，易形成对算法的非理性认知，意即对人工智能过于乐观从而陷入盲目的算法崇拜。另一方面，AIGC 全方位嵌入社会领域，以强介入性对社会全面控制，将不可避免地改变社会认知。AIGC 的强介入性不同于液态监视展[30] ，从“圆形监狱”到“全景监狱”再到“超级全景监狱”[31][32]的层层加码， 而是依托智能媒介基础设施嵌入社会运行的结构中，成为社会生产和生活的操作系统，以强制性的方式渗透社会认知。在参差不齐的算法意识下，社会只能以同质、沉默、 逃逸或非对抗性抵制的方式予以反抗。这一过程体现了从福柯的“规训社会”过渡到德勒兹的“控制社会”，对社会成员的行为和思想进行操控。

（三）国家层面的认知风险：制造民意分歧和“政治腹语”

存在冲击民意共识的风险。AIGC 的技术缺陷将对政府和用户参与国家治理或公共决策引发认知震荡。AIGC 为国家治理提供了新的工具，但是受限于数据的不完美性、算法偏见、算法黑箱等问题，其生成的政策制度、治理策略等方面的决策建议缺乏科学性和民主性，会冲击政府决策者和用户的认知。首先，AIGC 底层数据的不完美性，即数据错误和噪音、数据缺失和滞后等问题，会造成基于数据训练而生成的算法模型失误，在模拟决策和生成建议的过程中会干扰政府决策者的认知，从而孕育不合理的政策或决策。其次，AIGC 算法开发者若将带有偏见和歧视的算法规则嵌入模型，也会生成偏颇的决策建议，给决策者带来认知噪音。一旦符合决策者的认知偏见被采纳将导致决策失误，忽略现实情况中的弱势群体或者间接利益群体，会致使政策制定和执行有失公允，不利于社会共识达成。最后，AIGC 算法规则的不透明和公众参与的缺失，可能导致政府决策和政策难以被公众理解或接受，从而降低其合理性和认可度，甚至涌现复杂的社会思潮，导致公众在参与治理和监督的过程中表现出不符合主流价值观的认知与行为，进而瓦解社会共识。

滋生算法认知战等算法利维坦风险。算法利维坦以制造“政治腹语”为目标，具体表现为算法政治谣言泛滥、算法意识形态越位、政治拟态环境、算法认知战等风险。就算法认知战而言，其核心是宣传。哈罗德·拉斯韦尔最初将宣传定义为有含义的符号依托谣言、报道、图片等传播方式来控制意见，后又修改为“以操纵表述来影响人们行动的技巧”[33]。当下，俄乌冲突就是一场 AIGC 传播时代的算法认知战。基于网络全球互联，网民全球动员，人工智能广泛使用，俄乌冲突舆论战从“图文信息战” 迭代为“算法认知战”。[34]一些国家还利用社交机器人等 AIGC 工具生成虚假信息，并通过社交媒体平台的算法推荐加速俄乌冲突虚假信息和“政治腹语”的生产和传播，以此干扰交战双方以及其他各国民众的认知。因此， AIGC 加剧算法认知战迈向政治娱乐化、虚假信息丛生、偏见与歧视等非理性认知传播的趋势，并以此催生出大量的“政治迷雾”，甚至造成真相的“消失”。

引发认知壁垒和意识形态渗透的风险。技术强国或者科技巨头企业，掌握人工智能的核心技术，对技术欠发达的国家实行技术垄断，会导致信息不均衡流动，将围塑信息贫乏国家和地区用户的认知壁垒。OpenAI 在没有解释的情况下，将中国、俄罗斯、乌克兰等国家的用户排除在外[35]，制造国家间的认知壁垒。AIGC 因技术垄断产生的信息容量差和信息时间差，将导致国家间信息和认知两极分化。另外，技术强国和科技巨头企业，可以将 AIGC 作为信息操控的工具来实现文化扩张或意识形态渗透的目的。尤其是利用社交机器人生成大量具有误导性的“政治腹语”信息，混淆用户的认知；生成虚假信息，扭曲客观事实；输出渗透性的解释框架，影响用户的认知判断；制造虚假公众舆论，煽动用户愤怒情绪。AIGC 传播时代，技术的政治属性更加明显，政治介入后对信息和舆论操控具有更强的渗透力、欺骗性和隐蔽性，无形之中加剧意识形态渗透的风险。

（四）人类层面的认知风险：加剧人机关系的认知悖论

潜在剥夺人的认知主体性的风险。AIGC 实际上充当着信息代购的角色，与人类同构行动者网络，冲击甚至可能取代人的认知主体地位。由于 AIGC 在提供信息和感知用户需求方面的双重智能性，用户可能逐渐丧失在 PGC 和 UGC 阶段主动选择或消费信息的能力，依赖于 AIGC 为用户定制“完美”的答案，从而让 AIGC 充当着信息代购的角色。由于算法意识鸿沟的加剧，较多用户不得不依赖强算法意识用户提供的“提问官”服务，由“提问官” 代为与 AIGC 模型对话，形成双重信息代购状态，进一步加大用户与信息获取和认知的距离。在用户与信息完全失联的极端情况下，用户只能依赖 AIGC 作为信息代购来获取信息，将构成信息的供方市场，取代用户的认知主体地位。人类用了数千年时间从柏拉图在《理想国》中描述的 “洞穴隐喻”认知困境中走出来，又面临重回“洞穴隐喻” 认知困境的风险。

潜藏格式化人类认知的风险。囿于 AIGC 漏斗模式下 供给的窄化信息，若用户只接触和吸收 AIGC 内容，人们的意见和态度逐渐从多元变得单一，从而失去对事物多样性和真实性的认识，同时陷入人机关系倒置的认知困境，最终导致思维僵化和认知能力退化。尤瓦尔·赫拉利认为，人工智能技术使得人类有能力操控身体内部的世界、重塑自我，但往往人类尚未全面了解自身心智的复杂性，所做出的改变也就可能很大程度上扰乱心智系统，甚至造成其认知崩溃。[36]换言之，人创造了算法，但 AIGC 试图以去身体、去真实、去隐私的传播趋势和隐蔽计算、深度伪造等方式重新格式化用户的认知，削弱人类的差异性与文化性，让人类成为 AIGC“数字人”，用智识控制人识。此外，由于 AIGC 持续的创新力和高效的生产率，人们一方面借助 AIGC 提升生产效率，另一方面 AIGC 又会剥夺部分人的工作，这种人机关系悖论会激化人类可能沦为“无用阶层”的恐慌，形成人机关系认知上的恐惧，再现“科林格里奇困境”关于技术反噬的预言。[37]由此，如果不消弭这些认知风险，或许人类最终只是技术理性主导的一 个联结点而已。

四、AIGC 漏斗模式下认知风险的治理路径

（一）优化 AIGC 漏斗技术，降低认知风险

一是在输入阶段保质保真地采集高质量数据，以实现 AIGC 正向训练。技术开发者根据使用场景、安全级别、私密程度、敏感程度对数据分类分级、动态更新底层数据，对数据进行预处理和质量检验，以剔除带有社会偏见的数据，重视公私数据的合理使用，并完善数据安全保障体系。

二是在过滤阶段加强 AIGC 算法审计，减少生成歧视和虚假的内容误导用户认知。技术开发者需运用算法交叉验证技术、公正性实验等方式，进而避免数据采集和算法 模型建构及运行阶段将社会偏见和歧视嵌入其中。[38]同时，技术开发者需结合知识图谱加强模型训练，并嵌入算法自主性纠偏和人工性纠偏程序，开发系列真实性检测和人工智能生成验证等模型审计应用，辅助模型辨别真假数据，避免生成虚假信息干扰用户认知。

三是在输出阶段加强机器启蒙，提高 AIGC 的技术理性与伦理理性，促使机器智识符合人类的主流价值观。首先，技术开发者要加强对 AIGC 等机器智能教育启蒙和规训，注重机器道德和伦理教育，培养机器具有更全面和开放的思维方式及价值观，使之具有更人性化和公正的生产行为与理念，从而避免 AIGC 生成内容失偏。其次，技术开发者建立人机沟通机制和决策机制，让 AIGC 更好地了 解人类的需求和价值观，并根据人类正当的需求和价值观进行智能决策和意见生成。

（二）提升用户算法素养，实现人机协同

提升用户算法素养，有助于减少或应对算法意识沟和群体极化等认知风险。一是因人制宜提升算法素养以弥合算法意识鸿沟。针对无算法意识的群体加强 AIGC 操作科普，针对算法意识低的用户加强算法辩证教育。二是提升用户的算法批判意识，努力破茧和反极化。通过了解算法偏向、加强信息验证和事实审核、接触多元化的信息获取渠道等方式，提高个体与算法的交互力、自主选择性接触力、对偏好标签的洞察力、对真假信息的甄别力、对两极化信息的脱敏力、对认知操纵性信息的免疫力。三是通过人机相互学习达成人机协同，明确人和机器分工合作的 任务及角色，事后评估人机分配任务的完成情况。[39]

（三）政府善用善治 AIGC，修正认知偏差

政府应善用善治 AIGC，以规避 AIGC 漏斗模式下滋生的算法利维坦、认知渗透等认知风险，修正用户错误认知，促进共识达成。一是利用 AIGC 促进良好舆论生态的形成。对内而言，政府应积极接入 AIGC，建构“技术—平台—生产者—使用者—生态”五位一体的政务智能媒体传播格局，实现精准传播，驱散政治迷雾，纠正用户认知偏误，促成社会共识。对外而言，政府需掌握智能传播时代网络舆论战的新范式，为用户提供多样化的信息来源， 加强公共舆论引导，以精准抵御境外势力利用 AIGC 生成虚假信息进行意识形态渗透和认知操控。二是利用 AIGC 促进决策科学和民主。基于 AIGC 优化政府治理“全场景—全过程”的制度机制并建构与之适配的组织系统，提高决策的科学化、精准化、智慧化；[40]用主流价值观引导 AIGC，激发平台委托治理和用户数字参与，促进全过程人民民主。

（四）建立负责任的算法体系，促进算法善治

建立集算法责任要素、行动网络和多元问责于一体的算法责任体系，实现算法向善。一是形成全景画像的算法责任要素体系。根据算法责任主客体和算法场景等要素，明确敏捷治理、社会责任融入等差异化的治理方式， 建构算法责任要素、方式、场景适配性矩阵。[41]二是建构算法责任行动网络体系。政府应完善算法伦理框架，制定算法伦理准则和政策，确保算法设计和应用符合社会价值和伦理原则。技术开发者应完善 AIGC 算法开发与运用的行为道德规范，平等地开放 AIGC 的使用权限，以弥合数字鸿沟并降低人为的认知壁垒。三是建立算法多元问责机制体系。建立算法日常问责机制，针对不同用户账号进行交叉审计形成日常登记册[42]，防止 AIGC 通过制造算法茧房、算法歧视、算法共谋等方式算计用户的认知需求。建构关键算法和模型的第三方审查和评估机制，确保算法的公平性、透明性和可解释性；对 AIGC 算法黑箱计算引发的认知风险形成自评和第三方评估报告，管控 AIGC 生成与传播的认知风险。

（五）全过程治理认知风险，形成有效闭环

针对 AIGC 漏斗模式认知风险本身，采取“事前—事中—事后”全过程治理的方式，降低认知风险的扩散力和危害性。一是建立 AIGC 认知风险“识别—监测—研判— 预警”机制，对认知风险来源和因素进行全面梳理和识别，监测潜在的认知风险内容，结合机器自评和人工研判的方式对认知风险进行预警。二是建构 AIGC 认知风险敏捷治理机制。建立快速响应机制，及时对认知风险采取熔断措施阻止风险扩散。利用电子决策剧场仿真演练，综合评估应对流程和决策，并依据认知风险演化制定灵活的应急措施，以减轻或消除认知风险的影响。三是积极落实机器审计和机器遗忘等机制。完善事后问责和评估工作机制，对认知风险全过程治理效能进行评估、反馈和优化。同时，通过隐私提醒、删除权限等方式保障用户个人隐私，确保 数据完整性、唯一性和合法性，并避免用户沦为“沉默的数据”和“幻影公众”。

五、结语

面向 AIGC，人类面临着较大的不确定性。不过，至少有两点是确定的：一是 AIGC 是一种不可逆的技术应用， 在不远的将来会得到大规模的应用；二是 AIGC 是一种信息层层过滤的漏斗模式，漏斗模式对人类认知潜藏着风险。在未来，认知风险还会不断演化，需要着重关注认知风险扩散的路径和风险程度，以及不同场景下 AIGC 产生的认知风险差异。本文尽可能地分析 AIGC 生成和传播所带来的各种认知风险，但并不鼓吹“技术决定论”。在人类社会的每一次技术革命发生后，都不免出现人类即将走向灭亡的悲观论调，认为技术将替代和主宰人类的一切。例如，当网络搜索引擎出现后，就有人认为人类不再需要记忆，也不再需要复杂的认知，网络搜索引擎会替代我们去记忆和认知。然而，网络搜索引擎被发明 30 年来，人类不仅没有因此而被打倒，也没有因此而走向灭亡，反而利用网络搜索引擎创造出更为美好的生活。与网络搜索引擎一样，尽管 AIGC 生成和传播会对认知带来巨大的风险 我们有理由相信人类一定可以认知和消弭这些风险，因为不是技术主宰人类，而是人类主导技术。

参考文献：[1] 李白杨，白云，詹希旎，等.人工智能生成内容（AIGC）的技术特征与形态演进[J].图书情报知识，2023，40（1）：66-74.[2] Stokel W C，Van N R.The Promise and Peril of Generative AI[J].Nature，2023，614（7947）：214-216.[3] 郭全中，袁柏林.从GPT看AGI的本质突破：传媒业新挑战与未来[J].新闻爱好者，2023，544（4）：30-35.[4] Wang F Y，Yang J，Wang X，et al. Chat with Chatgpt on Industry 5.0：Learning and Decision-making for Intelligent Industries[J].IEEE/CAA Journal of Automatica Sinica，2023，10（4）：831-834.[5][7] 曾润喜，秦维.人工智能生产内容（AIGC）传播的变迁、风险与善治[J].电子政务，2023（4）：5-7.[6] 谢新水.人工智能内容生产：功能张力、发展趋势及监管策略——以ChatGPT为分析起点[J].电子政务，2023（4）：25-35.[8] 王诺，毕学成，许鑫.先利其器：元宇宙场景下的AIGC及其GLAM应用机遇[J].图书馆论坛，2023，43（2）：117-124.[9] 陆小华. AIGC与智能变革：让认知震荡催生能力生长[J].青年记者，2023（7）：88-90.[10] 姜婷婷，许艳闰.窄化的信息世界：国外信息茧房、选择性接触与回音室研究进展[J].图书情报知识，2021，38（5）：134-144. [11] 彭兰.生存、认知、关系：算法将如何改变我们[J].新闻界，2021（3）：45-53.[12] Wu T，He S，Liu J，et al. A Brief Overview of ChatGPT：The History，Status Quo and Potential Future Development[J].IEEE/CAA Journal of Automatica Sinica，2023，10（5）：1122-1136.[13] 帕里泽.过滤泡：互联网对我们的隐秘操纵[M].北京：中国人民大学出版社，2020：93.[14] 赫伯特·A.西蒙.管理行为[M].北京：机械工业出版社，2013：111.[15] 帕斯奎尔.黑箱社会：控制金钱和信息的数据法则[M].北京：中信出版集团，2015：103.[16] Jordan M I，Mitchell T M. Machine learning：Trends，Perspectives，and Prospects[J].Science，2015，349（6245）：255-260.[17] Arquette T J. Assessing the Digital Divide Empirical Analysis of a Meta-analytic Framework for Assessing the Current State of Information and Communication System Development[C]//Symposium of IAMCR & ICAS about Digital Divide. Chicago：Northwestern University，2001.[18] Gran A B，Booth P，Bucher T. To be or not to be Algorithm Aware：A Question of a New Digital Divide？[J].Information，Communication & Society，2021，24（12）：1779-1796.[19][20][21] 曾润喜，秦维.人工智能生产内容（AIGC）传播的变迁、风险与善治[J].电子政务，2023（4）：5-7.[22] 喻国明，颜世健.认知竞争时代的传播转向与操作策略[J].东南学术，2022，292（6）：227-237，248.[23] 桑斯坦.网络共和国：网络社会中的民主问题[M].上海：上海人民出版社，2003：135.[24] Selten F，Robeer M，Grimmelikhuijsen S. 'Just like I Thought'：Street-level Bureaucrats Trust AI Recommendations if They Confirm Their Professional Judgment[J].Public Administration Review，2023，83（2）：263-278.[25] Alon-Barkat S，Busuioc M. Human-AI Interactions in Public Sector Decision Making：“Automation Bias”and“Selective Adherence”to Algorithmic Advice[J].Journal of Public Administration Research and Theory，2023，33（1）：153-169.[26] 孙伟平.价值哲学视域中的算法歧视与社会公正[J].哲学研究，2023（3）：46-55，126-127.[27] 阿尔伯特·班杜拉.社会学习理论[M].北京：中国人民大学出版社，2015：168.[28] Striphias T. Algorithmic Culture[J].Eropean Jounal of Cutural Sudies，2015，18（4-5）：395-412.[29] 佩德罗·多明戈斯.终极算法机器学习和人工智能如何重塑世界[M].北京：中信出版社，2017：33.[30] Lyon D. Liquid Surveillance：The Contribution of Zygmunt Bauman to Surveillance Studies[J].International Political Sociology，2010，4（4）：325-338.[31] 米歇尔·福柯.规训与惩罚：监狱的诞生[M].北京：生活·读书·新知三联书店，2019：103，227.[32] 马克·波斯特.信息方式后结构主义与社会语境[M].北京：商务印书馆，2014：122，129.[33] 哈罗德·拉斯韦尔.世界大战中的宣传技巧[M].张洁，田青，译.北京：中国人民大学出版社，2003：22.[34] 方兴东，钟祥铭.算法认知战：俄乌冲突下舆论战的新范式[J].传媒观察，2022（4）：5-15.[35] Wang S H. OpenAI—explain Why Some Countries are Excluded from ChatGPT[J].Nature，2023，615（7950）：34.[36] 尤瓦尔.赫拉利.今日简史：人类命运大议题[M].北京：中信出版社，2018：7.[37] Collingridge D. The Social Control of Technology[M].New York：St.Martin's Press，1981：11.[38] Carbonell J G，Michalski R S，Mitchell T M. An Overview of Machine Learning[J].Machine Learning，1983：3-23.[39] Hirschberg J，Manning C D. Advances in Natural Language Processing[J].Science，2015，349（6245）：261-266.[40] 贾开，蒋余浩.人工智能治理的三个基本问题：技术逻辑、风险挑战与公共政策选择[J].中国行政管理，2017（10）：40-45.[41] 肖红军.算法责任：理论证成、全景画像与治理范式[J].管理世界，2022，38（4）：200-226.[42] Neyland D. The Everyday Life of an Algorithm[M].Switzerland：Springer Nature，2019：14.