当AI公司的爬虫成为网络内容的最大“读者”,一个旨在让它们为访问内容付费的新兴系统,正得到开源先驱者的谨慎认可。
非营利组织Creative Commons(CC,知识共享)日前宣布,对名为“付费抓取”的新兴技术系统表示“谨慎支持”。这一系统旨在通过自动化方式,当AI网络爬虫抓取网站内容用于模型训练时,为内容网站提供补偿。
这一表态迅速在出版与科技界引起关注。作为以推动开源共享授权而闻名的组织,CC的立场反映了AI时代内容生态面临的深刻挑战:如何在确保AI技术发展的同时,维护内容创作者的可持续性和网络的开放性。
立场转变:从免费开放到“谨慎支持”付费
Creative Commons在12月发布的博客文章中首次阐明了其对“付费抓取”系统的立场。
文章写道,“如果负责任地实施,付费抓取可以成为网站维持内容创作和分享的一种方式,并管理替代性使用,从而让内容保持公开可访问,否则这些内容可能不会被分享,或者被更严格的付费墙隐藏。”
CC坦承,这一立场与其长期倡导开放网络的传统看似相悖。转变的核心在于AI从根本上改变了机器使用网络内容的社会契约。
过去,网站允许搜索引擎爬虫免费索引,以此换取流量。如今,AI模型抓取内容用于训练后,用户直接从AI处获得答案,不再访问源网站,导致网站流量和收入锐减。
行业痛点:AI重创流量,小型出版商处境艰难
AI技术对传统内容生态的冲击已十分显著。
例如,美国大型媒体出版商People Inc.披露,其来自谷歌搜索的流量在两年前占总流量的54%,但在2025年第三季度已骤降至24%。这种流量下滑对依赖广告收入的出版商是“毁灭性的”。
面对冲击,大型出版商尚可凭借体量与AI公司谈判内容授权协议,如OpenAI与康泰纳仕、Axel Springer,亚马逊与《纽约时报》等达成的交易。但小型网络出版商则缺乏议价能力,难以达成类似的单独协议。
“付费抓取”系统的价值在于,它为所有规模的网站提供了一个标准化的、自动化的补偿机制,尤其为中小型出版商提供了应对AI冲击的新工具。
深层考量:支持背后的七项核心原则
尽管表示支持,CC的立场附加了多项重要的前提和警告。
CC指出,付费抓取系统若不加限制,可能加剧网络权力的集中,演变成类似数字版权管理的监控工具,甚至可能阻碍研究人员、非营利组织、教育机构等公共利益实体的内容访问权。
为此,CC提出了一套指导“负责任付费抓取”的七项原则:
不应成为默认设置:应由网站自行选择启用,而非服务商自动强加。
应支持精细化管理:能够区分商业AI公司、非营利机构、研究者等不同用户,设置不同规则。
应允许“限流”而非仅“屏蔽”:在管理流量成本时,不应完全阻断访问。
应保障公共利益访问和合法权利:不能阻碍基于版权例外(如合理使用)的合法内容使用。
应采用开放、可互操作的标准组件:避免形成新的技术垄断关卡。
应支持对公共资源的集体贡献:鼓励资金流向创作者联盟或更广泛的数字公共领域。
应避免监控和类DRM架构:最小化数据收集,防止对内容使用进行过度追踪。
生态构建:巨头布局与开源标准RSL的兴起
“付费抓取”已非概念,多家科技公司正积极布局,构建相关市场。
网络基础设施提供商Cloudflare是这一理念的主要推动者之一,其构建的市场允许网站向AI机器人收费。微软也在为出版商开发货币化系统,其Copilot助手将成为该市场的首个AI买家。
与此同时,一个名为 “真正简单授权”(RSL) 的开放标准应运而生,并于2025年9月发布了1.0版本。RSL允许出版商为其内容定义机器可读的授权条款,包括署名、按抓取付费、按推理付费等。
CC已宣布支持RSL标准,并与RSL Collective合作,在该标准中集成了“贡献”概念。CC认为,当AI系统从数字公共资源中获取巨大价值时,“贡献”不仅仅是补偿,更是对使其成为可能的社会契约的参与。贡献形式可以是资金捐赠,也可以是开源模型或共享数据集。
未来博弈:重塑AI时代的数字内容契约
CC的介入,标志着关于网络内容价值的博弈进入新阶段。
它试图在两大阵营间找到平衡:一边是寻求高质量数据以训练强大AI模型的科技公司,另一边是希望其创造性劳动获得认可和回报的内容创作者。
这场博弈的结果将决定未来网络的形态——是变成一个高度原子化、处处收费的交易市场,还是能延续其作为共享、混合和创新平台的本质。
CC呼吁各方参与对话,共同影响这些正在被构建的系统的价值观,使其优先考虑互惠、开放和公共利益。正如CC在其文章中所说,“网络的未来正通过标准文档、产品决策和设计选择被谈判决定。”
免责声明:本文仅代表作者个人观点,与时尚科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

