【编者按】新美国基金会6月发布报告《透明度报告追踪工具——互联网平台如何报告其内容规则的执行情况》(The Transparency Report Tracking Tool: How Internet Platforms Are Reporting on the Enforcement of Their Content Rules)。当今,对于科技和电信公司而言,面对诸如政府访问用户数据等问题,出具透明度报告被认为是行业最佳实践。在过去的几年中,Facebook、Instagram、推特和YouTube等互联网平台也开始发布透明度报告,概述其如何实施内容政策和规则,其中包括了该类型平台特有的度量标准和内容类别。尽管科技公司在提供有关内容审核透明度和问责制方面取得了积极进步,但仍有较大改进空间。下面的图表概述了Facebook、Instagram、推特和YouTube在其内容规则实施透明度报告中所呈现的内容度量标准和类别。
1.Facebook
图1概述了Facebook在其社群标准执行报告(CSER)中呈现的内容和指标类别。Facebook于2018年5月发布了第一版CSER。Facebook是第二家发布综合透明度报告的公司(YouTube是第一家)。报告概述了该平台如何执行其内容政策。
图1:Facebook社群标准执行报告
Facebook的报告包含五个指标:流行度(Prevalence)、平台处理的内容/帐户(Content/Accounts Actioned)、主动检出率(Proactive Rate)、申诉的内容(Appealed Content)、恢复的内容(Restored Content),上述指标适用于多个内容类别。在此类透明度报告中,平台处理的内容/帐户、申诉的内容、恢复的内容这三个指标相对直白和普遍,而“流行度”和“主动检出率”指标是Facebook的报告独有的。
流行度:此指标衡量Facebook(或Instagram)上违规内容类别(例如仇恨言论)与所有内容观看次数的百分比。通过选择Facebook上被浏览的内容样本,标记其中有多少违规内容,然后将违规内容的估计观看次数除以Facebook上总内容的观看次数,可以计算出该指标。该指标的理念是:违反平台社群标准的内容只有在被查看时才会对用户产生影响。因此,此指标使平台和公众能够了解公司未能阻止多少次违规内容浏览。此指标旨在表明公司为最大程度地减少违规内容影响所做努力的有效性。Facebook在其CSER中并不总是提供历史数据,仅提供最新的估计。展望未来,Facebook应该将这些数据存档,以便用户可以了解公司对这些内容类别的流行度估算随时间发生的变化。
主动检出率:在公司采取行动的所有内容或帐户中,该指标衡量的是在用户进行标记之前,公司的相关工具已识别违规内容并进行标记的百分比。该指标旨在说明公司检测违规内容的有效性。Facebook表示,该公司能够主动检测某类内容中的违规现象的比率很高,这得益于机器学习技术。但是,此类自动化工具运用于不同类别的内容时,其可靠性不尽相同。自动化工具可以更有效地删除几乎不需要上下文分析、具有明确定义的内容,例如儿童性虐待内容。但是,研究表明这些工具在主观文本中表现不佳,尤其是删除需要其他上下文进行分析(例如仇恨言论)的内容。因此,人工审核者必须参与审核决策。
在CSER中,Facebook旨在为不同类别的内容提供这五项指标的相关数据。2020年第一季度,Facebook扩大了对“管制商品:毒品和枪支”类别的报告,将这一类别的数据细分为毒品或枪支。2020年第一季度,Facebook还将“恐怖主义宣传”类别重命名为“危险组织:恐怖主义与仇恨”,并基于是否与恐怖组织、有组织的的仇恨内容相关划分数据。
2.Instagram
图2概述了Instagram在其CSER中报告的内容和指标类别。这些数据按时间段进行细分,展示出某些指标和内容类别是何时引入的。
2019年11月,Facebook扩展了其CSER的覆盖范围,使其包含来自Instagram的数据。目前,Instagram的报告涵盖了与Facebook报告相同的内容类别,但“垃圾邮件”和“虚假帐户”类别除外。此外,尽管Facebook与Instagram报表中使用相同的指标,但直到2020年第一季度,Instagram的报表仍未包含申诉的内容(Appealed Content)和恢复的内容(Restored Content)相关数据。
图2:Instagram社群标准执行报告
3.推特
图3概述了推特在其规则执行报告中呈现的内容和指标类别。这些数据按时间段细分,以表明推特何时在其报告中引入某些指标和内容类别。Twitter是第三个发布全面透明度报告的主要互联网平台,其报告概述了该公司如何执行内容政策。该报告于2018年12月首次发布。
目前,推特的报告仅包含两个指标下的数据:“遭到报告的帐户”(Unique Accounts Reported)和“已采取行动的帐户”(Unique Accounts Actioned)。与Facebook和Instagram一样,这些指标按内容类别进行细分。在报告中,“已采取行动”一词指公司可以针对一条内容或一个帐户采取的一系列强制措施,包括删除内容或暂停帐户。
图3:推特规则执行报告
4.YouTube
图4概述了YouTube在其社群准则实施报告中的不同指标以及这些指标下的内容类别。为了与其他公司的报告进行比较,已根据内容类别对数据进行了整理。图5主要体现了报告中所涉及的指标以及各自的引入时间。
图4:YouTube社群准则执行报告:根据指标所报告的内容类别
图5:YouTube社群准则执行报告:报告的指标
YouTube是第一家发布综合透明度报告的大型科技公司,概述了其如何执行内容政策。YouTube于2018年4月发布了社群准则执行报告,其中包括“删除的视频”等指标,并细分为“删除总数”和“初次检测的来源”。YouTube在其2018年7月至9月的报告中引入了新的细分指标“删除原因”。YouTube的2019年10月至12月的报告还包括与申诉相关的指标和数据。
在透明度报告中,Facebook、Instagram和Twitter针对每种类别的内容按相同的度量标准发布数据,但YouTube仅包含与指标相关的内容类别数据。例如,当YouTube报告人们将内容标记为违规的原因时,它会按内容类别(例如色情内容、垃圾邮件或误导性内容以及仇恨或侮辱性内容)细分此指标中的数据。但是,被其他指标标记的内容类别(例如假冒)并未出现在“人们将内容标记为违规”指标下,因为“假冒”并不是Youtube内容政策下人类选择进行标记的原因,因此,此类内容被认为与该指标无关。
Facebook,Instagram,Twitter和YouTube已迈出了第一步,围绕其如何执行内容规则提供透明度和问责制。展望未来,希望更多的互联网平台发布此类综合透明度报告。此外,希望上述四个平台扩大其报告范围,使报告内容更清晰、更精准和更有意义。
编译 | 贺佳瀛/赛博研究院研究员
本文由赛博研究院出品,转载请注明:本文来源于赛博研究院公众号。
更多精彩内容请关注“赛博研究院”公众号。