1、 Content 背景介绍2019年异常流量分析国双监测方案 ? ? ? 背景介绍 02 据 eMarketer 数据显示，2019 年，全球数字广告支出增长 17.6%，达到 3332.5 亿美元。 这意味着，数字广告将首次占据全球广告市场的一半左右。2019 年中国全部的媒体广告支出上 涨 14.6%，达到 1147.7 亿美元。数字广告一路高歌，但伴随着迅猛增长的，还有一直以来被 诟病的数字广告异常流量问题。 2018 年末，Integral Ad Science Threat Lab（IAS）监测到一个被称为“404bot”的机 器人程序，它可绕过 ads.txt 保护进行域名欺骗，制

2、造异常流量，使广告主蒙受巨大损失。仅 2019 年 4 月到 9 月，就有超过 15 亿个广告受到影响，损失 1500 万美元甚至更多。 2019 年 2 月，甲骨文揭露了一个名为“DrainerBot”新广告欺诈行动，它会在使用者不 知情的状况下播放视频广告，数百款 Android 应用受到影响，这些应用下载量超 1000 万次。 这些视频广告不会在屏幕上出现，也不会被用户看到，白白浪费广告主营销预算。 以上只是在 2019 年全球发生的因异常流量造成的 420 亿美元损失中的冰山一角。 03 与全球相比，国内形势同样不容乐观。当前，行业内各方都在积极对抗异常流量，为获得 真实数据而努力。作

3、为独立的第三方监测公司、国内广告反欺诈的先行者，国双有责任与义务 为广告主和整个行业监测并识别出作弊行为和异常流量。同时，作为中国广告协会理事单位、 中国广告协会互联网广告委员会常务委员单位，国双从 2017 年起就与行业协会、同行者一起 推动异常流量监测的标准化和规范化，促进行业的健康发展。 此次，在中国广告协会的指导下，国双连续第三年制作并发布了国内互联网广告异常流 量白皮书 ，旨在揭示国内的互联网广告流量现状，为广告主、代理公司等行业参与者提供直观 的数据参考，同时展示国双多年来总结并完善的监测方案。 指导单位： 04 02 2019年异常流量分析 异常流量标准 本报告针对的异常流量，是

4、参照了 MRC、IAB 的国际行业标准，国内权威组织中国广告协会组织制定的国家标准和团 体标准，以及中国无线营销联盟对异常流量的定义和分类。根据标准异常流量被分为两类：GIVT 和 SIVT 。 GIVT 是 General Invalid Traffic 的缩写，即常规无效流量，是指能够通过应用多种名单或标准化参数等常规方式进行 过滤的流量。 SIVT 是 Sophisticated Invalid Traffic 的缩写，即复杂无效流量，这种类型的流量无法通过简单的规则识别出来，一 般需要通过高级分析，多方合作与协调，乃至人工干预等方法以及广告投放活动以外更大范围的数据信号才能分析和识别。

5、 05 异常流量数据分析 2019 年全年整体分析 : 2019 年互联网广告异常曝光占比 32.2%，较 2018 年增长 4.2%。异常点击占比有明显增加，占比达 33.8%，并首次超过 异常曝光占比。这源于广告主愈加重视并加大对于效果类广告的投放，以及国双根据市场趋势，针对新的异常形式加强了 异常点击的识别。 06 2017-2019 年异常流量对比分析 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 2017 年2018 年2019 年 40.0% 35.0% 30.0% 25.0% 20.0% 15.0%

6、 10.0% 5.0% 0.0% 33.9% 30.9% 22.6% 23.2% 32.2% 33.8% 异常曝光异常点击 异常流量数据分析 2019 年分季度趋势分析 : 异常曝光与异常点击占比均在第二、第四季度相对较高，第四季度高于第二季度，这可能与二、四季度有 618，双十一活 动有关。 07 2019 年分季度曝光 / 点击异常占比趋势 第一季度 36.0% 35.0% 34.0% 33.0% 32.0% 31.0% 30.0% 29.0% 28.0% 27.0% 30.3% 31.5% 第二季度 28.02% 19.52% 第三季度 31.2% 33.8% 34.2% 32.1% 第

7、四季度 34.3% 35.3% 异常曝光异常点击 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 异常流量数据分析 2019 年分月度趋势分析： 2019 年，异常曝光和异常点击占比波动总体较为平稳，下半年占比略高于上半年。 08 2019 年分季度曝光 / 点击异常占比趋势 1 月份 45.0% 40.0% 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 2 月份3 月份4 月份5 月份6 月份7 月份8 月份9 月份10 月份11 月份12 月份 异常曝光异常点击 2

8、9.5% 31.5% 27.7% 31.7%32.1% 30.3% 34.9% 35.8% 30.4% 34.3% 32.5% 34.5% 33.9% 37.5% 30.1% 29.3% 32.9% 34.8% 28.4% 32.3% 30.5% 32.0%32.4% 35.2% 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 异常流量数据分析 分媒体类型异常曝光： 四大媒体类型的异常曝光占比，除网盟 /DSP 占比稍有降低外，其他各媒体均有增高。其中垂直媒体异常曝光占比近 4 成。 视频媒体异常曝光占比增速明显，

9、同比 2018 年增长 28.9%。 09 垂直 45.0% 40.0% 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 36.9% 36.3% 门户视频网盟 /DSP 38.8% 36.1% 33.2% 32.5% 33.5% 29.7% 32.6% 28.4% 22.8% 29.4% 2017-2019 年分媒体类型异常曝光对比 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 异常流量数据分析 分媒体类型异常点击： 在异常点击占比方面，各媒体也均明显增高，门户、视频最

10、为突出。 10 2017-2019 年分媒体类型异常点击对比 垂直 45.0% 40.0% 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 门户视频网盟 /DSP 32.6% 29.2% 35.2% 30.4% 26.1% 34.4% 19.8% 18.7% 33.8% 22.9% 20.1% 33.3% 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 异常流量数据分析 细分行业异常曝光： 在国双监测的行业数据中， 以汽车、 快速消费品、 互联网科技、 消费电子行业为例，

11、 2019 年各行业异常曝光占比均有所增长， 其中快消行业异常曝光占比最高达 39.5% 。汽车行业异常曝光占比 28.4%，低于行业平均水平，这得益于国双在汽车行业 异常流量的突出研究。 11 2017-2019 年分行业异常曝光对比 汽车 40.0% 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 快速消费品互联网科技消费电子 24.5%24.2% 28.4% 36.8% 36.4% 37.5% 35.4% 34.7% 39.5% 19.4% 20.9% 30.6% 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1

12、月 1 日 -2019 年 12 月 31 日 异常流量数据分析 细分行业异常点击： 同时，2019 年汽车、快速消费品、互联网科技、消费电子行业的异常点击占比也有明显增加。其中，快消行业的占比较高， 达 34.2%，对抗异常流量，任务依旧艰巨。 12 2017-2019 年分行业异常点击对比 汽车 45.0% 40.0% 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 快速消费品互联网科技消费电子 28.9% 23.2% 30.7% 24.2% 21.0% 32.1% 31.2% 25.3% 34.2% 24.1% 19.9% 29.0% 数据来源

13、：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 异常流量数据分析 分设备异常曝光： PC 端异常曝光占比持续高于移动端，不过在涨幅上移动端更为明显。2019 年 PC 端较 2018 年增长 5.7%，而移动端增长 19.7%。移动端作为目前数字营销领域各品牌主重点投入的领域，反作弊的局势也日趋严峻。 13 2017-2019 年分设备异常曝光对比 201720182019 45.0% 40.0% 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 32.1% 22.1% 31.7%

14、 23.4% 33.5% 28.0% PCMobile 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 异常流量数据分析 分设备异常点击： 在异常点击方面， PC 端和移动端占比均有大幅度增高， 分别达到 35.0%、 32.4%。其中移动端涨幅达 48.6%， 需要着重关注。 14 2017-2019 年分设备异常点击对比 201720182019 45.0% 40.0% 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 29.3% 20.7% 27.5% 21.8% 3

15、5.0% 32.4% PCMobile 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 OTT广告规模趋势 据国内 OTT 大数据行业权威第三方大数据公司勾正数据报告显示，OTT 用户数在 2019 年已达到 2.19 亿户，渗透率达 38%，OTT 广告将进入高速发展期。 15 OTT 广告规模趋势（亿元） 350 300 250 200 150 100 50 0 9.40% 20019E2020E2021E2022E 10 23 55 99 数据来源：勾正数据推算，OTT 广告规模不包含

16、OTV 电视端广告 时间周期：2016-2022 年 158 238 333 OTT异常流量（C2S） 2018 年，由国双牵头起草的MMA 中国无线营销联盟 OTT 广告监测标准正式发布。越来越多的厂商和媒体愿意开放 支持第三方监测，愿意接受 C2S API 方式的监测。以下我们仅针对 C2S 监测模式的流量进行异常流量的分析。 2019 年 OTT 市场 C2S 流量中，异常流量占比 9.4%，较 2018 年增长 7.9%。分月占比趋势如下 16 2019 年智能电视平台异常流量状况 12.0% 10.0% 8.0% 6.0% 4.0% 2.0% 0.0% 7.9% 7.4% 9.5%

17、9.2%9.2% 11.3% 9.9% 8.5% 10.9% 9.4% 12.4% 1 月份2 月份3 月份4 月份5 月份6 月份7 月份8 月份9 月份10 月份11 月份12 月份 7.1% 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 OTT异常流量（C2S） OTT 异常流量按广告类型 : 在 OTT 的异常流量中， 最常见的广告类型为暂停广告、信息流广告、贴片广告、开关机广告，其中暂停广告的异常流量占比 最高达 12.6%。 17 数据来源：Gridsum Ad Dissector 数据时间：2019

18、 年 1 月 1 日 -2019 年 12 月 31 日 14.0% 12.0% 10.0% 8.0% 6.0% 4.0% 2.0% 0.0% 12.6% 4.2% 3.0% 1.5% 暂停广告信息流广告贴片广告开关机广告 2019年OTT异常流量常见广告类型占比 GIVT（常规无效流量）数据分析 GIVT: 2019 年国内互联网广告 GIVT（常规无效流量）平均占比为 3.4% ，年中 6 月份 GIVT 占比最高，达 3.9%。 18 2019 年 GIVT 占比分月趋势 3.5% 3.0% 2.5% 2.0% 1.5% 1.0% 0.5% 0.0% 3.7% 3.5% 3.2% 3.5

19、% 3.9% 3.3% 3.5% 2.9% 3.1% 3.8% 3.5% 2.9% 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 1 月份2 月份3 月份4 月份5 月份6 月份7 月份8 月份9 月份10 月份11 月份12 月份 GIVT（常规无效流量）数据分析 GIVT分细项 : 2019年GIVT流量中， 各细项之间占比最高的是曝光/点击过快22.8%和重复流量22.4%， 规律曝光/点击、 无效UA流量、 黑名单 IP 流量也是常见的 GIVT。 19 数据来源：Gridsum Ad Dissector

20、 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 曝光/点击过快重复流量 规律曝光/点击无效ua流量 黑名单ip流量 搜索媒体特定规则参数冲突 请求协议异常流量内部流量 黑名单设备id流量 预渲染/预加载流量黑名单域名流量 自动刷新流量数据中心 ip 流量 22.4% 20.3% 15.8% 22.8% 12.8% 2.9% 1.9% 1% 0.1% GIVT（常规无效流量）数据分析 GIVT分设备分析 : 2019 年，国内数字广告 GIVT（常规无效流量）分设备占比 PC 端占比最高 5.2%，移动端 3.7%，智能电视端 0.6%。 20 常规异常流量分设备占

21、比 6.0% 5.0% 4.0% 3.0% 2.0% 1.0% 0.0% 5.2% 3.7% 0.6% PC移动端智能电视 数据来源：Gridsum Ad Dissector 数据时间：2019 年 1 月 1 日 -2019 年 12 月 31 日 小结 通过对数据的洞察发现 , 2019 年异常流量总体均有明显提升， 可见广告行业异常流量的情况仍然非常恶劣。2019 年， 行业均值在 32%，主要包含 GIVT 和 SIVT 两个部分，而 GIVT 的占比均值在 3.4%，对难以甄别出的异常流量，我们需要 更智能的技术手段有效判定出复杂异常流量。一方面是因为当前行业的黑名单量级还不足，另一

22、方面也是因为黑产各类作 弊的手段越来越复杂越来越高明，简单常规的规则已经难以甄别出异常流量，我们需要更智能的技术手段有效判定出复杂 异常流量。 21 22 03 国双监测方案 国双监测方案 多年以来，国双深耕广告监测领域，解决了客户多种多样的广告监测和验证问题，积攒了丰富的实践经验。在服务的 过程中，我们也逐渐发现，客户越来越注重广告效果和数据质量，对于第三方监测公司识别和过滤异常流量也提出了更高 的要求。为了更好地服务客户，国双进一步整合并升级了已有的异常流量甄别技术，2019 年国双正式推出全新异常流量识 别解决方案 D-Trust。其中 D 代表 Digital Data，因此 D-Tr

23、ust 即显示了我们想为数字营销带来更多透明度的使命，也表 达了我们想为客户带来更多信任的责任。D-Trust 对一般无效流量 GIVT 和复杂无效流量 SIVT 分别提供了针对性的方案解 决不同类别的异常流量。 作弊手段总是不断翻新、不断升级的，所以融合了多项黑科技的 D-Trust 并不是一个静止的体系，而是会顺应市场的 变化，而不断进行自我升级，淘汰无效的识别手段，增加新式的识别技术。一方面保证识别的准确率，另一方面也能及时 发现潜在的异常流量。 23 国双广告反欺诈数据验证流程 24 1. 通过将监测到的 IP、DeviceID 与 权威的行业 GIVT List 中的 IP、Devi

24、ce ID 进行比对，及经过验证的合理规则，来识 别并过滤 GIVT。 2. 通过收集与广告相关的各种参数、传感器信息和设备信息等，并依赖数学模型、机器学习算法等共同构建识别 SIVT 的技 术手段，让高阶作弊流量无处可藏。 3. 客户定制属于自己的异常规则，由国双通过技术手段实现，从而实现更细分场景的异常识别； 4. 对于视频广告投放错误、品牌安全和可见曝光问题，国双也有针对性的验证方案。 全部的 广告流量 过滤掉 GIVT 的流量 过滤掉所有 的异常流量 Valid Traffic SIVT GIVT 行业的 黑名单 贴片 顺位 验证 剧目 定投 验证 品牌 安全 验证 可见 曝光 监测

25、行为 分析 机器 学习 科学的 强规律 10+ 种识别技术 20+ 种识别技术客户定制规则 + SIVT 定制 GIVT 云端 模型 交叉 验证 层层 筛选 多重组合识别数据异常 25 90+ 维度异常判定技术 前后端打通分析每一次访词后的像素热力图、点击热力图 , 从中发现异 常流量 监播实录技术有效规避视频类广告滥竽充数现象 实时的数据更新和一键式报告能够迅速发现问题 专业的代码监测工具及时发现人为错误 完善的历史数据库做参考 曝光分析 频次分析 地域分析 点击分析 来源分析 转化分析 热力圈分析 热力图强力识别验证 26 媒体B 广告来源 774,950 访问量 1,745,938 综合

26、浏览量 00:02:26 平均停留时间 56.60% 跳出率 2.25 平均页面访问数 1.741 Sales leads完成数 0.22% Sales leads转化数 媒体 B 的各项基础数据及转化数据看似正常。但查看不同渠道在页面上的热力图标点击分布 , 发现媒体 B 存在异常点击 分布 , 符合程序点击发送数据包特征。 媒体 B 媒体 B 的实际效果需重新评估 媒体 A 异常流量形式及排查原则 27 连续曝光 Stable 人群占比 时差异常 周期性波动异常 定向人群异常 稳定率异常 频次分布异常 曝光不可见 曝光或点击的频次（ID/IP）超过设定的阈值 更多异常流量判断方法异常分析排

27、查部分原则子 前端 后端 在较长的时间段内，曝光或者点击数据呈现出剧烈的、周期性的上下波动 曝光时间分布不符合网民活跃规律 地域分布非定向，但与行业均值、历史分布相差非常大，表现为某一城市数据非常突出。 同一广告曝光 / 点击来源于不同媒体，或者是相同媒体的不同页面上，一般是媒体在用 不同页面的流量增加数据量数据非常突出。 热力图（点击热力图、像素热力图） 停留时间分布、跳出率、二跳率、硬件厂商、机型、操作系统等维度指标 行为路径相同、销售线索重复、用户行为特征 . 基于AI自动发现复杂作弊特征 基于固定规则的方法基本能够帮助我们过滤掉 60%-70% 的异常流量 , 剩下的部分是由于刷量技术

28、不断升级绕开了规 则。对于这些可以绕开规则的异常流量 , 国双采取基于机器学习的方式来反制。通过应用 AI 技术去白自动发现作弊规律 , 不断学习改进模型 , 帮助我们识别那些不太容易被甄别出来的作弊。 28 关于国双 国双（Nasdaq：GSUM）是中国领先的企业级大数据和人工智能解决方案提供商。基于国双大数据平台独有的分布式 数据架构和先进的实时、多维度关联性分析技术 , 国双的解决方案能够使客户充分洞悉数据间的复杂关系 , 获得全新的商业 洞察 , 以利企业和政府客户作出更好的业务決策。 “ 国双 （ Gridsum） ” 其名 , 是分布式计算 （Grid） 与分析 （Sum） 的结合。 作为数字智能化的先行者，国双致力于帮助企业和政府客户以新颖有效的方式使用数据 , 提高生产力。 更多详情 , 请访可官方网站： 欢迎关注国双官方微博（ 国双 Gridsum） 、微信公众号（ID：gridsumtech） 。 国双官微国双营销研究院