1、快手小程序体系化质量保障实践何永超快手 商业生态质量负责人何永超目前主要负责快手小程序、开放平台、服务号、星火计划等业务的质量保障及效能建设工作，完成快手小程序0-1质量体系搭建，小程序生态治理专项建设，保障开放生态的健康和体验。毕业后曾就职于去哪儿网和支付公司，从事全链路业务保障、云测、一站式工作台提效等工作。快手商业生态质量负责人嘉宾照片目录CONTENTS议题背景01 阶段保障思路02 引擎质量保障-分层模型03 全流程基建体系建设04 生态质量保障05 总结与规划06 01议题背景用 户快 手 平 台商 家&开 发 者强认知弱认知提供流量&运行平台弥补自身短板和不足提供场景提供服务小程

2、序在快手OS能力已有事实标准体验和性能需要对标行业背景W3C 小程序标准白皮书背景小程序已深入到快手主场景千万日活亿级月活背景空屏白屏加载异常违规导流视频无法正常播放小程序不可用页面错误钱币回收涨粉无人直播自动卖货生态体验质量问题凸显02阶段保障思路阶段一阶段二阶段三基 础 保 障引擎基础保障专项、深入、分层提 效&卡 点全流程基建体系生 态 质 量 保 障生态治理模型，指标度量体系，技术方案质量团队的工作重点追随业务发展主线小 程 序 质 量 体 系 建 设 阶 段 拆 解阶段保障思路阶段保障思路卡点卡点卡点卡点需求阶段研发阶段测试阶段上线阶段运维阶段第一阶段引擎基础保障工作重点和精力分配业

3、务初期初创期上升期平台期业务迭代速度业务规模引擎基础保障专项、深入、分层基础保障阶段保障思路卡点卡点卡点卡点需求阶段研发阶段测试阶段上线阶段运维阶段第二阶段提效&卡点业务上升期全流程基建体系提效&卡点初创期上升期平台期业务迭代速度业务规模效能建设投入阶段保障思路卡点卡点卡点卡点需求阶段研发阶段测试阶段上线阶段运维阶段第三阶段生态质量保障业务平台期生态治理模型，指标度量体系，技术方案生态质量保障初创期上升期平台期业务迭代速度业务规模生态健康度03引擎保障-分层模型任 务 复 杂引擎OS复杂度高OS复杂度与业务规模弱相关存在事实标准专项测试，深入理解引擎架构，分层保障，抽象模型指导用例设计难点核心

4、解决思路引擎保障第一阶段引擎基础保障引擎架构分层理解引擎保障引擎架构分层保障思路引擎保障-分层保障思路引擎保障-分层保障引擎架构分层保障落地专项小程序组件引擎保障-组件的四层模型为什么会有组件四层模型B复杂度：多端运行&行业一致性问题A难点：组件40+个(10000+测试点)：40*(A*C*D+B+E*(N)A.共有属性7个，独有属性平均7个B.共有事件11个，独有事件平均6个C.数据类型6种D.数据绑定3类赋值方式E.CSS选择器6种，CSS样式若干（N）引擎保障-组件的四层模型为什么会有组件四层模型四层模型是一种测试方法论，用来保证业务的质量同时他也是一种思想，随着对业务和技术知识的不断

5、深入理解可能会产生不同的层级来保证质量。四层模型是什么层级依据帮助研发与测试应用层竞品表象/公开文档直观验证规范层行业/公司/业务规范【对外】统一标准避免分歧，【对内】提高问题发现、定位与解决效率.平台层1.技术角度2.业务角度专业技术知识/深度原理业务特性/复杂度利用技术手段、技术原理与业务的理解进行深入测试.基础层专项专项测试引擎保障-组件的四层模型层级展示类导航类媒体类表单类开放能力应用层业务：组件名称，属性类型，属性值，必填项，默认值，参数说明，示例代码技术知识：CSS盒模型，事件冒泡，冷/热启.规范层错误码规范，错误信息格式，赋值方式，手势，横竖屏，热区，双端渲染结果一致，参数类型校

6、验，埋点格式及上报，异常主动上报规范，监控，国际化(未来)，无障碍(未来)平台层1.技术角度2.业务角度UI设计，屏幕分辨率/机型兼容，特有手势冲突，事件，特有横竖屏，异常中断，物理返回键，展示层与逻辑层通信时机 页面栈层级，AB页面死锁，后台路由，连续路由，多层跳转数据传递，路 由与页面生命周期,物理返回键，右滑返回授权，异常中断，媒体格式，来源渠道，原生组件插入/更新/销毁，弱网，亮度，特殊手势，原生组件切换原生组件与webview通信/事件非同层渲染与原声 组件遮挡，键盘遮 挡，输入法联想功 能与遮挡，弱网，XSS攻击.，第三方接口响应,弱网，安全，重复调用,资安保障，隐私授权，压力基础

7、层生态宿主兼容，算法，通信，线程，功耗，内存泄漏，帧率，流量，渲染，耗时，安全，包大小，流畅度，CPU,内存.典型组件icon,progress,canvas,mapnavigation-bar,navigatorcamera,image,videobutton,checkbox,input,picker,radio,switchad,payment-list,getPhoneNumber引擎保障-组件的四层模型组件四层模型举例层级完成度成果应用层API（400+）测试全覆盖组件（40+）测试全覆盖开发者文档的质量全保障规范层开发者7个维度标准全部建立完成内部2个数据上报标准全部建立完成建立9

8、个标准研发实现有标准QA测试有范围平台层完成14个专项测试剩余2个已推动14个专项建设基础层完成5个专项配合公司和研发做专项测试5个引擎保障-组件API的四层模型四层模型在实践中在业务中应用的成果和收益04全流程基建体系建设核心解决思路亟 需 提 效&卡 点引擎对基建依赖度非常高公司内无现有基建支撑全新规划基建服务架构，探索突破口，平衡长短期收益完善CICD及准入准出卡点建设痛点全流程基建体系建设第二阶段提效&卡点01020304预接入实验室内部研发线下质量保障发布线上运行05批量预接入解包工具调试工具CI/CD卡点(指标、性能、依赖)Pipeline静态扫描自动化测试预发布性能测试包体积检测

9、竞品自动化API自动化组件自动化业务自动化埋点自动化性能自动化随机自动化宿主灰度kma灰度审核自动化处理分级线上管控流量配置配置开关AB实验快速修复引擎动态更新热修复插件化技术稳定性监控全链路监控一站式排障工具告警&巡检体系（人工+机器+自动化报告）组件、API监控云服务加速容器建设HEP云检PLC审核自动化全流程基建体系概览核心难点突破找寻最优解全流程基建体系建设基建服务架构的核心设计理念能力组装灵活，且独立功能单独演进通用网关PLC巡检HEP云检API自动化性能平台质效平台一站式排障平台抽象通用能力，解决共性问题设备调度任务调度设备环境图形图像处理数据与监控处理对外接口调用和消息云端设备控

10、制，本地设备控制主任务、子任务、任务拼装、任务执行子集预置、清理、代理存储、压缩、OpenCV、目标检测度量、平台监控全流程基建体系建设基建服务群整体架构设计全流程基建体系建设小程序JS端客户端容器层网络请求登录支付摄像头NativeJS BridgePublishSubscribeinvokeinvokecallbackhandlercallbackhandler视图层（View）PagePagePageKSMLCSS逻辑层（Service）事件处理函数JS API事件事件数据数据系统层AndroidiOSCSSTemplateJavaScript基于UI数据驱动、无侵入现成框架，基建成本低

11、，须维护对应UICase，重测试套件websocket+动态执行及渲染的测试套件+数据驱动和断言内嵌自动化指令处理器遍历所有API、前端断言、自动生成case更有优势、有侵入直接测试桥直接测试JS Bridge，端分离，重维护自动化举例-API自动化方案选型全流程基建体系建设最终采用Websocket+js动态访问方案快手APP小程序引擎Myth slave clientZeus自动化平台Myth测试套件小程序httpWebsocketUSB/Wifi直接与自动化平台交互无侵入，可跨平台设备操控我们方案我们方案其他方案其他方案执行效率执行效率高中等，涉及engine的加载侵入性侵入性无有跨端能

12、力跨端能力支持支持跨平台能力跨平台能力支持不支持核心优势JavaScript 中访问对象属性的方法：点属性访问器：object.property方括号属性访问：objectproperty对象解构：const property =object动态访问对象的属性全流程基建体系建设自动化举例-API自动化方案选型全流程基建体系建设测试套件手动模式自动化模式数据驱动，使用门槛低测试套件举例-Athena快捷提Bug7个重点紧急项目支撑其中鸿蒙系统适配：15PD 2PD。72%的自动化覆盖率完成只用了7分钟060504030201重点项目支撑iOS，Android，开发者工具主站，极速版跨端执行成本低

13、获取跨竞品各端结果获取竞品结果架构的设计天然提高了执行效率全量1033个case执行 430秒 7分钟执行效率高与KDev测试服务打通具备保留测试场景的能力失败重跑本地复现数据驱动与测试用例服务化数据驱动，组装灵活降低代码能力要求，外包参与编写case全流程基建体系建设自动化收益05生态质量保障核心解决思路生 态 质 量 保 障小程序属于开放生态，开发者的开发和运营质量参差不齐，线上大量问题无人跟进专项治理开发者小程序生态痛点生态质量保障第三阶段生态质量保障PlatformDataServiceActionEffect底层依赖平台支撑数据度量和驱动治理所需的服务治理的动作和规范效果呈现和度量生

14、态治理模型图生态质量保障分发场景多处置方式多样月问题量数万+40+个场景入口问题规模大种类多治理需要多方协同治理不仅是技术问题遍布快手核心场景挑战开发者规模持续增长小程序规模不断膨胀开发者数量不断增加思路场景获取真机场景还原异常检测分级处置解决方案业务问题技术问题如何机器检测问题处理工程化小程序线上运行存在大量问题这些问题只有少量被人工处理平台方需要治理低质页面机审提高效率生态质量保障云检平台的诞生HiveMysqlHephaestus(检测中心)Zeus(真机调度中心)Apollo(消息网关)业务系统miniprogram-server客户端检测流程示例首帧检测异常上报MythSlaveCl

15、ientMythSlaveClient设备宿主管理白屏检测OCR文字提取Logger埋点提取Redis异步任务队列Admin审核后台(Web)Kwaibi数据看板(数据)运营用户手机真机集群拉取挂载列表BlobStore要检测的内容Kim色情模型政治模型敏感词库目标检测模型匹配生态质量保障小程序页面进检策略场景搜索入口小程序中心私信分享同城页信息流发现页信息流视频PLCProfile页扫一扫栏目作品专区聚星推广广告投放直播间挂载服务号页面短信POI详情页放映厅短剧小玩法流量小程序DAU页面PV重要场景入口实时低流量重要场景离线覆盖TopDAU小程序上海品茶KA小程序覆盖高PV页面覆盖生态质量保障实

16、时检测高优场景，异步检测高活场景问题1：检测页面量极大，全检页面数每天高达80万解决：遇到的几个难点问题HEP服务群Apollo(消息网关)Task(定时调度)Hephaestus(检测中心)定时检测和实时检测，满足不同场景不同优先级的检测任务日志上报集群Server在线机房kafka集群Kafka同步工具mirror maker离线机房kafka集群实时消费程序flink下游kafka离线消费Hive延时检测改动低频及高活页面实时检测即时挂载页面，基于实时策略保证高优先检生态质量保障问题1的技术方案全量挂载页巡检覆盖页面全量问题页面云检发现的问题页面云检处置的问题页面已覆盖-未召回误报已检出

17、-未处置未覆盖-无法召回生态质量保障当天页面数总检测页面数发现有问题页面数处理有问题页面数转化率转化率11%问题1的方案成果分析全量挂载页PV巡检覆盖页面PV全量问题页面PV云检发现的问题页面PV云检处置的问题页面PV生态质量保障总小程序挂载页面PV总检测页面PV发现有问题页面PV处理有问题页面PV转化率94%问题1的方案成果分析增加回捞机制和问题闭环机制根据优先级和权重，选择不同的处置策略系统检测问题处置后置处理器-1.0空屏大白屏部分白屏骨架屏视频检测未起播资源下线报错违规检测其他检测违规导流医导涉黄涉政机审名单机审自动处置人审手工处置后置处理器-2.0机审名单机审自动处置人审手工处置监控

18、计数器权重计算器回捞机制追踪闭环机制人工追踪分级策略解决：根据准确率不同，选择机审或人审根据白名单策略，选择不同的检测方式和处置口径问题2：检测准确率无法100%，问题量级大，人工处置工作量巨大空屏大白屏部分白屏骨架屏视频检测未起播资源下线报错违规检测其他检测违规导流医导涉黄涉政生态质量保障问题2，以及解决方案生态质量保障平台支持的检测问题大类生态质量保障平台整体效果展示检测平台交互展示生态质量保障成果展示月检测200万+页面，月均问题页面4万+，平台总处理问题页面数20万+生态质量保障收益40+体验问题被例行检测高活页面，高优场景被及时检测当前已纳入检测范围的问题召回率95%+提高问题检测速

19、度提高问题检测速度降低问题发现时长降低问题发现时长 过去每日2人兼职巡检不到200页面 现在机器巡检每日最高可达15万 过去仅通过反馈渠道和每日人工巡检发现 现在问题将在24h内发现 影视综类页面问题在1h（甚至2min）内发现0-20015万被隐藏或偶然发现24h2min高优问题及时召回高优问题及时召回靠反馈被动发现自动巡检主动发现生态质量保障生态质量阶段性规划06总结总结1.阶段保障初创期、上升期、平台期？衰退期2.分 层 保 障架构分层、业务分层保障四层模型：应用、规范、平台、基础3.基 建 体 系扩展性、先进性如何避免重复造轮子跑的快，但不能太快4.生 态 保 障业务问题、技术问题、解决方案感谢聆听关注QECon公众号