1、电商搜索系统质量保障体系建设质量保障体系京东在电商搜索场景下挑战和成果质量保障体系建立和运营实践总结质量保障体系系统演进动力和质量保障项目流程管理产品业务方评估环境业务监控/告警评估工具运维线上环境预发环境包管理服务监控/告警异常测试动态检查工具开发开发环境集成环境 性能测试环境smoke环境Bug管理代码管理Jenkins静态检查代码review测试功能/性能测试测试环境人资源质量保障千头万绪京东搜索质量保障挑战和成果搜索系统研发需求业务需求来自：3.05亿用户、20万商家、平台架构压力：30+搜索系统，数十亿有效SKU，大促期间10天1598亿GMV自研：生态、个性化、相关性系统稳定性：双
2、十一峰值流量十几万。搜索结果精确：无群体户体验的事故。研发效率：200+研发，每周40多个功能，每个功能5-6天；其中算法AB，每天多次上线用户体验：AI主动发现线下和线上用户体验问题。质量保障成果京东搜索质量保障体系实践目标和方案特点质量保障目标：系统稳定、结果精确、研发效率、体验效果保障体系方案选型和特点p质量保障能力服务化对外赋能p质量保障自动化p用户体验分析智能化质量保障能力服务化对外赋能性能压测平台排序对比工具排序debug工具运维中心任务管理平台促销分析工具效果监控评价平台主动、实时和运维操作被动、历史和指标分析预发生产UIDBCrawlerWorker测试研发运维OPCenter
3、HBASETSDB+CollectedClusterGrafanaMySQLMJDOSIcinga2业务、服务和业务、服务和系系统三个层面统三个层面告警告警Observer立体监控告警体系质量保障自动化算法研发效率提升实践-系统架构问题：近百人算法团队，主三个限制：流量资源、时间资源、系统资源。解决方案：流量限制：线上AB实验、线下算法评估、线下历史流量评估、线下实时流量评估。时间限制：平台工具，自助服务。系统限制：共享系统算法研发效率提升实践-系统架构算法研发效率提升实践-架构扩展算法研发效率提升实践-线下实时行为评测平台化研发效率提升实践-问题和方案问题：30+垂搜系统，对接不同的业务方。
4、是全部自己开发各种需求，还是开放平台，业务方自足配置、添加plugin？问题：在开放平台的基础，如何保证质量？实践：一套平台，多套配置，组建化CI/CD方案平台化研发效率提升实践-概念平台化研发效率提升实践-研发流程平台化研发效率提升实践-CI/CD用户体验分析智能化-问题和常见解决方案问题：平衡用户、商家和平台三者利益常见解决方案：人工评价和标注、收集投诉和反馈、规则匹配。这些方案技术缺点：质量不可控、效率低、成本高、不及时等问题。用户体验分析智能化-方案把人工标注的、用户投诉和反馈的效果问题，转化为人工智能识别的特征与标注类别，最终通过监督学习的方法进行模型训练，把训练好的模型用来检测搜索
5、效果问题最终目标是，用模型学习和检测来代替人工检测搜索效果问题。用户体验分析智能化-数据质量ITS NOT WHO HAS THE BEST ALGORITHM THAT WINS,ITS WHO HAS THE MOST DATA.用户体验分析智能化-标签数据用户体验分析智能化-特征抽取和算法选择用户体验分析智能化-架构用户体验分析智能化-AI识别bad case总结n 目标：系统稳定、业务需求、研发效率n 实践特点：能力服务化对外赋能自动化用户体验分析智能化n 可借鉴和参考地方：引入更多人参与质量保证工作组建化的CI/CD方案质量保证工作引入智能化，常见算法监督学习、异常数据分析n 回味句子：三驾马车garbage in,garbage out质量保障体系总概
sgpjbg002
工作日 8:30 - 17:30
报告分类
