报告预览

3-优酷-实时数据质量保障体系实践-曹旭.pdf

编号：29803

PDF 24页 36.21MB 下载积分：VIP专享

下载报告请您先登录！

3-优酷-实时数据质量保障体系实践-曹旭.pdf

1、MTSC2020中国互联网测试开发大会深圳站TESTING SUMMITCONFERENCE CHINA 20202020.11.20-21一中国深圳宝立方国际酒店主办方：TesterHame#page#中国互联网测试开发大会。深圳站MTSC实时数据质量保障阿里大文娱人工智能测试-曹旭主办方：TesterHome#page#MTSC中国互联网测试开发大会文娱搜索引擎的数据链路目录02contents实时数据质量体系构建馆全链路数据质量的提效赋能04未来规划主办方TesterHeme#page#文娱搜索中国互联网测试开发大会连接用户、承接内容分发的核心入口MTSCQ提全网定meb你可能在找外医机

2、为你胜多村爱情4乡村爱情数据类型多数据索引量大随时更新变化快主办方：TesterHame#page#实时数链路与质量之痛MTSC中国互联网测试开发大会内容生产数据源内容生产数据多：总量大来源多消息合并重组数据同步关系处理链路复杂：链路长，涉及服务多。实体关系重组三方服务视频节目逻辑复杂：数据关系复杂，业务处中间层消息中间层内容特（MetaQ）Track服务系列理逻辑复杂。数据处理和转发增量入swift问题排查难：数据链路黑盒，随时更新链路变化无迹可寻。ORSHa3索引索引库LDBRDB搜索索引主办方：TesterHame#page#实时数链路质量体系构建中国互联网测试开发大会MTSC紧急干预搜

3、索效果自动保障白湖产品效果监控全链路实时traoo系统准：数据准、业务准白动修复数据一致性监控链路稳定性监控实时debug内容准确性监控服务稳定性监控通：服务通、链路通干预通道时效性监控始效能提升全：数据全、链路全、业务全数据键路服务线下质一致性准确性可用性时效性福等性性能资源主办方：TesterHame#page#实时数据测试：数据一致性MTSC中国互联网测试开发大会一致性：指链路各节点数据消费一致性；采用分时、分频统计，漏斗层级分类比对法。分频：30min1h424h1minnatural：自然业务数据流消费，贴合实际业务场景。high：持续高频数据流，检测压力下Biakudumpcoun

4、t处理能力和优化策略。natural-flowlow：低频或间断数据流，反向检测。mid-dumpunig分时：Funnel-comparehigh-frequeny分时按时间间隔抽样，划分间距根据flowtype-sum需求定，间距越窄越能发现数据处理low-frequeny的稳定性和策略均衡性。ummayai分类：统计指标，包括总量，唯一性，类型、状态、实体等，根据具体业务需要来设定衡量指标主办方：TesterHeme#page#实时数据测试：数据正确性MTSC中国互联网测试开发大会数据正确性：重点指数据内容的正确性。数据实体属性多，以业务使用优先按策略划分优先级保障。通用规则数据选取：实

5、体分类、业务区分、属性特征规则划分前置业务使用业务规则高优数据优先策略：业务属性核心业务相关业务和体验数据高优全检查。业务效果中间层核心实体属性对齐，内容检测。通用规则次优数据中间层核心非业务相关数据与源对齐。业务规则模式：自动化（规则+case沉淀）daily build通用规则中间层其他低优数据上下游比主办方：TesterHame#page#实时数据测试：数据可用性MTSC中国互联网测试开发大会数据可用性：对数据使用方提供的数据是读取高效、存储安全、协议稳定。易读写存储服务一致查询用性安全可靠数据结构易读写：结构化存储，读取高效，业务易用，易于扩展服务一致：同源数据对外一致，版本兼容不同服

6、务方式数据统一（包括数据内容，数据协议）安全可靠：存储稳定、服务可靠、内容安全（不被恶意涂改）主办方：TesterHeme#page#实时数据测试：时效性示例MTSC中国互联网测试开发大会Track信息包含时间时效性计算7.createie=2019-07-1718:1157收息时间=2019-07-17181157传送时间-92处理耗时showidshowld9.createTime=2019-07-1718:12:02收到消息时间=2019-07-1718:1202传送时间=7处理耗时=1showidcroateTime=2019-07-1718:12:07收到消息时间=2019-07-1

7、718：12:07传送时间=6处理耗时=84Info”：showid5.createTime=2019-07-1718:12:12收到消息时间=2019-07-1718:12-12传送时间=9处理耗时=6968TzTzBOz-zT-6TOz回账showdi7.createTime=2019-07-1718:12:17收到消息时间=2019-07-1718:12-17传送时间=14处理耗时=中间层接收时间“：“2019-12-2708:21:22.53shwd8.createTime=2019-07-1718:12:23.收到消息时间=2019-07-171812-23.传送时间=8处理耗时=8

8、：461371.shwdTOT=系88-0-610=BZt8t-0-6z=ouaeaFoni fdshowldreateTime=2019-07-1718:12:33.收到消息时间=2019-07-1718:12:33.传送时间=12处理耗时raLakfshowd.2.createTime=2019-07-1718：12:38收到消息时间=2019-07-1718:1238传送时间8处理耗时=8“cogtrime：120，.Szz80z-z-6T0。huns指标统计demoiKxxoTfa1s61gnore”：我丽上主办方TesterHame#page#实时数据测试：性能MTSC中国互联网测试

9、开发大会性能测试：以流式数据消费测试全链路处理能力和资源消耗情况。数据和工具适配链路服务具体化（数据链路+服务）内容生产外站资源/内部资源业务真实，但频率不频率可控，mtt可控，数据不可裁剪数据可定制消息中转Bgku服务层去重metq2、反数据同分业务数据流量回放业务数据流量回放关系处理INPUT消息消息处理H指标收集消联：274CLOGC数据解析消息处理务延时失政车RoorocDOGCPors具嘉CVH主办方：TesterHame#page#MTSC中国互联网测试开发大会实时数据线上质量：系统稳定性服务稳定性：实时数据任务稳定性：内置服务+rpc服务依托于blink平台对任务稳定性监控TP9

10、9读入RPSRTBigku服务WARNING输出RPSQPSFaioverCRITICALRateRpc服务成功率业务延迟出错次数空数据主办方：TesterHeme#page#中国互联网测试开发大会MTSC实时数据线上质量：系统稳定性Vvyvv主办方：TesterHeme#page#MTSC中国互联网测试开发大会实时数据线上质量：数据内容保障数据更新、数据内容检查、业务效果三位一体，达到数据生产、消费、可用性的闭环检测。vsampler：抽样器，实时消费抽样id检测，随机或间隔，融入重点热剧保障DataMonitor：数据监控，包括时效性和特征、属性检查。在业务系统vEffect-monito

11、r：综合在线业务系统对数据正常更新之后在在线业务实时产生的效果影响包括召回、排序主办方：TesterHame#page#中国互联网测试开发大会MTSC实时数据线上质量：数据内容保障效果示例日期20191225指标韩选选择指棉0tt新增节目更新召回列表原时间2分钟召回详情百日代司10分钟召回详情0分钟2019-12-2523.54530184投索链路正常日期节召回位置12019-12-2523:5456:0157播索普路正常1预期节日：召回位置=1-252344:560222预期节目未召回，节目被播控2019-12-252124:53:0307提索销路正常！5预期节目图位置-1-252116-5

12、2:0845预期节目来图节目被指结果为空回快置2019-12-2520:14:520544报术路正案预期节日召国位置-1219-12-2519:5054:0338预期节日未图园，节目爆控2019-12-2520:00530570报本链路正常期节目园位置-12019-12-25173253:054预期节目未召回节日被播控2019-12-2517:2258:0293预期节日未百同节目被播2010-12-251730530233预期节日未召区，节目被播拉7726583437盗他主办方TesterHeme#page#MTSC中国互联网测试开发大会实时数据线上质量：数据干预与修复实时干预场景诉求实时自动

13、修复实时干预整体架构机制实时干预链路正常id正常链路触发报警更新补数主链路阻塞copy-vip通道自动干预强制触发强制干预更新修复定制内容触发定制内容触发更新干预数据处理主办方TesterHeme#page#MTSC中国互联网测试开发大会实时链路效能：全链路实时trace系统trace-servicelcascadetracewrapped消息归井HSFserviceNsdtraceKtraceidtrace-sdkwrappedlindormpiggybackb1ztracetoMID业务处理wrappedpicSySblinktracepiggybackswiftha3-ssummay-h

14、a3-buildindex-index-procbuildbuildtracelwrappedbuild-tracers-buildtraceNrankservisummaryha3ce主办方：TesterHeme#page#MTSC中国互联网测试开发大会实时链路效能：全链路实时debug链路信息基于全链路trace的触发式实时debug满足数据可测、可查、可追踪2020-05-2522:47:24.0474消息封装模拟器不同粒度的定制id+type化的消息内容。b12-tracedebug-infocontentinfo全链路trace消息分发器全链路、全流程的多透视级透视跟踪排查自动兼容不

15、同层debug识别wrappertrace信息可控的debug多层位点隔离开关模式识别控制安全写入主办方：TesterHeme#page#中国互联网测试开发大会MTSC实时链路效能：搜索产品体验实时自动保障全能干预业10效果内容十十务Q识别1封错召回1排序相关性场茶钣金平台白动我划冷启按索保健鸡化稳定性获控运营平台新热节目实时频选实时流信息采集/数据监控时效性、数据准确性监控数据全大库数据中间层检索引学链排序引学全网热度主办方：TesterHeme#page#中国互联网测试开发大会MTSC未来规划：算法引擎特征算子实时质量下沉：算法特征计算引擎，算子层面把握算法特征质量计算SQL(Standard Query Language）DSLDomainSpeclal Language）表达DD（）BUdf grapl计算内核Tracing IDUn-UDFfl:odpsudWriterReaderforf1.f2.3.f4SerafzeCombineCombine2：odpwd14:binkudt3:blink udf执行Lindorm存储BlinkODPShbase引擎主办方：TesterHeme#page#谢谢THANKS

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（3-优酷-实时数据质量保障体系实践-曹旭.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

3-优酷-实时数据质量保障体系实践-曹旭.pdf

3-优酷-实时数据质量保障体系实践-曹旭.pdf