1、腾讯信鸽实时推送演进与实践腾讯大数据高级工程师目录什么是PUSH什么是运营什么是运营02010304案例背景与挑战解决方案运营系统建设信鸽推送的挑战海量终端长连接推送量实时1KW/s精准画像/机器学习人群分类信鸽推送系统解决方案终端SDKAndroid 自建共享通道iOSAccess：统一接入层TDBank：消息中间件实时处理通用存储层HDFSCKVHBaseCDB离线处理GAIA STACK统一资源调度平台（虚拟化）业务指标监控告警日报系统多维查询数据开放运营平台StormHadoop运营工具云控系统CPUGPU内存网络ESPESAESCHermesAndroid 厂商通道FPGATesla

2、Spark单机性能优化-关键环节单机性能优化-操作系统-配置部分配置类型配置项值系统打开文件资源限制/proc/sys/fs/file-max2500000进程打开文件句柄限制/proc/sys/fs/nr_open2500000Epoll监听fd个数限制/proc/sys/fs/epoll/max_user_watches2500000内核分配给TCP内存/proc/sys/net/ipv4/tcp_mem754752 1006336 1509504Listen fd backlog/proc/sys/net/core/somaxconn1024fast recycling of TWsoc

3、ketsv/proc/sys/net/ipv4/tcp_tw_recycle1Reuse TW socket/proc/sys/net/ipv4/tcp_tw_reuse1拥塞控制算法/proc/sys/net/ipv4/tcp_westwood0Eth scatter-gatherEth sgOffEth generic-segmentation-offloadEth gsoOff单机性能优化-性能评测Intel VTune Amplifier单机性能优化-性能评测单机性能优化-硬件性能挖掘执行 35W 次计算结果（SSE 快接近6倍）Intel SSE4.2 CRC32与常规CRC32性能

4、对比unsigned int _mm_crc32_u8()unsigned int _mm_crc32_u16()unsigned int _mm_crc32_u32()unsinged _int64 _mm_crc32_u64()SSE4.2检测SSE4.2 CRC32支持实时精准推送系统离线数据采集用户属性特征兴趣离线算法训练实时数据采集用户实时行为推送实时效果实时算法训练效果实时反馈实时推送推送助手ABTest应用自定义用户画像内部合作产品MTAXG数据MTAMTA页面浏览自定义事件用户基础属性行为属性人口属性兴趣属性自定义标签用户状态年龄性别地域学历上网场景400余种兴趣类目女装女饰品

5、女鞋男装IT产品.60万独立标签人均12个独立标签苹果索尼安踏宝马育儿状态新婚状态毕业状态.XGXG展示抵达点击清除注册卸载HDFSHDFSTDWTDW数据加工特征提取初级：特征数据1 首次注册时间2 每日启动次数3 每日活跃状态4 最近登录时间样本集合TDW1个月前当日设备流失判定算法模型训练训练样本预测结果当日活跃设备特征模型人群挖掘算法模型C4.5，自学习得到判定规则预测是否会流失Linear Regression，根据特征预测未来一个月活跃天数Naive Bayes：特征类别条件概率分布预测是否会流失实时推送&多维分析实时数据离线数据Map Reduce页面浏览自定义事件点击注册用户画

6、像应用版本设备画像HBaseHBase增量倒排索引全量倒排索引TDWTeslaTAGTAG-0TAGTAG-0DOC IDDOC ID|DOCDOC|0SpoutboltboltRule CentralPull nodePullnodePullnodeAggratenodeAggratenodeDOC IDDOC ID|DOCDOC|0Spark streamingStormHDFSHDFSHDFSHDFS实时推送目标人群检索通道检索地域检索信鸽Android通道小米通道华为通道任务调度APNs厂商通道SZ

7、SHTJHK信鸽Access集群iOSCKVCKVVIP 1.N ClustersNORMALClusterBoltBoltL5L5Accessdockernode managerBoltBoltL5L5AccessdockernodemanagerGAIA STACKAccessdockernode manager效果评估目标页面集合自定义参数事件自定义事件点击注册Storm用户画像设备画像浏览数据源FilterExtractTransformLoadUpdate tagComputeParserRedisRedisProxy软硬虚拟化0501001502001/14/11/644/641/2564/256TCP_CRR(短连接)container-fixedipcontainer-hostcontainer-sriov05000250030001/14/11/644/641/2564/256TCP_RR(长连接)container-fixedipcontainer-hostcontainer-sriovcontainer/bytescontainer/bytes