报告预览

民生银行数据库智能运维的实现场景与实践.pdf

编号：136508

PDF 28页 1.89MB 下载积分：VIP专享

下载报告请您先登录！

民生银行数据库智能运维的实现场景与实践.pdf

1、民生银行数据库智能运维实践孔再华民生银行数据库智能运维实践民生银行数据库智能运维实践2.02.0基础软件智能运维平台7 0%运维数据中台运维数据中台运用ES，Hadoop，Flink,KAFKA，Redis，关系数据库，时序数据库等技术，整合各种监控数据，日志文档数据，配置数据，关系数据，知识库等数据来源，结合AIOPS分析资产，建立运维数据中台，为运维决策提供数据支撑。实时计算引擎实时计算引擎采用分布式计算框架，缓存数据库等实现实时数据处理，运用人工智能技术实现运维数据价值挖掘。智能算法库智能算法库集成Sklearn、statsmodels、tensorflow、pytorch、prophe

2、t等AI算法库，利用pandas，numpy，sycipy、matplotlib等数据分析工具，自研智能运维相关算法并落地。智能运维服务智能运维服务实现软硬件各类产品智能深度运维。同时对外提供自助服务，通过自定义指标，关系和服务的方式，用户可以实现个性化智能运维。监控告警优化使用动态阈值，提高告警准确性和相关意义产品深度智能运维异常检测，根因分析，智能场景，故障预测，系系统画像，容量预测统画像，容量预测日志异常检测日志异常检测通过比对日志和知识库来报告问题和分析解决问题智能告警分析实时分析相关告警，定位核心问题民生银行数据库智能运维实践民生银行数据库智能运维实践2.02.0数据库产品深度运维1

3、.0支撑海量运维指标.需要采用无监督学习方法，减少人工标注成本异常检测异常检测一步定位到问题sql.问题SQL执行详情分析，定位问题原因.根因分析根因分析指标告警收敛.便于普通用户使用，提供告警场景解释和对应的解决方案.智能场景智能场景异常检测根因分析智能场景民生银行数据库智能运维实践民生银行数据库智能运维实践2.02.0数据库产品深度运维2.0提升系统运行情况洞察力基于标签的运维管理基于性能基线的动态资源调度系统画像系统画像容量问题发现和预警.容量报告，容量规划，资源调度.容量预测容量预测建立健全问题库管理.实时检测日志，发现已知问题.日志检测日志检测系统画像图片来自网络系统画像整体性能得分

4、洞察数据库系统性能整体情况。洞察历史性能差异本次与上次画像对比，洞察性能变化维度和幅度。易于分析性能变化原因。画像标签基于标签了解系统的性能特征。也可以基于标签搜索相似系统。例如基于标签采用不同的运维策略。系统画像多维性能指标基线情况了解行内数据库运行情况，以及本系统的清晰定位。了解与本数据库系统最相似的行内其他数据库。洞察系统基线对比和趋势分析本次和上次性能指标变化，洞察数据库运行状态。基于基线的资源分析和调度例如CPU基线互补的系统，适合调度共享云资源（虚拟机，容器云）。Disk基线互补的系统，适合调度存储资源分配（集中式存储）。相似基线系统瓶颈分析。（宿主机资源竞争分析）系统画像数据选择

5、与处理选择哪些特征？CPU，执行时间，内存读写量，磁盘读写量，数据传输量，TPS等如何处理原始特征数据？分时段？均值？方差？分位数？维度分值和标签选择聚类算法DBSCAN，K-Means比较打分计算依据白天，黑夜，全时段繁忙程度，给性能指标打分归一化计算总体得分标签化依据分类设置标签相似系统计算相似度计算查找运行特征曲线相近的系统距离计算查找性能数据相近的系统系统画像当前状态：当前状态：XX数据库6个维度11个关键指标，计算24小时分段性能特征。计算性能总分值。通过画像得分和画像标签了解DB2数据库当前运行状态。发现性能分值变化情况，深度分析变化原因。实现性能分值变化提醒。制作数据库各类标

6、签。加入数据库巡检报告。计算和展示相似系统信息和最反差系统信息。可推广性：可推广性：推广至其他软硬件产品，操作系统等。例如建立OS画像，应用系统画像等。运用画像实现智能运维管理，动态资源调配等。容量预测容量预测需求：解决空间类容量的预测需求，先一步解决容量问题，避免出现容量事故。实现性能容量类预测目标，适用于资源预测告警，资源调度等运维场景。总体算法思路：自主研发时序预测算法，分解数据的整体偏移性，周期性，趋势性和误差，从而实现稳定可靠的时序预测功能。（现有的算法验证效果较差，需要综合各类算法的思想自研。）稀疏点与密集点需要采用不同的预测模型，需要兼顾预测准确性和训练预测性能。容量报告和告警：

7、提升系统容量报告信息量，提供预测内容供参考分析。实现容量类预测告警，提前发现容量瓶颈。容量预测整体偏移性，周期性，趋势性和误差容量预测日志检测业务发现问题业务发现问题分析问题原因分析问题原因寻求官方支持寻求官方支持收集问题信息收集问题信息应用官方补丁应用官方补丁业务响应慢响应率告警寻找问题源头，例如数据库堵住.使用运维工具分析，查看日志给官方开case根据官方要求收集数据，日志官方确认问题并提供解决方案日志检测1、被动分析问题问题发生后分析过程持续几小时，开case沟通和解决的过程需要数日。2、主动发现问题自动识别关键问题，化被动为为主动，提高问题解决效率，降低人为分析成本。日志检测建立产品问

8、题库：包括通过爬虫获取官网问题和自建问题。建立产品日志白名单库：对于检测出来的无效问题，加入白名单，减少无效告警。日志实时检测：实时告警，展示命中的已知问题。问题库搜索：根据贴入的关键字或者日志查找最可能遇到的问题。日志检测总体算法思路：基于机器学习自然语言处理的能力，将文本处理成向量，然后基于文本相似度来计算是否命中已知问题。当前困难与解决思路：问题1：日志片段计算出来的词向量过少思路：通过命中词多少或者向量总和大小设限，过滤日志。问题2：日志命中非关联问题。思路：主要原因是问题库中的问题特征可能包含很多日志片段，当前日志命中的是非关键片段，导致误报。一种方法是健全白名单库，将非关键片段放入

9、白名单。另外一种方法是健全问题特征，将关键片段标注为问题特征。问题3：日志命中非关键问题。思路：部分问题是可忽略的，不需要告警。这部分问题可标注为白名单。问题4：新问题不断产生，模型滞后。思路：定期爬取新问题和定期重新训练更新模型。日志检测日志检测一些想法：一些想法：自建问题库的价值更高，需要促进DBA们努力。连续的日志更容易精确反应问题，可以尝试对连续日志的分析检测。当前流行的转换日志文本为日志模板，再通过计算频率转化为数值分析问题模式，可以参考和研究是否具备可行性和可用性。民生银行数据库智能运维实践民生银行数据库智能运维实践2.02.0懂AIOPS的DBA101010经验运维经验运维装机，变更监控，应急巡检，调优工具运维工具运维建造各种运维工具实现监控管理等工作需求自动化变更发布应急，调优智运运维智运运维都智能运维了，都AI了，还要DBA干什么？要做个懂AI的DBA为AIOPS整理提供数据在AIOPS中建立智能场景从AIOPS中获取知识AIOPS让DBA的经验和能力更上一层楼人力人力自动化自动化智能化智能化懂AIOPS的DBADBA复盘和优化依据数据做决策分析模型结果创造智能模型准备数据AIOPS自动驾驶故障自愈辅助决策给出结论分析数据Thank You!Thank You!

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（民生银行数据库智能运维的实现场景与实践.pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

民生银行数据库智能运维的实现场景与实践.pdf

民生银行数据库智能运维的实现场景与实践.pdf