1、PostgreSQL的可观测性能力白鳝2024.03一个好的数据库要有哪些优点稳定 不宕机 不出错 少卡顿高效 大负载 高性能 多场景易用 易安装 易管理 易运维除此之外，还需要看得见、摸得着可观测性最初指的是一种管理策略。将最相关、最重要和最核心的问题提供给运维人员，并将关键信息与常规信息分离。可观察性是控制理论中的一个要素，它说 IT 系统的内部状态可以从它们的输入和输出之间的关系中推断出来。因此，它也经常被描述为自上而下的评估。可观察性的挑战不在于从观察中得出内部状态，而在于收集正确的观察。“可观测性”最初在分布式系统中被提出，目前已经被延伸到各个领域。可观测性日志告警指标体系全面跟踪用

2、户体验指标难以标记和排序，并且难以用于故障排除；对日志进行排序和汇总以得出有意义的结论或关系可能具有挑战性；跟踪会产生大量不必要的数据；用户体验可能不够准确。可观测性VS监控监控 对预知的场景采集数据并设置仪表盘；依赖于已知知识的提前假设；过多的告警可能会淹没运维工作；比较容易发现唯一性问题，无法定位根因；可观测性 更注重于问题分析；即可供提前假设性的问题分析，也可以用于未知问题分析；尽可能收敛告警，将多种告警因素归类于某个问题；可以用于复杂的场景下的问题定位。可观测性能力的作用 建立操作任务与威胁用户体验的问题之间的关联；正确应用可观察性可以提高IT系统的可用性和性能；改善用户体验 通过加快

3、故障处置的速度和提前预警故障来降低系统故障带来的运营成本增加；通过减少不相关或冗余信息的数量并优先通知关键事件来实现的运维成本的降低；这种降本增效在需要大型运营团队的大型企业运营中最为明显；降低运营成本 有助于IT基础设施总体规划和运维工具选择；通过识别可以通过更改配置、应用程序设计和资源管理来纠正的系统漏洞，实现可用性与性能提升。提升可用性和性能管理PG的可观测性能力配置信息运行状态数据对象统计数据运行指标等待事件活跃会话历史*TOPSQL*诊断跟踪日志信息数据库可观测性监控预警系统日检状态巡检月度巡检健康度分析SQL审计安全审计容量管理根因溯源性能优化高可用切换*部分生态产品具备，或通过插

4、件获得全面的可观测性数据与运维场景场景全面可观测性原因监控数据库是否存活否仅需要采集数据库状态信息基线预警否仅需要采集需要预警的指标，无需分析根因慢SQL采集与优化否仅需要采集与分析慢日志，并使用Explain去做TRACE数据库巡检是需要全面分析数据库状态，需要大量的历史数据而不是某个快照的状态信息根因分析是不仅需要全面的当前数据，还需要故障发生前某个时间段的历史数据，甚至需要通过历史数据的 比对才能发现异常数据库优化是需要通过全面的分析找到系统中存在的主要问题点，并选择重要的因素进行优化容量预测是需要通过全面的负载、性能、容量变化的历史信息，才能获得较为准确的容量预测关键SQL跟踪与变化预

5、警是需要跟踪SQL的变化，通过系统状态的变化状态进行辅助分析数据库故障预警是需要采集与分析较为全面的数据库指标，才能较大范围覆盖数据库故障类型，并能提供较强的故障预警与分析能力不同的运维场景与运维需求对可观测性能力的使用需求是不同的。最简单的监控不需要特别复杂的指标与数据，对于数据库的可观测性接口的使用也是与自己的运维需求决定的。PG可观测接口概述OS信息system_stats插件基础运行状态PG_STAT_*等/PG_*等待事件pg_stat_activityTOP_SQL慢SQL日志插件pg_stat_statements/pg_stat_monitorASHpgsentinel/pgs

6、ampler插件openGauss:ASP:GS_ASP/DBE_PERF.LOCAL_ACTIVE_SESSIONAWRpg_profile插件PG_*/PG_STAT*PG_SETTINGS/PG_FILE_SETTINGS：配置参数PG_CONTROL_CHECKPOINT/PG_CONTROL_SYSTEM：基本信息PG_EXTENSION:插件pg_database/pg_user/pg_tablespace：数据库信息pg_stat_replication/pg_stat_replication_slots：复制pg_current_wal_lsn/pg_current_xlog_

7、location/pg_control_checkpoint/pg_stat_bgwriter:：bgwriter、checkpointer、WALpg_stat_archiver：归档pg_stat_activity：并发、会话pg_stat_io：显示群集范围的 I/O 统计信息，对于分析数据库IO问题十分有效，可以定期采集SNAPpg_stat_all_tables/pg_stat_all_indexes/pg_statio_all_tables/pg_statio_all_indexes：数据库表和索引IO详细情况pg_prepared_xacts：两阶段提交pg_stat_repli

8、cation_slotsASH:pgsentinel 提供类似ORACLE ASH的数据，用于细粒度分析 在内存中建立一个环形缓冲区用于存储pg_stat_activity的快照数据 支持PostgreSQL 9.6+可以和pg_stat_statements联合使用 重要参数 pgsentinel_ash.sampling_period：采样周期，默认1秒 pgsentinel_ash.max_entries：存储记录数，默认1000 pgsentinel_pgssh.max_entries：pg_stat_statements中的采样记录数，默认1000WAIT EVENT 基本接口：pg

9、_stat_activity 为AWR提供丰富的数据 性能分析、故障根因分析等的重要数据 存在问题：缺乏等待时长，平均时间等 国产数据库Polardb-pg，KingbaseES、openGauss等在这方面做了扩展AWR:pg_profile标准化指标体系建设指标标准也是一种运维知识，运维专家对运维对象指标体系的分解，构建了足以进行全面分析的标准化指标体系。运维对象梳理要点管理类对象关系运维要点关键操作命令配置类配置文件核心参数技术类指标类日志指标的知识指标包含丰富的运维经验与专家知识，必须经过知识梳理才能发挥更大的作用，积累指标相关的知识，并不断的从历史故障案例中梳理出新的知识，并不断积累

10、下来十分关键。和DBAIOPS社区中会不定期发布相关知识。PG指标体系开源知识下载地址PG知识库文件下载地址为：https:/ contention内存不足CPU资源不足DOUBLE BUFFER引发SHARED BUFFERS命中率异常IO延时异常事件中心触发故障模型告警自动诊断状态分析报告完成基础能力构建后，需要针对常见场景进行梳理与建模，以“SQL运行时间毛刺”场景为例，通过专家经验与运维案例完成常见场景的数学模型构建，实现自动化发现与预警，自动化诊断等。随着此类场景的不断积累，为企业积累大量的运维知识财富。有用的日志日志配置logging_collector:当设置为on时，启用日志收

11、集器。log_destination:三种输出方法，stderr,csvlog,syslog。log_directory:指定日志文件的存储目录。log_filename:设置日志文件的命名方式，如postgresql-%Y-%m-%d_%H%M%S.log。log_truncate_on_rotation:轮转时是否清空相同名称的文件。log_rotation_age:定义单个日志文件的最长生命周期，单位为分钟。log_rotation_size:设置单个日志文件的最大尺寸，单位为KB。log_min_messages:控制日志记录的消息级别。log_min_error_statement:

12、控制哪些导致错误情况的 SQL 语句被记录在服务器日志中。记录慢SQLlog_min_duration_statement:这个参数用于设置执行时间阈值，单位是毫秒。log_statement:这个参数用于控制哪些类型的语句会被记录。log_statement_stats:是否记录SQL语句的详细性能统计信息。TRACE-AUTO EXPLAINAuto explain是跟踪慢查询详细信息的有效方法不建议在生产环境中长期打开，只是在需要分析问题时临时打开，这是TRACE和LOG的最大不同设置：auto_explain.log_min_duration:设置一个阈值（以毫秒为单位），只有执行时间超过这个阈值的语句才会记录它们的执行计划。auto_explain.log_analyze:当设置为on时，会包含实际执行的统计信息。auto_explain.log_buffers:当设置为on时，会包括缓冲区使用的信息。auto_explain.log_timing:当设置为on时，会包括实际启动时间以及在每个结点中花掉的时间。auto_explain.log_format:指定输出格式，可以是TEXT、XML、JSON或者YAML。谢谢聆听