1、农业污染源普查数据质量控制方法与空间规则实践农业污染源普查数据质量控制方法与空间规则实践农业农村部环境保护科研监测所农业农村部环境保护科研监测所科技、创新科技、创新目目录录01农业污染源普查简介02质控工作总体概述03填报与审核阶段质控04入库阶段质控05总结PART 01农业污染源普查简介农业污染源普查简介农业污染源普查简介农业污染源普查简介1农业污染源普查内容：普查标准时点：2017年12月31日五大专业：种植业、畜禽养殖业、水产养殖业、秸秆、地膜内容：生产活动水平调查、原位监测、相关成果分析四级管理：部、省、市、区县全国的普查员：部、省、市、县四级：调查员、审核员承担调查任务的普查县：种

2、植业2886个、畜禽1746个、秸秆121个、地膜321个、水产100个参与人员：54791位生产活动水平调查：2018年9月2018年7月15日原位监测调查：2018年5月 2019年9月31日普查工作时限：五个专业、覆盖全国、两类调查全流程、全要素、可追溯PART 02质控工作总体概述质控工作总体概述质控工作总体概述质控工作总体概述2原始数据省质控数据结果库填报阶段审核阶段入库阶段农业污染源普查流程填报阶段质控审核阶段质控入库阶段质控PART 03填填报与审核阶段质控报与审核阶段质控填填报阶段质控报阶段质控全全过程留痕过程留痕3填报环节全过程痕迹追溯空间信息位置留痕APP直接获取填报时位置

3、GPS位置，不允许修改，并且将信息直接以水印的形式标识在现场的照片上（系统也将储存）。填填报阶段质控报阶段质控机械校机械校验验3机械校验通过采集端内置的字典表，以及专业规则进行强制校验2017年行政区划代码、统一填写表头（省、市、县）数据字典表种植业、秸秆、地膜水产、畜禽字典表数据专业规范内置共计20余条专业校验规范，根据专业规则对填写的数据进行数据规范校验不通过，不允许提交审核阶段质控审核阶段质控空空间校验间校验3空间校验通过可视化手段，将坐标落在县域内，用于快速定位偏移数据。审核阶段质控审核阶段质控可可视化校验视化校验3可视化校验通过数据规律，利用可视化的方法，对数据进行横向校验。聚类分析

4、直方图散点图从数据离散性上发现异常可用于发现单位填写错误的异常从数据的规律上发现异常审核阶段质控审核阶段质控3审核阶段质控专题专题退回数量退回数量退回数量占比退回数量占比畜禽67601条98.89%地膜13728条36.39%秸秆581条3.98%水产1586条5.34%种植业121432条37.30%4-6月各专业退回数量PART 04入入库阶段质控库阶段质控补充校验补充校验通过异常值检测算法，从统计学角度去发现异常数据利用gis的手段，将数据制图，从图中发现潜藏的数据问题通过新的规则和阈值范围，对各专业数据进行补充校验算法算法检测检测竞争型神经网络+GIS制制图分析图分析入入库阶段质控库阶

5、段质控方法介方法介绍绍竞争型神经网络与GIS相结合，通过空间分布规律寻找异常数据443准则又称为拉依达准则，它是先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。1、仅局限于对正态或近似正态分布的样本数据处理；2、对异常值的耐抗性小，异常数据本身会对其造成影响；3、为保证检测结果的准确性，数据量必须充足。系统异常值算法介绍-3原则数据分布区间数值分布在(-,+)中的概率为0.6827数值分布在(-2,+2)中的概率为0.9545数值分布在(-3,+3)中的概率为0.9973

6、-（平均数）、（标准差）适用范围及局限算法算法检测检测检测方法介绍检测方法介绍4箱形图(英文:Box plot)，是一种用作显示一组数据分散情况资料的统计图。因型状如箱子而得名，常见于品质管理。其最大的优点就是不受异常值的影响，可以以一种相对稳定的方式描述数据的离散分布情况。1、四分位对仅用于显示数据位置，对异常数据耐抗性高2、多达25%的数据可以变得任意远而不会很大地扰动四分位数3、为保证检测结果的准确性，数据量不能太小4、在异常值方面具有一定的优越性系统异常值算法介绍-箱形图绘制步骤及数据分布区间1、找出一组数据的中位数和上下四分位数(Q3和Q1)2、连接两个四分位数画出箱子，并计算四分位

7、距IQR=Q3-Q13、计算上下界：内限（Q3+1.5IQR，Q1-1.5IQR）-外限（Q3+3IQR，Q1-3IQR）总结与适用范围算法算法检测检测检测方法介绍检测方法介绍4以空间中k个点为形心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各簇的形心的值，直至得到最好的聚类结果1、以簇的形式进行区分，对异常数据耐抗性较高2、如果异常值单独成簇，则该方法效果不理想3、为保证检测结果的准确性，数据量不能太小系统异常值算法介绍-kmeans绘制步骤及数据分布区间1、选取若干个数作为初始中心点。2、在第k次迭代中，对任意一个样本，求其到c个形心的欧氏距离，将该样本归类到距离最小的形心所

8、在的簇。3、利用均值等方法更新该簇的形心值，直到当形心更新稳定或误差平方和最小时，则迭代结束。4、利用欧式距离计算离群点。总结与适用范围算法算法检测检测检测方法介绍检测方法介绍竞争型神经网络竞争型神经网络+GIS方法介方法介绍绍4竞争型神经网络与GIS相结合竞争性神经网络学习，聚类缓冲区分析将聚类点落在地图上，并获取每个点位周围点位的情况。计算异常数据将每个缓冲区内，中心点与周围点进行对比。如果与周围点均不相同，则可能为异常数据。结合空间分布规律寻找异常。4检测专业秸秆，分品种使用竞争性神经网络对数据进行聚类，通过缓冲区分析法，计算每个类别在缓冲区内所占比例，获取异常值。播种面积、单产、机械收

9、获面积、人工收获面积将字段在神经元内进行学习，聚类聚类投入字段异常判定条件选定缓冲区内，同类别点比例小于40%，算为异常1千米缓冲区范围选定竞争型神经网络竞争型神经网络+GIS方法介方法介绍绍4播种面积、单产、机械收获面积、人工收获面积投入字段竞争型神经网络竞争型神经网络+GIS方法介方法介绍绍4聚类将字段在神经元内进行学习，聚类玉米单产聚类结果图竞争型神经网络竞争型神经网络+GIS方法介方法介绍绍4缓冲区分析+异常判断对每一个数据点绘制1KM的缓冲区，并将每个缓冲区内，同类型点比例小于40%，算为异常。玉米单产聚类结果图异常值竞争型神经网络竞争型神经网络+GIS方法介方法介绍绍4异常检测成果

10、展示作物作物总数总数异常数异常数比例比例玉米872399511.4%早稻123231725.7%中稻和一季晚稻509390917.8%大豆145315110.3%小麦43872455.5%竞争型神经网络竞争型神经网络+GIS成果展示成果展示制制图分析图分析跨省跨省邻县分析邻县分析4跨省邻县分析对具有相似地理条件和生产模式的不同省邻近县，进行比较，分析具体数据的合理性。绘制方法1、寻找相邻区县a.在中国地图中，找到省界。b.在省界上绘制一千米的缓冲区。c.对省界与县界进行缓冲区分析，找出邻省的县。d.对邻省县靠省一面继续做缓冲区分析，找出其相邻的不同省的区县。2、计算指标平均值求出相邻区县数据指

11、标的平均值，并将其输出为excel或绘制在地图上。制制图分析图分析专业图分析专业图分析4专业图分析以专业的角度制图，从专业规律上发现数据变化或潜在的异常。散点图空间插值图行政区划图饼状图/柱状图能根据已采集的区域样本值，模拟出未采集的区域情况，能很好的展示数据的区域分布规律准确，能准确反应每个数据点的绘制指标，使用者也能根据颜色，对数据的分布情况有大致的了解。能很好的展示行政区的统计数据（或平均数据），适用于行政区之间的数据统计与对比展示能很好地将不同指标的对比情况进行展示，叠加地图，能让人在了解省内数据对比情况下，也能查看各省间的对比情况。入入库阶段质控库阶段质控4小麦 单产 空间插值图（反距离权重法）小麦 单产 行政区划图（地市级）小麦 人工、机械收获留茬高度对比图年地膜使用回收对比图PART 05总总结结填填报阶段报阶段审核阶段审核阶段入入库阶段库阶段空间信息位置留痕+机械校验空间校验+可视化校验补充校验+算法校验+空间分析+制图分析总结总结全流程质控全流程质控空间信息技术支撑空间信息技术支撑空间信息技术为数据质控提供了强有力的支撑5农业农村部农业农村部环境环境保保护科研监测所护科研监测所科技、科技、创新创新感感谢您的耐心聆听谢您的耐心聆听 THANKS