1、,人工智能图像识别助力输电线路智能运检,2019年10月,传统巡检图像缺陷检测技术,基于R-FCN的航拍巡检图像目标检测方法,最新成果,人工智能（Artificial Intelligence,简称AI）作为一门前沿交叉学科，不同角度出发有不同的定义：,3,人工智能定义,2006年是以深度学习为代表的新一代人工智能的开端，2012年开始在各领域大放异彩，2016-2017年，AlphaGo战胜围棋世界冠军彻底引爆AI应用热潮。2017年7月8日，国务院发布新一代人工智能发展规划：服务经济社会发展和支撑国家安全，带动国家竞争力整体跃升和跨越式发展。,达特茅斯会议创立人工智能概念,人工智能发展低谷

2、资助拨款减少运算能力受限,IBM的深蓝在国际象棋比赛中击败卡斯帕罗夫,Hinton在Science上发表的论文标志着以深度学习为代表的新一代人工智能的开端,Hinton 凭借深度学习系统在ImageNet 比赛中获胜,麻省理工学院(MIT)人工智能中心成立深度学习被MIT Technology Review评为2013年世界十大技术之首谷歌发布基于深度学习的视觉搜索引擎,谷歌以6.60亿美元收购Deep Mind,Deep Mind开发的 Alpha Go 在围棋比赛中战胜人类,1997,1956,1970,2006,2012,2013,2014,20162017,深度学习使得人工智能技术大幅

3、成熟,1980年代,1990年代,2000年代,2010年代,SUFT,SURF,LBP,HOG,支持向量机,Boosting,Bagging,深度学习，迁移学习，强化学习,BP,RBF,Hopfield神经网络,4,背景,2017年，AlphaGo Zero：不借助人类棋谱从0训练8个小时击败AlphaGo，用4个小时的训练击败了顶级的国际象棋引擎Stockfish，用2个小时的训练击败日本传统棋类项目将棋的Elmo引擎。2018、2019年，波士顿动力Atlas：高台跑酷如履平地。,5,典型事件,机器学习,知识图谱,自然语言处理,人机交互,计算机视觉,生物特征识别,虚拟现实/增强现实,人工

4、智能关键技术,6,关键技术,一门涉及诸多领域的交叉学科，研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。即从观测数据出发寻找规律，对未来数据或无法观测的数据进行预测。通过经验数据获取知识，改进算法性能。,7,关键技术机器学习,机器学习-有监督学习,学习样本,人工标注,手风琴,船锚,吊扇,分类算法训练,得到分类模型,分类预测算法,手风琴：概率 0.02船锚：概率0.03吊扇：概率0.95,8,有监督学习是利用已标记的有限训练数据集，通过某种学习策略/方法建立一 个模型，实现对新数据/实例的标记（分类）/映射，最典型的监督学习算法包括回归

5、和分类。,关键技术机器学习,9,机器学习-无监督学习,无监督学习是利用无标记的有限数据描述隐藏在未标记数据中的结构/规律，最典型的非监督学习算法包括单类密度估计、单类数据降维、聚类等。k均值聚类执行过程：初始n个聚类中心随机选取，按照距离中心远近将点集分成n类，每类取均值更新聚类中心，如此下去最终收敛，如下图所示：,关键技术机器学习,10,机器学习-半监督学习,半监督学习是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。,关键技术机器学习,11,关键技术机器学习,机器学习-迁移学习,迁移学习就是把为任务 A 开发的模型作为初始

6、点，重新使用在为任务 B 开发模型的过程中。在深度学习中预训练的模型在开发的时候已经消耗了巨大的时间资源和计算资源，迁移学习可以将已习得的强大技能迁移到相关的的问题上。,其他动作,赏肉吃,惩罚,反复强化训练,12,关键技术机器学习,机器学习-强化学习,强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。,问题编码,初始化种群,评估种群中个体适应度,演化,遗传算法过程,13,关键技术机器学习,机器学习-演化学习,演化学习基于演化算法提供的优化工具设计机器学习算法，通常具有公共的算法结构：1.产生初始解集合，并计算解的目标函数

7、值；2.使用启发式算子从解集合产生一批新解，并计算目标函数值，并加入解集合；3.根据启发式评价准则，将解集合中较差的一部分解删除；4.重复第二步，直到设定的停止准则满足；5.输出解集合中最优的解。典型的演化算法包括遗传算法、蚁群算法、粒子群算法等等。,超分辨率 增加图片清晰度,智慧安防,图像分割,14,关键技术计算机视觉,计算机视觉,使用计算机模仿人类视觉系统的科学：计算成像学、图像理解、三维视觉、动态视觉、视频编解码,通过个体生理特征或行为特征对个体身份进行识别认证的技术：包括：指纹识别、人脸识别、虹膜识别、指静脉识别、声纹识别、步态识别,指纹识别,虹膜识别,指静脉识别,15,关键技术生物特

8、征识别,生物特征识别,传统巡检图像缺陷检测技术,基于R-FCN的航拍巡检图像目标检测方法,最新成果,传统技术,传统图像处理技术在完成输电线路航拍巡检图像识别过程中，大致将任务分为三个子任务：特征提取、目标定位、故障分类，其中特征提取是重点。,缺点：只能针对单一种类目标复杂场景中识别精度低无法实现GPU等硬件的端到端加速，耗时较长,传统巡检图像缺陷检测技术,基于NSCT特征提取,形态学滤波,基于绝缘子形态的特征筛选,传统巡检图像缺陷检测技术,基于OTSU的图像二值化,边缘提取,椭圆短轴长度统计,传统巡检图像缺陷检测技术,传统巡检图像缺陷检测技术,基于R-FCN的航拍巡检图像目标检测方法,最新成果

9、,基于R-FCN的航拍巡检图像目标检测方法,图像分类卷积神经网络（CNN）：特征提取、分类“是什么”,底层特征,中层特征,高层特征,训练分类器,深度神经网络,基于R-FCN的航拍巡检图像目标检测方法,目标检测特征提取、区域建议、分类和定位“是什么+在哪里”,基于R-FCN的航拍巡检图像目标检测方法,YOLO目标检测原理,基于R-FCN的航拍巡检图像目标检测方法,基于R-FCN的航拍巡检图像目标检测方法,基于R-FCN的航拍巡检图像目标检测方法,R-FCN算法，对Faster R-CNN的改进,基于R-FCN的航拍巡检图像目标检测方法,前景,背景,OHEM算法：训练过程中，只使用模型预测结果较差

10、的区域进行学习（ROIPooling层后增加OHEM层）,数据集前景与背景区域数量之比1：59不同区域检测难度不同,基于R-FCN的航拍巡检图像目标检测方法,样本优化算法：将图片缩放为不同尺寸进行训练加倍稀少目标所在图片的学习频次,绝缘子串、防震锤数量占比共计46%放电间隙松动、防震锤损坏、地线金具倾斜三类占比合计8.1%绝缘子串、悬垂串导线端金具、均压环目标面积大小差距13到18倍,样本优化,基于R-FCN的航拍巡检图像目标检测方法,基于R-FCN的航拍巡检图像目标检测方法,实验结果,基于R-FCN的航拍巡检图像目标检测方法,基于R-FCN的航拍巡检图像目标检测方法,模型预测示例,基于R-F

11、CN的航拍巡检图像目标检测方法,模型预测示例,基于R-FCN的航拍巡检图像目标检测方法,R-FCN算法目标框更加准确。OHEM、样本优化、Soft-NMS可以有效提高算法精确度(mAP0.5提升达4.86%)适应多种类型及尺度的输电线路航拍巡检目标及故障具有较高的工程应用价值,总结,基于R-FCN的航拍巡检图像目标检测方法,传统巡检图像缺陷检测技术,基于R-FCN的航拍巡检图像目标检测方法,最新成果,最新成果-细粒度缺陷,可变形卷积,对k的卷积网络，每个特征的采样点为 k 2 个，使用CNN生成通道数量为2 k 2 的的特征，预测每个采样点的偏移量优点：对形态多变的特征效果更好缺点：计算速度慢

12、应用难点：替换掉特征提取网络的哪些层,最新成果-可变形卷积,非缺陷,最新成果-异物类缺陷识别,自注意力机制,Faster R-CNN：使用各区域的特征预测各区域的位置和类别自注意力机制：在预测前融合其它区域的特征,最新成果-自注意力机制,最新成果-防震锤滑移,联研院提供能力全面，模型识别准确率高、泛化能力强的模型服务。为用户提供本地化部署，实现和已有系统集成。,最新成果-模型识别类型齐全,联研院人工智能团队在国网运检部安排的“直升机巡检影像人工智能处理验证工作”中，取得总成绩第一；其中：4项第一、2项第二、1项第三、1项第四。行业内外共21支队伍参赛。,最新成果-模型验证优秀,联研院,其他单位

13、1,其他单位2,模型应用覆盖14省40余个地市级单位，测试样本包含电压等级800、500、220、110KV，实施模型评估。结果如下：,最新成果-模型验证优秀,模型预测示例,R-FCN模型,最新的模型,最新成果-模型效果,最新成果-输电线路巡视图像智能分析云服务平台,设备部统一组织，科技部、互联网部支持下，联研院开展AI图像识别技术在输电线路巡视图像智能分析技术攻关基于联研院人工智能实验和服务平台，实现云上部署，面向公司无人机一线班组开放服务。,高性能GPU服务集群,基于AI图像识别的线路本体巡视,实现自动、准确、快速识别无人机拍摄图像的导地线、绝缘子、异物、线夹及均压环、防振锤、细小金具、基

14、础、附属设施缺陷隐患。,最新成果-工程应用,用户：安徽、湖南、山东、福建、四川、浙江6省19个地市级公司。被一线班组广泛关注和好评。,w或pg up键切换上一张s或pg dn 键切换下一张,x或Delete键删除缺陷框,工作模式下，缺陷信息确认后，图标变绿色,针对特定图片，选择模型，执行单张检测,点击此处可多选缺陷，多个误报缺陷被一键删除,自动实现杆塔和图片匹配,多模型并行检测,最新成果-工程应用,集成公司系统外研发单位优秀模型，具备支持多用户、多权限、多任务、多模型、多图像同时处理；支持万张图像批量识别；一次图片上传，批量检测后，单张图片精细检测；缺陷与线路、杆塔自动匹配；人性化缺陷校核支持

15、；报表、报告、缺陷图片下载；自动缺陷统计；自动模型评估。,最新成果-平台亮点,模型精度,运行效率,资源配置,不损失,不降低,不浪费,每个模型服务保持原有精度,每个模型服务保持原有速度多个模型服务同时运行,每个模型服务的计算资源可灵活配置,最新成果-平台亮点,最新成果-平台业务成效,实用实效、基层减负,无人机图像缺陷发现效率可提高3-5倍。平均每周处理无人机巡检图片5000张，确认缺陷数量1000个。主要缺陷识别能力已达到或接近实用化水平。,创新业务生态,直接服务班组。逾越科研创新与一线班组的鸿沟。集成系统内外优秀模型，开放共享、协同创新。,W,国家电网公司电力系统人工智能联合实验室SGAILAB,感谢聆听,