1、ENVI深度学习模块应用与开发主要内容正式发布工具和参数应用案例精度分析开发技术与 ENVI Modeler与 ENVI Services EngineENVIDeepLearningENVI Deep Learning 正式发布ENVI Deep Learning 介绍 Harris（ENVI原厂商）拥有多年深度学习解决方案的实施经验。基于 TensorFlow 框架开发的遥感图像分类和目标识别工具。算法成熟，界面友好，操作便捷。引导式深入学习工作流程跨行业的专家解决方案4月18日V1.0 正式发布ENVI Deep Learning 特点与传统图像处理算法相比，ENVI基于光谱和空间的深度

2、学习可以更好地解决复杂问题。用户完全可以在ENVI中完成深度学习应用，无需额外编程。ENVI提供对数据、图像、矢量等文件的完善支持，有助于完成高级深度学习分析。ENVI深入学习工作流程使用户可以花费更多时间用于分析结果，而不是编程和配置各种库。ENVI Deep Learning 使用创建样本创建模型训练模型图像分类Built on TensorFlowTensorFlow众包的建筑物标签利用 ENVI Deep Learning发现新增建筑ENVI Deep Learning 工具和参数模块安装 需要单独安装：envideeplearningXX-win.exeenvideeplearnin

3、gXX-linux.tar.gz 支持 Windows、Linux 操作系统自助申请试用： Learning/Deep Learning Guide Map训练新的模型利用已训练模型进行目标提取重新训练模型 工具菜单：查看模型元数据信息自动检测硬件信息（GPU）CUDA-enabled GPU cardshttps:/ Build Label Raster from ROI利用 ROI 创建标签图像 Build Label Raster from Classification利用 ROI 创建标签图像 Train TensorFlow Mask Model模型训练 TensorFlow Mas

4、k Classification目标提取模型参数模型初始化参数 Patch Size：切片大小此值与GPU显存有关值越大，效率越高，对显存要求越高切片大小不能大于标签图像行列数 Number of Bands：波段个数支持多波段数据模型参数模型训练参数 Number of Epochs：周期数，建议在 16 到 32 之间 Number of Patches per Epoch：每个周期训练的切片数 此值一般在 200 到 1000 之间 训练数据集数量越少，设置此值越小 Number of Patches per Batch：一次迭代使用的切片数 Batch 是指一次迭代使用的一组切片 如果

5、为空，ENVI 将自动确定合适的值 Patch Sampling Rate：切片采样比率 当特征稀疏时，增加该值可能会有所帮助 对于较小的切片大小，增加此参数模型参数模型训练参数 Solid Distance：固定距离（单位像素）对于宽度一致的线性特征（如道路、道路中心线和运输集装箱）或尺寸一致的紧凑型特征（汽车和停车标志），建议定义该参数。Blur Distance：模糊距离（单位像素）深度学习算法很难学习诸如建筑物等特征的锐利边缘。模糊边缘，并在训练过程中减少模糊距离可以帮助模型逐渐聚焦于特征。模糊距离最大值必须小于70。模型参数模型训练参数 Class Weight一般来说，为稀疏训练集

6、设置最大值。最大值有效范围在 0.0 和 6.0 之间。Loss Weight参数可用于偏差损失函数（bias the loss function），以更加注重正确识别特征像素，而不是识别背景像素。此参数在特征目标稀疏分布或者没有标记所有特征时很有用。值为0表示模型应同等对待特征和背景像素。增加Loss Weight参数会使损失函数偏向于寻找特征像素。此参数值的有效范围在 0 到 3.0 之间。ENVI Deep Learning 应用案例主要内容建筑物蔬菜大棚人造地物倒塌建筑物特殊符号数据源预处理样本训练结果效率精度卫片建筑物提取基本信息 数据源：3 景 SuperView-1 影像全色分辨

7、率 0.5 米，多光谱分辨率 2.0 米 预处理：正射校正 图像融合 图像镶嵌中国国产卫星支持工具批量正射校正工具批量图像融合工具（GS算法）Raster Mosaic Fast 快速拼接工具 数据量：镶嵌结果 24.2 GB有效覆盖面积 520 平方公里卫片建筑物提取样本选择 图像裁剪卫片建筑物提取样本选择 样本来源：OpenStreetMap+手绘矢量OpenStreetMap File Open World Data Download OpenStreetMap Vectors黄色为下载矢量：259条绿色为手绘矢量：557条卫片建筑物提取创建标签图像 可以由 ROI 或 分类图像 创建标

8、签图像/Deep Learning/Build Label Raster from Classification/Deep Learning/Build Label Raster from ROI 所以需要将矢量转换为ROI，方法如右图：卫片建筑物提取训练模型 Train TensorFlow Mask M卫片建筑物提取目标提取/Deep Learning/TensorFlow Mask Classification提取结果为灰度图像，叫做 Class Activation Image/Map像元值越大，表示属于目标的概率越大 结果后处理：密度分割 或Class Activation to C

9、lassification/Pixel ROI/Polygon ROI卫片建筑物提取结果展示卫片建筑物提取效率对比笔记本DELL 7520ThinkPad T440p硬件配置CPUi7-7700HQi7-4710MQ内存64GB16GB硬盘SSDSSD显卡NVIDIA Quadro M22004GB渣，不重要，纯CPU运算效率对比模型训练 3小时17小时目标提取 1小时50分钟16小时进度只到2/3，放弃航片建筑物提取基本信息 数据源：无人机DOM成果 范围：四川省成都市某豪华别墅区 数据量：1.42GB航片建筑物提取样本选择航片建筑物提取结果展示 模型训练参数全部默认航片建筑物提取效率设备硬

10、件配置CPUIntel(R)Core(TM)i7-7820HQ内存32GB硬盘NVMe Samsung SSD 960显卡NVIDIA Quadro M2200，4GB耗时情况模型训练3小时目标提取40分钟蔬菜大棚提取基本信息 数据源：高分一号融合结果，空间分辨率为2米 波段数：3个，红绿蓝 数据量：3GB 覆盖范围：山东省寿光市蔬菜大棚提取训练样本 训练样本共786个。裁减结果图像行列数：1392*蔬菜大棚提取训练模型 Solid Distance：5 Blur Distance：1，蔬菜大棚提取效率对比笔记本DELL 7520ThinkPad T440p硬件配置CPUi7-7700HQi7

11、-4710MQ内存64GB16GB硬盘SSDSSD显卡NVIDIA Quadro M22004GB渣，不重要，纯CPU运算效率对比模型训练 1小时50分钟16小时目标提取 30分钟10小时人造地物提取数据情况 从USGS（https:/earthexplorer.usgs.gov）下载了16幅相邻的国家农业图像计划（National Agriculture Imagery Program，NAIP）图像。这些是2016年10月拍摄的德克萨斯州圣安东尼奥北部一个地区的1米分辨率4波段图像。提取所有表明人类发展的地物类型包含道路、建筑物和其他特征Jason Wolfe from H人造地物提取样本

12、选择 蓝色/近红外波段比值图像 5%线性拉伸 ROI工具提取DN值大于200的区域 输出为分类图像 手动编辑分类图像（删除错提，增加漏提）Jason Wolfe from Harris样本选择整个过程只花了大约2020分钟分钟。此外，它还有另一个好处，那就是定义了目标形状特征目标形状特征，而不仅仅是标记目标位置。人造地物提取结果展示8GB的显卡，训练耗时30分钟，目标提取耗时几分钟Jason Wolfe from H倒塌建筑物提取 2010年海地地震 灾后倒塌建筑物提取标记样本栅格结果矢量结果训练参数寻找特定符号寻找特定符号标记样本寻找特定符号结果展示ENVI Deep Learning 精度

13、分析精度分析 Loss:一个无量纲数值。用于表示模型与验证训练数据的匹配程度。0表示完全匹配。值越大，匹配越不准确。Precision:也被称为用户精度（user accuracy）。表示正确分类的像元数占分类结果该类别像元数的比例。Recall:也被称为生产者精度（producer accuracy）。表示正确分类的像元数占该类别实际像元数的比例。F1:是 Precision 和 Recall 的调和平均值，计算公式如下：精度可视化ENVI Deep Learning 开发技术APIsENVI Deep Learning 与 ENVI M自带示例（随机生成训练参数）我的尝试全要素分类 GF1

14、 WFV 16米 北京市 1.06GB林地建筑用地水体耕地休耕地裸地灵活的训练样本选择方法 林地：NDVI ROI工具提取大于0.4 输出分类结果 裸地：NDVI ROI工具提取小于0.2 输出分类结果 手动编辑去除建筑物 水体：NDWI ROI工具提取大于0.2 输出分类结果 手动编辑去掉阴影，增加河流等水体 建筑物：NDVI 灵活的训练样本选择方法 休耕地ENVI Modeler批量创建标签图像 重要提示：密度分割输出分类图像为uint，需要转换为byte，才能用于创建标签图像（下图中红框节点做了如上处理）。坑 ROI工具导出的分类图为byte类型，建议使用此工具。批量训练模型并全要素分类

15、 为了完成右侧流程，编写了两个ENVITaskENVIRaster to Label Raster 标签图像：将普通的 ENVIRaster 转换为 LabelRaster 才能用于训练，坑Classify Rule Raster 将每个类别 CAM 图像波段组合，对其进行规则分类 将像素归类为 CAM 图像中概率最大的类别总结样本选择方法 手绘ROI/矢量 点、线、面 下载 OpenStreetMap 矢量 手动编辑 光谱指数（NDVI、SAVI、NDWI等）阈值提取 手动编辑分类图 二维散点图 输出分类图 手动编辑 其他工具：Adaptive Coherence Estimator、Mat

16、ched Filter、Principal Component Analysis、Dimensionality ExpansionENVI Deep Learning 与 ENVI Services EENVI Services Engine 技术特点 采用 node.js 和 redis 内存数据库技术 基于 SOA、模块化架构ENVI Service EngineIDL Service EngineSARscape Service EngineDeep Learning Service Engine（正式发布）Photogrammetry Engine（未来）OpenAI Engine（未

17、来）灵活和动态的空间配置分布式共享式云 弹性伸缩集群环境中可以根据需求动态添加和删除节点Geospatial ServicesGeospatial ServicesFrameworkFrameworkRequest HandlerParameter MapperJob ManagerEnginesWorkspace ManagerRoute M深度学习服务开发总结V1.0 正式发布基于 TensorFlow 框架，支持多光谱提取建筑物、蔬菜大棚、特殊符号等灵活的训练样本选择方法提供完善的开发接口与 ENVI Modeler 结合并行运行在 GPU 服务器中ENVIDeepLearning谢谢！