1、大数据可视化在工业企业优化与创新中的应用与发展 2019/10/13目录 1.大数据可视化的概念基础 2.大数据可视化获得成效的两条路径 3.大数据可视化应用的基本概念 4.工业企业大数据可视化的真实案例 5.大数据可视化的应用技巧 6.未来的发展趋势 7.几点思考1.大数据可视化的概念基础启动案例利用大数据思维，将企业的数据增加到大数据。利用传统的、已有的数据，通过大数据可视化应用获得优化与创新。利用新构建的大数据，进行大数据可视化，获得优化与创新。启动案例 90万，这是一个车间因为生产的进出不平衡而被厂部扣罚的奖金数。所谓进出平衡，就是进入车间的毛坯数量，要和出车间产品、废品，以及库存相等

2、。有一片差异，厂部就扣车间30元奖金。车间原先每月都有几千片差异，例如2800、3000，平均2500。车间原先运作模式是班组长每日统计各生产线工票，提交给统计员，统计员每天将这些数据录入系统，到月底进行进出平衡计算。经过查看车间纸面统计表后，建议在班组长使用的工票报表中增加一列，即验证列，要求计算并填写单工票的进出平衡结果。七个月过去，前面车间每月差异只有2030片，其中一个月归零。又过个月，车间每个月差异都为零。5利用大数据思维，将企业的数据增加到大数据 传统的方式已经解决不了问题，那么我们需要增加数据的量、数据的类型、低价值数据。例如提高采样的比例，缩短采样的周期，增加采样数据的类型。例

3、如机床设备状态，以前是采集车间的关键设备，现在是采集全部设备，以前是每天采集一次，现在变成每个小时采集一次。以前采集数据时，只记录了设备本身的数据，现在加上了环境的数据、人员的数据、加工零部件的材料数据等。例如以往产品数据管理系统中只记录了定型产品的数据，而过程数据，例如中间版本，不同的方案都没有记录，现在这些数据也纳入了系统。利用传统的、已有的数据，通过大数据可视化应用获得优化与创新。例如目前企业中的人员掌握了一些基本的数据处理工具，例如EXCEL，但是基于EXCEL 如何进行透视表、透视图的生成，就很少有人掌握。利用新构建的大数据，进行大数据可视化，获得优化与创新。这里和前面所述的差异在于

4、，实现大数据可视化，需要掌握一些理念、方法、工具，拥有一定的资源。在工具方面，针对大数据进行可视化，就必须支持大数据的存储模式。展示设备具备高分辨率。掌握一些大数据可视化的专门工具，尤其是这些工具中与一些业务紧密相关的函数、模块、包等。.2.大数据可视化获得成效的两条路径从业务出发从数据出发从业务出发 对业务对象进行数据化的描述，如果已有业务数据，那么利用已有数据进行数据分析，数据可视化。再在这样基础上进行大数据可视化，以促进问题的理解、分析、判断，提出解决方案。典型的案例，上海某企业偶尔出现发泡料发泡不足问题，不知原因，后来企业为锅炉增加了一套数据采集装置，在又一次出现问题时，分析数据，认为

5、是工人没有及时处理导致，后来与工人谈话，工人承认了值班时睡觉，没有及时处理。在此之后，没有再发生类似问题。从数据出发 这个对于不懂业务的数据分析人员、信息化人员、架构师十分重要，因为不懂业务，所以可以以局外人的眼光来处理数据，从而发现数据中隐藏的问题、规律。针对数据，其实还有一个情况，就是很多时候，业务人员掌握的往往是与自己相关的、短期的数据，而信息化人员可以掌握全面的、长期的数据，因此是具有数据优势的。这里我们介绍一个典型例子，两个同行企业的厂长碰到一起，分享了彼此的报表，一位厂长惊诧于，自己的刀具成本比例明显偏高，回企业后，经过调查分析，发现有员工下班后，带着工厂的刀具去附近企业做加工。而

6、工厂以往针对刀具的管理是针对刀具整体的，例如刀片，拿旧刀片就可以换新刀片。后来工厂增加了刀片工作时间的管控，结果刀具的成本明显下降。3.大数据可视化应用的基本概念数数据 大数据 数据可视化大数据可视化业务结合数 这里的数，我们不仅仅是说数字，而要理解为无数到有数，从有数到数的电子化。典型的，例如ISO9000就要求按纸上的做，做的结果记录到纸上，这里强调的是有没有记录的问题，而我们这里说数，一定是电子化的数 例如笔者曾经做过一套质量管理系统，有一个原因就是企业存在这样的问题，客户提出质量整改意见，结果没执行，原因是口头和一个工人说的，但是工人忘了，又如客户提出的质量整改意见，白班改了，夜班没改

7、，原因是白班忘了把客户意见写进交接记录了。上了质量管理系统后，客户意见一定要输入系统，这样在产品完工检验时，系统会坚持这个产品是否存在有未处理的客户意见，如果没处理，就不能通过，必须处理了才能通过，这样就保证了客户意见一定会被处理。数据 前面说数，后面我们谈数据的据，这个据就是依据、标准、客户技术要求等等，光有数很多时候是不够的，必须还要有相关的作为依据的数。还是介绍一个案例：曾经一个出口的新产品产品，提出设计材料后，分析工程师分析后认为一个构件有问题，结果设计组的组长十分恼火，认为不可能的，因为这么多年过来了，这个构件从来没有出过问题，后来IT部门负责人查看相关材料后跟他说，你以前设计的产品

8、应该都是国内的吧，这次是出口新加坡，新加坡方面给的工况条件，数值比国内的2倍还大。大数据 大数据思维，采集具有统计学意义的小数据，加以分析应用，获得经济收益。这里我们有几个观点：1、企业收集数据，基本上不可能是全量数据，数据的收集也要成本，因此数据的量也有性能价格比的问题。2、数据的关联性，收集数据首先要收集关联数据，而不是非关联数据，这里数据也可以按关联权重来划分，也就是优先收集关联权重大的数据。3、低价值数据，大数据中的数据价值低，但是总体的数据价值高。数据可视化 数据可视化是将数据以图形、图像等方式直观地展示，比较常见的如柱状图、饼图、折线图、面积图、饼图等等。我们理解数据可视化，不仅需

9、要知道常用的统计图，此外需要知道，流程图、地图、日历图、图解、信息图也是数据可视化的类型。另外很多人忽略了表格也是数据可视化的一种形式，甚至是重要度非常高的一种形式，表格通过数据分类、数据类别，从而很好地展现了数据，现在有很多新技术来更好地展示表格数据，典型的例如表格中展示柱形图，柱形图的高度是根据数据大小来确定的。数据可视化R语言可视化框架数据集图表图素分面色彩修饰输出数据塑形总体外观注解轴图例图元常用图表扩展图表交互式图表18根据应用目的使用图表19大数据可视化 针对大数据可视化，它与传统的数据可视化不一样的地方，我们往往需要强调如下几点。因为数据量大，因此对于一些关键数据，采用可视化强化

10、，从而提高人的注意力。大数据可视化展现出隐藏的数据规律，例如在图表中生成加上回归曲线。大数据可视化的可视化形式，促进对数据的洞察，例如各个省的数据报表，少一个省不容易发觉，但是如果地图展示，那么缺数据就变得一目了然。大数据可视化交互式分析 大数据可视化的过程，往往是一个数据逐步细化的过程，在实际的运作中，往往需要进行降量、降维。一个典型的模式：从3000万记录中抽取30000条记录 标签2000多个，通过主成分分析实现降维，选择约200个 通过数据聚类构建约20个标签组 通过多视图实现图表框架设计 通过支持多维的线条图、雷达图、散点图进行图表表达 在图表中使用视觉通过提高数据维度量大数据可视化

11、更强调交互化、动态性，从而对数据进行更好地探索。在实际的操作中，很多时候也是把大数据拆成一个个小数据进行可视化分析的。交互化，例如数据的缩放，可以聚焦关心的数据。数据排序后把关心的数据以更强的形式进行展现。大数据可视化（续）大数据可视化，也可以理解为可视化是不变的，但是增加了数据，这样促进更好地理解数据，典型的例如在图表中增加参考线、控制线。另外，由于数据量大，数据的相对差异变大，因此在展示数据时，就有了一些特殊的格式，例如对数图表。又如，因为数据的量大以后，一些数据之间的差异很小，因此传统的方式下，一些数据就会被覆盖，这是我们可以给数据增加扰动，让这些数据展现出来。大数据可视化应用 统计数据

12、可视化 层次数据可视化 时序数据可视化 空间数据可视化 社交数据可视化 文字数据可视化23统计图表24统计数据可视化25层次数据可视化26聚类树27空间数据可视化28时序数据可视化 美国劳动局针对美国人每天时间的使用进行了社会调查。纽约时报对这个数据进行了可视化。X轴是一天的24个小时，而Y轴是做某件事的人占所有人的百分比。比如图中在凌晨4点超过90的人都在睡觉。而晚上9点，大概40的人正在看电视。29社交数据可视化 发现影响力人群 关键传播路径 发现社群 热点分析30社交数据可视化31文字数据可视化32业务结合 大数据可视化是大数据变现、产生价值的最后一公里，工业企业不要为了大数据而大数据，

13、为了大数据可视化而大数据可视化，而是核心要考虑，我们采用大数据可视化后，会带来什么样业务改变，这样的业务改变是不是有价值的。案例探讨 探讨一个企业监控大屏幕的应用模式。某工业企业有很多生产设备，设备的维护不尽人意，企业决定实施一套监控系统，取得的效果显著。企业的生产设备分给了一些维护工程师管理，企业原来有一套信息系统，维护工程师可以在计算机上查到自己负责的设备状态，工程师根据设备的状态进行维护。大屏幕监控系统展示了所有设备的状态，例如目前出现故障，需要维护的设备就以红色显示，正常运行的以绿色显示，维护中的以褐色显示，出现故障的以红色显示，处于关机状态的以灰色显示，封存的以黑色显示。如果出现了设

14、备红色，工程师就要立即去处理。案例探讨（续）这里要分析一下其业务变化，以往某设备出现问题时，如果对应的维护工程师不在，那么这台设备就没人去处理，因为别人也不知道，再入工程师在，但是他没有查询系统，那么他也不知道设备出现了问题。现在采用了大屏幕，一旦出现红色标志，对应的维护工程师很容易看到，然后进行维护处理。如果他没看到，那么他的同事也可以提醒他。如果这个工程师不在办公室，其他工程师也可以给他打电话。如果他出差了，负责代班的同事也可以看到、知道，从而进行维护处理。这套系统业务变化的核心就是：缩短了设备不正常时，维护工程师介入的响应时间。工业企业大数据可视化的真实案例4.工业企业大数据可视化的真实

15、案例 仓储余料应用 油井状态监控 产品创新设计生产 企业的合理化建议仓储余料应用 一个企业的财务总监提出，企业中存在很多以往项目的余料，这些余料一般也不便宜，如果在后面的项目中使用掉，也是可观的费用，但是和技术人员说了数次，也跟他们讲，可以根据材料的价值，给他们一定比例的奖励，但是收效甚微。听了情况介绍后，分析指出，问题是技术人员一般看不到仓库材料，也就是便利性不够。这个企业的技术人员都在一起办公，是一个开放的大办公区。建议在办公区走廊墙壁上，挂一块大白板，每种材料一个便利贴，有一个价值高点的余料就往白板上贴一个，这样技术人员就可以很方便地看到，看到后觉得可以用的，就把便利贴扯下来。而财务总监

16、也可以时不时地看看白板上的便利贴情况，如果比较多，就和技术经理打打招呼，督促一下。听了建议，财务总监眼睛一亮，这是个好主意。油井状态监控 目前我国的油气井普遍采用了可以远程传输的数据采集系统，并建立了一般针对项目的监视系统，通过这种方式展示油气井的工作状态，取得了很好的效果，从增加油气产量角度说，一般可以提高2%4%，从总量来说，这是个很大的值，一个200口井的项目，按每口井增加20万元计，一年就是4000万。在这个基础上，进行改进。第一 以往的系统设计的模式，大屏幕显示的是当前的油气井状态，而出现警告、错误的信息会被覆盖。新设计的系统中在大屏幕中设置了警告错误区域，显示未处理的警告、错误，这

17、样就有效地减少了漏处理的问题。第二 扩大数据采集的范围，例如以往采集仅仅是油气的压力、温度、流量，现在增加了油气井相关其他设备的信息。第三 鉴于已经收集了大量的生产数据，分析这些数据，构建可视化模型，并有一定的分类，这样针对采集数据，强化数据分析能力，从而在业务上可以更好地应对。第四 将监视系统改进为作业指挥系统，实现与短消息系统的集成，构建作业管理体系，从而提升作业的效率与质量。产品创新设计生产 航天某研究所，面临任务大幅度增加，企业生产任务计划完成情况差的问题，为了更好地加强管理，研究所决定实施信息化项目，其中包括生产生产任务完成情况的可视化。基本模式是可视化部分将生产任务进行了开发应用项

18、目，航天某型号项目，任务，流程，子流程，转为横向的树形结构。在项目的实施过程中，梳理了大量的工作流程，制定了一系列的流程模板。另外在项目的实施过程中，在理念方面，发现了很多问题，也进行了很多理念方面的创新。通过项目的实施，对于产品的研发生产，取得了一定程度的改进。企业的合理化建议 一个工业企业实施了一个合理化建议的项目，要求每个人一个季度至少提出3条建议，其中两条被采纳，一条被执行。这个建议首先面向自己的工作范围，但是也可以针对其他人的工作。建议设置了分类，根据分类确立不同的人可以看到，一般包括提出人的部门经理、建议涉及部门的经理、该分类领域的负责副总。每个季度对建议实施情况进行总结，召开全企

19、业员工大会，总经理给优良建议提出人发放奖金、证书。这个模式实施一年，企业就获得了超过200万美金的收益。5.大数据可视化的应用技巧 大数据可视化的框架设计 大数据可视化的应用流程 大数据可视化图表展示技巧 新型可视化图表形式等大数据可视化的框架设计 大数据可视化针对的是海量的数据，因此不是简单的几张报表，而需要设置数据可视化的框架。一般而言，需要梳理企业的所有图表，对这些图表进行分类设计。根据不同的人员，建立起图表与人员的关系，从而减少人员的图表量。图表的应用采取可以检索，条件包括图表的名称、分类、说明等。设置图表与图表的关联关系，在人员查看图表时可以快速切换到相关图表中。另外企业的图表不是一

20、个静态的模式，需要设置成动态的模式，可以保存下来，供以后使用。大数据可视化的应用流程 传统的数据可视化流程是：数据准备、数据分析、数据可视化、数据应用。大数据可视化的流程是：数据准备、数据可视化、数据分析、数据应用。这里数据的可视化与数据分析也可以是一个循环模式。最优可视化参考模型44大数据可视化的业务流程模式系统平台生产者消费者大数据可视化图表展示技巧 大数据可视化我们首先强调一个大字，而应用的工具、图表的形式可以是传统的，已有的。增加数据显示的量，这里有两种理解，一种是增加数据显示的维度，例如显示销售数据，以往只是纯粹销售数据，现在加上销售计划，那么这样的展示就更有意义。再如销售数据，采用

21、地图化的方式显示，就可以直观发现遗漏的条目。一种是是增加辅助信息，例如标准值、控制线、参考值、回归曲线、预测曲线等。第二，针对一个维度，增加可视化的显示方式，例如销售数据，采用柱形图，在柱形图上加上数值，根据销售计划的完成情况，在柱形图上加上勾叉，而针对勾叉，又分别予以绿色，与红色，这样的图表显然更具有理解力。新型可视化图表形式等 针对海量数据，可以采用树形图等新型数据展现形式。针对高维数据：可以采用平行坐标图表、多图显示、Andrews曲线、RadViz图的方式。可以采用一些降维的方法，例如主成分、因子分析、多维尺度分析等等。针对数据覆盖如何展示：例如可以增加数据干扰的方式；也可以数据汇总的

22、方式，展示时将汇总数据作为一个维度予以输入。针对数据差异大，可以采用对数图的方式；人工作图，可以采取截断的方式；也可以增加子图方式。6.未来的发展趋势 6.1.大数据可视化的应用，这个是大数据变现的重点，现在还是星星之火，但是在不断的发展应用中，很多的突破。，比较典型的例子如三一重工的大屏幕、青岛海尔的设备状态大屏幕项目。6.2.数据存储、针对大数据可视化，一些存储系统给予了专门的支持，例如以往的地图数据库，也出现了一些专门的工具，例如图数据库。6.3.技术方面，大数据可视化在技术方面发展很快，例如很多算法，很多新的图表形式。6.4.软件工具、现在涌现了很多大数据可视化的工具，这些工具在陆续增

23、加对大数据的支持，例如一个交互式可视化软件，以前没有对HADOOP这样的系统支持，后来有了对HADOOP、HIVE、SPARK几种系统的支持，而过了几年，支持的大数据存储系统就超过了20种。6.未来发展趋势（续）6.5.硬件系统，从大屏幕、拼接屏到计算机显卡、投影设备、移动设备、3D显示设备、虚拟现实设备、发展如火如荼。6.6.公共服务平台，现在有很多公共服务平台，可以让对大数据感兴趣的人员进行尝试，国内典型的例如百度的ECHARTS，数据魔方等。6.7.人员培训，大数据可视化应该说还是小众，需要得到更多的重视。目前有些培训机构推出了大数据可视化培训课程，一些大学举办暑期的大数据可视化训练营，一些规模企业也积极开展了很多大数据可视化的课程项目，取得了很好的效果。7.几点思考 大数据可视化不仅是个技术问题，更是个业务与管理问题，在正确的时间将正确的数据以正确的形式传递给正确的人，需要各个层面、各个领域的人员共同努力。工业企业往往都是规模企业，在规模企业中，一个细小的改变，这个改变可能涉及的规模很大，周期很长，因此汇总起来，就会产生客观的经济价值。大数据可视化从狭义的应用到广泛的应用，还有很长的路要走，但是我们已经在路上。