1、快速搭建一超高性能的时序空间大数据处理平台快速搭建一超高性能的时序空间大数据处理平台u 时序空间数据特点u 现有方案的弊端u TDengine基本介绍u 如何应对每天都在变化的大数据分析需求u 机械设备监测数据的实时计算大数据时代数据采集后被源源不断的发往云端+物联网、工业4.0的技术链传感器数据采集通讯模组边缘计算云数据引擎（存储查询计算）分析应用系统所有采集的数据都是时序的数据都是结构化的一个采集点的数据一定是它产生的数据很少有更新或删除操作数据一般是按到期日期来删除的物联网、工业4.0数据特征：时序空间数据采集的数据量巨大，但有典型特征:数据以写操作为主，读操作为辅数据流量平稳，可以较为

2、准确的计算数据都有统计、聚合等实时计算操作数据一定是指定时间段和指定区域查找的数据量巨大，一天的数据量就超过100亿条通用的解决方案将开源的Kafka,Redis,Hbase,MongoDB,Cassandra,ES,Hadoop,Spark，Zookeeper等大数据软件拼装起来，利用集群来处理海量数据。面临的挑战开发效率低因牵涉到多种系统，每种系统有自己的开发语言和工具，开发精力花在了系统联调上，而且数据的一致性难以保证运行效率差非结构化数据技术来处理结构化数据，整体性能不够，系统资源消耗大。因为多套系统，数据需要在各系统之间传输，造成额外的运行代价运维复杂每个系统都

3、有自己的运维后台，带来更高的运维代价，出问题后难以跟踪解决，系统的不稳定性大幅上升应用推向市场慢集成复杂，得不到专业服务，项目实施周期长，导致人力攀升，利润缩水TDengine应运而生TDengine 提供的功能消息队列缓存流式计算订阅数据库完整的时序空间数据处理引擎TDengine 技术亮点快10倍的插入和查询通过创新的存储设计，并采用无锁设计和多核技术，让数据插入和查询的速度比现有专业的时序数据库提高了10倍以上超融合将大数据处理需要的消息队列、缓存、数据库、流式计算、订阅等功能融合在一起，提升运行效率，保证整个系统的数据的一致性更高的水平扩展能力通过先进的集群设计，保证了系统处理能力的水

4、平扩展，而且让数据库不再依赖昂贵的硬件和存储设备，不存在任何单点瓶颈和故障零学习成本使用标准的SQL语法，并支持JDBC,ODBC,REST接口，应用API与MySQL高度相似，让学习成本几乎为零极低的资源消耗整个完整安装包才1.2M，内存的最低要求不到1M，计算资源不到通用方案的1/5。通过列式存储和先进的压缩算法，存储空间不到传统数据库的1/10。零运维管理成本追求极致的用户体验，将复杂的运维工作完全智能化。无需分库分表，数据备份、数据恢复完全自动；扩容、升级、IDC机房迁移轻松完成云服务或硬件成本不及通用方案的1/10研发成本大幅降低，无需培训、无需集成其他软件零管理，后期运营管理成本大

5、幅下降硬件云服务成本研发成本运营成本TDengine 整体成本优势对比测试完整对比测试报告，请参阅：对比测试完整对比测试报告，请参阅：充分利用物联网数据特点对于一个数据采集点而言，只有一个写结构化数据s时序的。不基于任何开源产品，C/C+开发了存储引擎集群调度、管理计算模块SQL解析。TDengine 性能指标为何这么出众量身定制只为物联网数 据而设计不适合电商、社区、ERP、CRMTDengine 系统结构V0V1V3dnode 7V0V1V3M0V0V1V3V2V0V1V3V2dnode 0V0V1V3V2dnode1 dnode 2dnode 3V0V1V2dnode 4V0V1M1V2

6、dnode 5V0V2V3V1dnode 6M2V3完全无中心化设计使用KV或关系型DB，在多个数据采集点存在的情况下难以保证一个采集点的数据在内存或硬盘上的连续性TDengine，一个采集点的数据在一个块里是连续存放的，块的大小可配置采取Block Range Index,可快速定位要查找的数据所处的块0 1 2 3 4 5012345连续存放WriteAppmemorydiskCommit logVnodeFILEFILEPeerVnodeFlushTDengine 数据写入流程TDengine Metric：多个采集点的数据聚合Metric是表的集合，包含多张表，而且每张表的schema

7、是一样的。同一类型的采集设备可以是一个Metric，除定义Schema外,还可定义多个标签。标签定义表的静态属性，如设备型号、颜色等。具体创建表时，指定使用哪个Metric（采集点的类型），并指定标签值。应用可以象查询表一样查询Metric,但可以通过标签过滤条件查询部分或全部数据采集点的记录，并且可以做各种聚合、计算等，方便支持复杂查询，应对业务需求。每个表（采集点）都有对应一行的标签数据，保存在Meta节点，而且存放在内存并建有索引。标签数据可以任意增加、删除、修改。标签数据与采集数据完全分离，大大节省存储空间，并提高访问效率。而且对于已经采集的历史数据，事后可以打上新的标签。实际场景中，

8、经常需要将多个采集点数据进行聚合处理，比如所有温度传感器采集的温度的平均值。因为一个传感器就是一张表，这样需要将多张表聚合。为减少应用的复杂性，TDengine引入Metric概念。TDengine 聚合计算流程DataNode0DataNode 1MetaNodeDriverDataNodeApp5-14-24-04-15-05-2TDengine 时间轴上的数据聚合实际场景中，经常需要将一段时间的数据进行聚合，比如downsampling,采样频率为一秒一次，但最终只记录一分钟的平均值。TDengine引入关键词interval,以进行时间轴上的聚合操作。时间轴的聚合既可以针对单独一张表，

9、也可以针对符合标签过滤条件的一组表进行。select avg(degree)from t1 interval(5m);查询温度传感器t1记录的温度每五分钟的平均值select avg(degree)from thermometer where loc=beijing interval(5m);查询北京所有温度传感器记录的温度每五分钟的平均值TDengine 实时Stream计算目前支持Avg,Max,Min,Percentile,Sum,Count,Dev,First,Last,Diff,Scale等操作。计算是针对时间段，同时可针对一张表或符合过滤条件的一组表进行聚合。实时计算的衍生数据可以

10、实时写入新的表，方便后续的查询操作。衍生数据还可以与其他原始数据或其他衍生数据进行各种聚合计算，生成新的数据。select avg(degree)from thermometer where loc=beijing interval(5m)sliding(1m);每隔一分钟计算北京刚刚过去的五分钟的温度平均值create table d1 asselect avg(degree)from thermometer where loc=beijing interval(5m)sliding(1m);每分钟计算一次北京刚过去的5分钟的温度平均值，并写入新的表d1应用实例：三一重工华兴数字 物联网平台架构CassandraMySQLmango DB北京望京科技园About TAOS Data北京涛思数据科技有限公司(TAOS Data)专注时序空间数据的采集、存储、查询、计算和分析。不依赖任何开源或第三方软件，开发了拥有自主知识产权、自主可控的高性能分布式时序空间数据引擎TDengine，公司于2017年6月获得明势资本和蛮子基金的投资。公司创始人陶建辉在美国留学工作十多年后，回国创业，曾成功创办了“和信”与“快乐妈咪”两家高科技企业。公司研发团队全部毕业于名牌大学，都拥有硕士或博士学历，在分布式计算、数据存储和数据库上有多年的研发经验。