1、 书 WHITE PAPER Kyligence 企业级统语义层组件 2 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or other countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyl

2、igence.io.录 引 3 数据孤岛的挑战 4 个真实客的例 4 割裂的业务逻辑，业务径不致 4 交付流程，开发效率低 4 治理难，运维成本 5 安全的挑战 6 部署统的数据 BI 语义层 7 共享的业务逻辑 7 持多种查询语 8 简化数据开发流程，降低运维成本 8 统安全策略 10 效智能的数据资产层 11 客案例 12 打破数据孤岛，太平洋保险实现业财体化 12 赋能业务，降本增效，平安银推出潘多拉指标平台 12 总结 13 3 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registere

3、d trademarks of Kyligence USA,Inc.in the United States and/or other countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence.io.引 数据是当今每个商业决策的基，越来越多企业开始利数据湖和云计算等技术进数字化转型，然当今前所未有的数据体量和分布使得企业的数据管理充满挑战。挑战在于企业最有价值的数据资产被隔离在本地计算挑战在于企业最有价值的数

4、据资产被隔离在本地计算机、数据中以及云服务中；这些数据缺乏统的数据及指标定义，这使得企业很难有效的挖掘其数据资产的机、数据中以及云服务中；这些数据缺乏统的数据及指标定义，这使得企业很难有效的挖掘其数据资产的价值。如果以这样的数据管理式进数据驱动转型，企业将收获的只是座座“数据孤岛”价值。如果以这样的数据管理式进数据驱动转型，企业将收获的只是座座“数据孤岛”。?图 1“数据孤岛”?4 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence US

5、A,Inc.in the United States and/or other countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence.io.数据孤岛的挑战 个真实客的例 让我们先来看个真实客的例：某个融业的客，在使 Kyligence 平台之前，IT 部所持的不同业务部使了不同的 BI 具及不同的数据集市来撑各的业务分析。例如，资产负债部使 Excel 进数据分析,市场营销部偏好 Tableau 进助式分

6、析，企业管理层使 Cognos 制作管理仪表盘。由于数据平台建设的历史原因及部级需求的驱动，BI 分析形成了不同的数据分析孤岛，使不同的技术栈成为企业 BI 平台的常态。?图 2 个企业的真实 BI 数据架构 割裂的业务逻辑，业务径不致 这样分散的技术栈带来的问题是，从底层数据转换成上层业务逻辑的语义信息需要分散在不同的“烟囱”中，导致不同的业务应对相同的业务逻辑定义产截然不同的结果。这造成企业花费更多的精去整合、统不同的业务组织中对于相同业务逻辑的定义。更糟糕的是，当需要进跨业务部的业务经营分析时，分裂的业务系统很难提供有效的持。此以往还会造成组织对于其数据资产的不信任。交付流程，开发效率低

7、 传统的数据分析流程业务员会常依赖 IT 员提前进数据的准备和梳理，从业务员提出分析需求，到需求澄清，到数据开发到最后业务验收数据上线需要经过个漫的开发流程，在个型企业中，这样的个流程最快也需要少 15 个作的时间，这样的数据开发效率低下，远不能满业务对于数据及时性的分析需要。5 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or other countries.Al

8、l other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence.io.?图 3 传统数据开发模式 治理难，运维成本 为了实现这样的架构，IT 需要做到：数据存储在数据平台上，为了服务企业中的不同租，需要配置细粒度的数据访问权限 数据需要通过 ETL 作业从数据平台迁移到由数据库存储的数据集市中 在不同 BI 软件中定义各的语义信息（维度、度量、层级结构）这样的架构会造成很的 IT 运维成本：数据在数据集群和数据库之间移动带来的运维成本 E

9、TL、数据集市的维护带来的软硬件成本 每多层架构，就会给响应分析需求带来了额外的需求上线延时 这种法的另个隐藏（但重要的）问题是需求更改时的和财务成本。例如,将新收集的数据从数据层传递到可视化层涉及 4 个步骤：1)创建数据 ETL 作业 2)数据平台和数据集市之间的数据传输 3)在数据集市中对业务逻辑进聚合 6 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or o

10、ther countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence.io.4)BI 语义层的逻辑修改 据估计，做出这样的改变在该企业中所需的成本约是 30 万币，所需的时间周期为 1 到 2 个不等。每次添加新元素时，都会产相同的成本。更糟糕的是，进此类更改所需的时间成本会严重阻碍业务敏捷性和决策。安全的挑战 对于这种传统架构，个不太显著但却常重要的问题是，数据平台之上的 BI 需要考虑不同的安全合规实践。随

11、着数据湖概念的兴起，越来越多的企业规划将所有数据统存储在数据平台上形成企业统的数据湖，可预到个份信息（PII），详细的财务数据以及其他类型的专有和受保护的数据集都会集中到数据平台上，CIO势必会越来越关注安全策略，数据访问控制和审计需求。不同的 BI 技术栈会可能会意味着要实施不同的安全策略，这为数据治理带来额外的难度。总的来说，前企业 BI 数据分析的应场景充满挑战，其成本昂，缺乏灵活性并存在重安全险。尽管如此，许多 IT 组织继续使上述传统法，仅仅因为他们并没有更好的选择。?7 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kylig

12、ence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or other countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence.io.部署统的数据 BI 语义层 Kyligence 基于数据技术带来了开创性的即时分析能。Kyligence 提供智能多维数据库平台基于 Hadoop 分布式技术，从创之

13、初就定位解决传统 BI 在数据上的挑战，其为 BI 提供了友好的 SQL 或 MDX 标准接，可缝集成市主流 BI，提供统的基于数据的业务语义层，且实现企业级 IT 的数据安全管控，帮忙企业降低 IT成本，助业务实现数据驱动的价值。?图 4 统语义层的 BI 数据架构 上的图显了使 Kyligence 实现企业级数据 BI 解决案时的架构图。如图所，这个法极地简化和改进了传统的数据 BI 法。这个现代化的架构为企业带来了如下优势：共享的业务逻辑 Kyligence 解决案的核是语义层，它将表、列等技术语转换成业务可以理解的模型、维度、度量，让数据消费者从分析表转变为分析模型，降低数据分析的槛。

14、且语义层不仅包含模型、维度、度量，还包含业务指标（如原指标、复合指标），层级结构，以及维度层级、翻译、命名集等概念，为提供增强的业务语义 8 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or other countries.All other brands and names are the property of their respective owners.A

15、ll rights reserved.Visit us at kyligence.io.层。除此之外，通过业标准 XMLA 协议接，可直接使 Excel、Tableau、MicroStrategy，Power BI 等标准 BI 具消费统的语义层模型。传统的 BI 分析架构中，语义信息存在于 BI 具层，KyligenceKyligence 的统语义层实现不同业务部之间共享的业务逻的统语义层实现不同业务部之间共享的业务逻辑辑，不需要基于每个 BI 具再单独开发割裂的语义信息。?图 5 Kyligence 的统语义层实现不同业务部之间共享的业务逻辑 持多种查询语 为各种分析商业智能提供统语义层的

16、挑战是，并不是每个 BI 具都使相同的查询语。有些前端具，如Tableau，较多使 SQL 接，其他具（如微软 Excel）只能使 MDX（多维表达式语）动态查询数据源。使 Kyligence 智能平台可以使同个数据模型满所有这些不同的查询。Kyligence 的数据模型可以通过 SQL（ODBC或JDBC）接暴露成类似于关系型数据库的表，也可以暴露兼容XMLA协议的带有语义信息的数据源，可通过 MDX 语进查询。这样不论客是使什么 BI 具，都可以查询统的业务逻辑。前 Kyligence 平台持与 Tableau、Power BI、Excel、Cognos、MicroStrategy、BO、

17、OBIEE 等具的缝集成。简化数据开发流程，降低运维成本 9 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or other countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence

18、.io.图 6 简化数据开发流程，降低运维成本 在前讲到，BI 数据架构需要存储和查询分离的原因是为了给终端提供可接受的查询性能，即少是在秒级的查询性能。为了能够实现这样的查询响应，数据集通常需要被聚合，汇总或计算索引，这些对于数据源的次计算是和数据集群或云上数据湖分离的，如：使 Microsoft 的 SQL Server Analysis Services（SSAS）的 OLAP（MOLAP）多维数据集 数据提取，如 Tableau 数据提取（.tds 或.hyper）在云上数据仓库如 Redshift 或 Snowflake 中计算分离的聚合数据集市 Kyligence 利 Spark

19、的分布式架构进数据处理，基于 AI 的智能引擎能够动识别的查询模式并动在后台进计算以及低廉的集群资源进存储，这些聚合会动创建并存储在数据集群或云上的对象存储中。且 Kyligence 智能的引擎能够帮助管理员完成平台全命周期的运维管理，从数据库、数据加、到动态性能调优，绝部分的运维都会被动化替代。管理员主要的作只剩下定义运维标，如期望的服务质量（平均查询响应时间、可性等）、运维时间窗（系统忙闲时间段）、计算资源配额和存储空间配额（运营成本限制）等等。Kyligence 智能多维数据库为企业带来项显著的优势：10 Copyright 2022 Kyligence USA,Inc.Kyligenc

20、e and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or other countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence.io.1.需将数据从数据源提取进聚合加。原基于数据架构的计算存储架构，可以帮助企业利数据架构实现站式的数据分析，在云上部署时可以直接对接数据湖

21、，从避免服务交互式分析带来的额外数据迁移，避免了数据迁移带来的软硬件开销。2.消除了数据移动的成本。动化的智能运维减少了运维成本，因此 IT 部能够释放更多资源聚焦创新性的业务例，拓展数据驱动业务创新的更多可能性。3.动化的预计算技术解决了传统的预计算技术需要设计、实施与部署，落地周期、应变慢等问题，通过预计算查询效率得到指数增。统安全策略 通过将割裂的 BI 分析负载集中到数据平台上，Kyligence 也帮助企业降低数据分散在不同业务系统带来的数据安全险。和数据访问管理可以统配置在数据平台的数据资产层并作到所有上层业务应。因此 IT 需对下游系统再配置额外的数据访问控制。当不同的上游业务应

22、的发送查询时，Kyligence 统的数据访问控制会动为附加其企业管理系统统配置的安全策略，如对于华东区区域的业务，不论使Tableau 或 Excel 查询时，他/她获得的数据将被动限制在华东区域。不论查询击中了缓存、预计算索引、还是智能下压到底层数据引擎，查询的结果都会与预先配置的安全策略相符。?图 7 统的数据访问管理保证企业级数据安全 11 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the Unit

23、ed States and/or other countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence.io.效智能的数据资产层 Kyligence 为企业提供了全新使数据的式。不同于过去依赖 IT 的按需开发的交付式，现在企业中的业务分析员可通过统的语义层形成的数据资产进主分析需求的满，缩短从数据到业务洞察到促进业务决策的时间周期，提升业务决策效率。利统语义层来服务业务数据分析的式，业务 80%的需求都可以

24、基于现有的语义层来得到主满，剩下的 20%的新需求可以基于现有统语义层指标的基础之上在进快速定义，在 1 天内即可将满业务需求的数据/指标上线新；另也将新需求沉淀在统语义层上。?图 8 流程变，效智能的数据资产层降低使数据的槛?12 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or other countries.All other brands and names

25、 are the property of their respective owners.All rights reserved.Visit us at kyligence.io.客案例 打破数据孤岛，太平洋保险实现业财体化 业财体化是利计算机技术将业务数据和财务数据融为体，实现业务流程、财务流程、管理流程的有机融合并持企业经营决策。在应对市场竞争中，中国太平洋保险主动采Hadoop数据平台，应数据OLAP多维分析引擎技术，构建了基于数据的业财体化分析平台，打破数据孤岛，对业务和财务数据中的 40 个维度和300 个指标进建模，实现了多维统计报表秒级响应，极地提升了业务分析效率和分析深度，更好

26、持业务管理层进市场资源配置和成本预测，并逐步推成为太平洋财产险公司精细化的成本管理平台。更多太平洋保险案例信息请参考发布在中国电银的，“2018 中国融科技创新榜”证券保险参赛案例。（https:/ 平安银依托智能、数据、云计算等领域的核技术，不断将新技术深度植到经营决策和融服务全流程，实现数字化、智能化业务运营和经营管理。其中平安银以指标的治理为切点，打造了统的潘多拉指标访问平台。在潘多拉指标平台中指标加和查询引擎的核组件就选了指标加和查询引擎的核组件就选了 KyligenceKyligence；Kyligence 能够满指标的加和查询需求，它能够通过分布式的计算和存储进指标的加，基于 AI

27、 增强引擎，实现智能化的计算和运强引擎，实现智能化的计算和运维，显著节省开发的成本维，显著节省开发的成本。这种基于前沿的智能化技术快速整合，展现，治理和共享价值的指标资产，打破以往业务提需求，IT 做开发的被动响应模式，从让业务能够主动、快速地找到需要的业务指标，或者基于现有的指标快速派新的指标。此外，系统还能动匹配和推送有价值的指标给业务员，让使数据变得简单和效。平安银：潘多拉指标平台平安银：潘多拉指标平台改变了数据的常开发模式，以及业务的数据应模式，降低了数据开发的成本，提升数据应的效率：数据开发周期平均缩短了 3 3-5 5 天；数据报表开发耗费减少 30%30%；常规需求替换率达到 2

28、5%25%以上。!13 Copyright 2022 Kyligence USA,Inc.Kyligence and the Kyligence logo are registered trademarks of Kyligence USA,Inc.in the United States and/or other countries.All other brands and names are the property of their respective owners.All rights reserved.Visit us at kyligence.io.总结 全球各地的企业正在拥抱数

29、据时代并针对其关键业务平台进下代数据架构的选型决策。Gartner 的分析报告How to use Semantics to Drive the Business Value of Your Data指出，前所未的数据体量让企业越来越难以充分挖掘其数据资产的价值，来不同业务线的助式分析数据消费者，使得对于数据资产形成统的理解和认知变得格外重要。基于新型架构能够形成统的企业级统语义层能够帮助企业拓展数据平台的分析例，形成统的、可复的企业级数据资产。且基于 AI 增强的动化预计算和动化运维计算将为企业带来前所未有的成本优化，运营减负，并提整体数据分析的灵活性。使 Kyligence 智能多维数据库，将为企业数据驱动的业务创新带来强的竞争。欢迎访问 https:/www.kyligence.io/了解更多。