《3-2 用智能驾驭数据-QuickTable 智能化路线图.pdf》由会员分享,可在线阅读,更多相关《3-2 用智能驾驭数据-QuickTable 智能化路线图.pdf(29页珍藏版)》请在三个皮匠报告上搜索。
1、张夏天 QuickTable 联合创始人|用智能驾驭数据-QuickTable智能化路线图0101QuickTableQuickTable简介简介0202为什么要用智能驾驭数据为什么要用智能驾驭数据0303QuickTableQuickTable的路线图的路线图0404目前的进展目前的进展-智能文本抽取智能文本抽取目录目录 CONTENTCONTENT|0101QuickTableQuickTable简介简介新的技术组织和能力新的技术组织和能力业务人员、数据分析师、数据工程师需要更紧密的整合一线业务需求越来越多,时间敏感性越来越高,需要越来越多Know-How协同难协同难数据快速转化成生产力数
2、据快速转化成生产力数据平台、工具种类繁多,学习成本高昂数据来源多样化,数据库、Excel、API存留着各种数据技术技术难难数据需要长期治理优化数据需要长期治理优化数据需要管理,例如版本等,内部治理成为发展的基石Data-as-a-Service 成为价值链条的基石管理难管理难数据项目数据项目ROI需要优化需要优化数据项目需要快速开展,并验证其业务价值数据需要构建在坚实的云基础上,可以弹性扩展和运行成本高成本高业务需求推动数据工具更加简单易用漫长的瀑布式传统决策链ERP DMSHRPOS老板数据科学家(Python)数据源数据整合数据建模、处理数据分析基于数据的决策2 2天天3 3天天1 1天天
3、1 1天天数据工程师数据分析师(SQL)业务主管数据分析师DataData SourcesSourcesExtract/LoadExtract/LoadDataData WarehouseWarehouseDataData LakeLakeQuickTableQuickTableDataData APPAPPDataDataInformation/KnowledgeInformation/KnowledgeActionAction /WisdomWisdomModel/TransformModel/Transform1 12 23 34 45 56 67 7阿里云 OSSQuickTable-
4、一个表格连接一切 快连接支持传统数据库Mysql、Postgre、Oracle、SQL Server支持国内主流云数仓MaxComputer、云器等支持国外主流云数据库Snowflake、Databricks内置多种数据库/数据仓库连接数据分析师、业务分析师可以自助连接各种数据文件、数据库、APIExcel、CSV、Log日志、JSON文件等支持各种云存储,阿里OSS、AWS S3、Dropbox支持API接入(对接合作伙伴)支持文件、API1 1|快探索人人可以0代码进行数据探索,理解数据内容,发现和纠正数据质量问题,结合Know-How制定有用的数据转换流程百万行数据秒级响应300个以上数
5、据处理算子(转换、增强、时间、位置、加/解密等)智能记录数据探索过程,每步均可回溯、修改支持以插件形式扩展处理算子快速的数据探索智能的字段类型兼容智能的数据质量探索,让数据处理和分析更可信利用AI学习数据中内容的模式,帮助用户理解数据智能的数据探索2 2|快建模语义化建模,将业务语言自然的和数据模型绑定在一起,无需二次翻译,将业务和技术解耦托拉拽式的操作界面,极大降低业务人员建模难度智能推断数据结果,智能推断类型,判断逻辑是否正确更改模型后自动刷新全盘数据简单易用的建模界面一键直译成不同平台SQL模型无法直译SQL,使用UDF进行处理兼容不同平台的语法业务建模直译数据模型3 3|快处理兼容支持
6、Python、Java等多种语言环境支持HDFS、Hive、DB等多种数据源支持AWS、阿里云公有云支持客户自身的私有云弹性结合云的虚拟化能力,提供弹性的部署支持动态调整计算资源支持动态调整计算优先级安全监控提供整合的日志搜集和分析能力提供从主机到代码级别的监控让数据工程师可以按需加工数据,基于弹性的云能力,按需调整系统配置,提高ROI兼容混合多云环境,助您实现安全敏捷的企业云架构4 4|快协同让数据分析师、业务人员、决策人员和数据工程师之间产生协同,提高数据决策的一致性,提高数据决策的质量,提高数据决策效率数据处理的过程、结论均可通过简单的方式分享给相关人员协同的同伴可以进行Review、C
7、omments可配置的协同权限,控制他人查看数据、处理过程的权限业务团队协同数据处理支持版本控制,可任意回溯数据工程人员可以进行相关的执行优化,但不改变业务逻辑,保持业务-技术的一致性业务和技术的协同5 5|三个团队3天工作量一个人2个小时工作量业财Python需求分析师数仓工程师数据仓库SQLJava数据团队数据源数据源QuickTable需求业财过去现在数据处理工作的大幅提效基础设施监控管理权限管理第三方数据组件LogELKMonitor数据存储虚拟机和调度S3RedisMy sqlDockerK8SImage Manager大数据技术平台(Hadoop、Spark等)QuickConne
8、ctQuickTable 数据 探索快速数据读取和交互数百种常用数据处理函数AI 增强处理函数 数据 可视化管理所见即所得的数据处理结果数据的可视化线上数仓SnowflakeRedShiftMax Computer/云器自研内存引擎高速的数据加工弹性的数据处理规模完全兼容的数据处理和分析数据库MysqlOraclePostgre计算引擎SparkPrestoImpalaQuickTrans 数据 探索数据连接转换算子编程框架语义引擎物理语义解析执行语义优化核心研发生态合作云平台合作QuickTable技术创新|0202为什么要用智能驾驭数据为什么要用智能驾驭数据数据驱动的AI vs 人力驱动的
9、数据AIData Work大数据的失控Big Data 规模的失控 速度的失控 类型的失控 质量的失控数据工作成本的失控Big Data数据工作成本的失控业务知识编程技术数据专业知识个人做好数据工作的条件数据工作业务知识编程技术数据专业知识QuickTable的目标数据工作最小化无代码智能化一个例子-文本抽取|0303QuickTableQuickTable的路线图的路线图智能化两大方向基于示例的数据转换数据自组织 无数据处理专业知识要求 统一的数据转换操作体验 提高10-100倍的工作效率 数据表/集之间的关系自动发现 数据模型自动构建 复杂转换基于示例构建的基础基于示例的数据转换(Transform Data by Example)基于示例的编程数据自组织|0404目前的进展目前的进展-智能文本抽取智能文本抽取前面的例子QuickTable智能文本抽取技术QuickTable智能文本抽取技术非常感谢您的观看非常感谢您的观看|