《4-3Alink:基于Flink的机器学习平台.pdf》由会员分享,可在线阅读,更多相关《4-3Alink:基于Flink的机器学习平台.pdf(27页珍藏版)》请在三个皮匠报告上搜索。
1、Alink:基于Flink的机器学习平台 杨旭 阿里巴巴计算平台事业部 资深算法专家 2020-7-25 什么是Alink? Alink是基于Flink的机器学习算法平台 -相关名称的公共部分:Alibaba,Algorithm,AI,Flink,Blink -由阿里巴巴计算平台事业部PAI团队研发 -同时支持批式/流式算法,提供丰富的算法库 -帮助数据分析和应用开发人员能够从数据处理、特征工程、 模型训练、预测, 端到端地完成整个流程。 -提供 Java API 和 Python API (PyAlink) 2019年11月 Flink Forward Asia上宣布开源 https:/ A
2、link开源功能 主要算法性能对比: Alink VS Sparkml Alink进展总览 Alink version1.0 2019年11月在Flink Forword Asia大会上宣布开源 Alink version1.0.1 2019年12月发布,解决一些场景下PyAlink的安装问题 Alink version1.1.0 2020年02月发布,支持Flink 1.10和Flink 1.9,PyAlink兼容PyFlink;改进UDF/UDTF功能 支持发布到Maven中央仓库和PyPI;支持多版本的Kafka数据源 Alink version1.1.1 2019年04月发布,提升使用
3、体验,在参数检查方面更加智能 Alink version1.1.2 2019年06月发布,新增30余个数据格式转化组件,支持多版本的Hive数据源 在Pipeline和LocalPredictor中支持SQLSelect操作 Alink version1.2.0 2019年07月发布,支持Flink 1.11、 Flink 1.10和Flink 1.9 支持多文件系统:本地文件系统,Hadoop文件系统,阿里云OSS文件系统 CSV格式读取、导出组件支持各文件系统;推出AK格式读取、导出组件,简化文件数据的操作 支持模型信息摘要、输出 FM分类、回归算法。 使用Maven构建Alink项目 第一步,创建maven项目 第二步,修改pom文件,导入Alink相关jar包 Flink-1.10的 Maven依赖 Flink-1.9的 Maven依赖 第三步,拷贝修改Alink Java示例代码