1、蚂蚁IoT智能数据生成与算法评测技术蚂蚁集团 韩峥2023 深圳站目录CONTENTSIoT线下支付01 智能数据生成02 分布式评测实验室03 评测链路与指标评测链路与指标04 业务效果总结05 AIGC时代思考06 2023 深圳站01IoT刷脸支付2023 深圳站蚂蚁IoT主要做什么？技术：通过生物识别（人脸、掌纹、声纹等）技术赋能支付行业，让线下支付更便捷业务：通过与广泛生态伙伴合作，助力各个行业（酒店、餐饮、快消等）商家线下数字化，实现互利共赢蜻蜓支付刷脸门禁大屏自助校园/企业团餐掌纹支付智能货柜2023 深圳站刷脸支付背后的产业链为什么会兴起刷脸支付？-随着人脸识别技术的不断成熟，

2、其精度已经可以达到商用的水准，与支付行业结合就带来了革命性的变化！驱动合资补贴互联网巨头奥比中光、华捷艾米蜻蜓、商米、青蛙盒马Rex、海信映翰通上游中游下游光源、光栅、可见光源、光栅、可见光光&红外红外结构光人脸识别模组结构光人脸识别模组POS机设备商机设备商自助收银机设备商自助收银机设备商自动售货机设备商自动售货机设备商豪威、纵慧典型企业行业类别2023 深圳站刷脸支付系统拆解硬件设备层系统层数据&算法层客户端3D结构光模组(RGB、IR、Depth)质量模型活体模型意愿模型比对模型检测模型风控数据&模型刷脸APP生物识别特征库服务端生物识别服务端2023 深圳站刷脸支付算法链路拆解设备端算

3、法链路服务端算法链路刷脸机具选脸端超体决策多模态检索 端超体/风控检测检测关键点跟踪活体检测0/4/11结果意愿模型质量模型质量意愿RGB/IR/Depth图像特征提取风控模型策略模型综合决策生物特征数据库大规模检索排序数字超体3D小库搜索0/4/11决策支付链路2023 深圳站算法质量保障的通用方法原子模型评测（单模型效果）构造评测数据、评测指标 评测链路 模型级别benchmark全链路评估（全链路效果）基于仿真回流的全链路算法评估 基于实时流量的全链路算法评估2023 深圳站刷脸算法质量保障问题 数据方面：数据生成：如何从1张图片生成海量人脸图片，并保障图片的真实性？数据标注：如何打造自

4、动化标注体系，提供海量带标注的数据？数据采集：如何进行定量化数据采集？硬件实验室：如何搭建一套分布式实验室，保障海量数据分布式执行？评测链路：评测链路如何改造，保障数据隔离以及提高工程稳定性？评测指标：指标如何设计以及反应业务效果？2023 深圳站02智能数据生成2023 深圳站多模态融合的原理多模态融合策略刷脸识别多模态融合Feature层融合策略2023 深圳站数据生成之一：基于回流数据的生成问题：由于回流到服务端的图片为压缩后的图像，因此需要进行定向增强，转为客户端输入的视频流，具体流程如下：Blob数据RGB图Depth图IR图流式数据合成回流数据URL下载解码RGB.dataDept

5、h.dataSlir.data二进制转换像素格式转换分辨率还原像素格式转换OSS云端库存储2023 深圳站数据生成之二：定量化数据采集机械臂-移动人脸模具光源箱-光照度调节人脸头模软硬一体实验室：用于进行人脸数据定量采集、人脸活体攻击、货柜数据采集等业务。2023 深圳站基于头模的定量数据采集刷脸距离刷脸角度光照强度抖动0.1 2m间隔0.3m0180间隔 5 11人脸正对屏幕为90度，左侧脸平行屏幕刷脸为0度，右侧脸平行屏幕为180度。25Lux 相当于夜间场景，1000Lux相当于晴天室外强光场景51000 Lux2参考区间20Hz 100Hz2023 深圳站活体攻击类数据采集纸张攻击数据

6、采集面具攻击数据头模攻击数据2023 深圳站新问题问题：是否能把这两个方案结合起来？2023 深圳站数据生成之三：机械臂+头模换脸的数据定向生成机械臂头模采集数据数据合成合成图像数据库(RGB、IR、Depth)深度图像生成流程：IR图像生成流程：RGB图像生成流程：DeepFaceLab换脸RGB源图像、RGB目标图像IR源图、RGB目标图像RGB2IR工具DeepFaceLab换脸工具库RGB源图3D数据生成目标脸3D模型3D模型替换IR 图像替换RGB图像生成云端回流数据选择目标数据2023 深圳站当前效果RGB换脸效果2D生成3D数据2023 深圳站数据生成之四：基于GAN生成数据问题

7、：是否有从0到1生成数据，不依赖任何其他数据采集或者数据源的0成本方案？人脸图像对抗生成styleGAN,cycleGAN人脸多姿态图像生成styleGAN2EncoderRGB重建3D人脸重建数据合成任选一张图像 RGB重建3D人脸重建数据合成选定一个姿态选定一个姿态3DDFA_v23DDFA_v22023 深圳站数据自动化标注问题：利用离线模型进行大数据标注，为在线模型提供源源不断的真值数据？2023 深圳站自动化标注(AutoLabel)生成图像RGB、IR、DepthOffline ODPS GPU集群AutoLabel模型标注系统OSS 存储数据清洗与加工待定确认可标iTag数据标注

8、平台人工标注Label of RGB、IR、Depth图像标注数据Offline ODPS 模型训练评估GPU 集群2023 深圳站实现效果数据积累：每日稳定运行，已经为模型标注每日提供了上亿的标注数据数据赋能：给模型评测、全链路仿真、标签管理等各项服务提供数据基础。2023 深圳站03分布式评测实验室2023 深圳站整体拓扑结构agentagentagent蜻蜓设备蜻蜓设备蜻蜓设备POS设备POS设备POS设备其他IoT设备Agent Server云测平台数据调度任务管理用例管理设备管理结果报表任务触发场景库创建评测任务数据下载任务触发执行结果回收统计分析评测整体流程2023 深圳站实验室软

9、件平台设备管理任务管理报告生成用例管理远程调试数据调度2023 深圳站04评测链路与指标2023 深圳站链路改造1.链路改造：将客户端工程与算法剥离，打造无UI链路，便于进行稳定性/压测以及效果评测2.数据隔离：在客户端和服务端分别设置仿真标，实现测试数据与线上数据隔离3.隐私安全：自动销毁机制以及定期巡检机制，保障数据用完即删，不在端上留存。端数据流算法层算法工程层客户端应用层检测质量活体意愿特征库构造数据预处理改造前UI渲染引擎端应用工程算法层算法工程层端数据流检测质量活体意愿改造后特征库构造数据预处理流读取2023 深圳站评测指标模型模型指标指标质量模型通过率/拦截率活体模型通过率/拦截

10、率检测模型准确率/召回率意愿模型通过率/拦截率比对模型通过率/误识率整体效果刷脸一次通过率2023 深圳站05业务效果总结2023 深圳站业务效果蜻蜓刷脸支付团餐刷脸门禁核身货柜刷脸2023 深圳站06AIGC时代思考2023 深圳站AIGC时代（图生图）AI生成不同风格人像AI生成不同风格素材2023 深圳站AIGC时代（文生图）Textstarcraft,terran,battlecruiser,combat,base,galaxy,laser gun,fire,quality,extremely detailed CG,unity 8Kwallpaper,hyperdetailed,hi

11、ghres,cyberscreen frame,absurderes,intricate and refined delicate detailed,cinematiclighting,strong rim light,brightercolours,depth of field2023 深圳站问题与思考生成式大模型时代，算法质量如何进行保障，如何评测模型的效果？如何保障模型生成结果不出现舆情，建立可靠的兜底机制？如何进行图像效果的检测并给模型更好的反馈？如何建立合理的针对生成模型的主观评测机制？2023 深圳站未来规划 判别式模型质量 模型攻防 模型可解释 数据增强 生成式模型质量 评测方法

12、 评测数据 主/客观评测感谢聆听ThanksCSDN全球最大的中文开发者社区平台CSDN全球最大的中文开发者社区平台CSDN创立于1999年全球编程类网站排名第7（来源：Similarweb 2023.04）注册用户超过4300万，覆盖90%的中文开发者新媒体矩阵粉丝数量超过3100万超过1000家企业客户和合作伙伴目前公司员工近800名，分布在北京、长沙、上海、深圳、杭州、成都等城市，并在美国硅谷常设办事处旗下品牌旗下品牌专业中文IT技术社区：CSDN.NET多媒体专业出版：新程序员开发者专属移动APP:CSDN APP代码托管协作平台：GitCode代码工具协同平台：InsCodeIT人力资源服务：科锐福克斯丨八爪网络高校IT技术学习成长平台：高校俱乐部