《大模型 On Serverless 助力因果推断.pdf》由会员分享,可在线阅读,更多相关《大模型 On Serverless 助力因果推断.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、大模型 On Serverless助力因果推断何刚九章云极DataCanvas AI首席架构师人工智能基础软件供应商目录200+IP资产78%+技术研发100%+业务增长北京九章云极科技有限公司(简称:九章云极DataCanvas)成立于2013年,以“创造智能,探索未知”为使命,以“助力全球企业智能升级”为愿景,是中国人工智能基础软件领军者。公司专注人工智能基础软件的持续开发与建设,通过自主研发的一系列企业级AI应用所需的平台软件产品及解决方案,助力用户实现数智化升级,推动政府和企业AI规模化应用。公司以“开放、自动、云原生”为核心的数据科学产品体系,成功为客户提供一系列灵活、自主、可靠的高
2、性能高协同工具,加速政府和企业数智化升级进程。创造智能,探索未知助力全球客户智能升级Our VisionOur MissionContents目录01因果推断与大模型02大模型下的因果发现03基于代理的因果推断04LLM-Powered ABM与因果推断05YLearn&CausalLab因果推断与大模型01AI赋能,智慧升级与演变统计机器学习因果推断大模型统计分析预测分析决策分析智能分析技术演进决策演进数据分析决策数智化的本质是尽量在决策链条中减少人的参与,实现数据驱动的智能决策,从而提高决策的准确性和整体系统的运转效率。随着人工智能技术的进步和发展,极大地推动了智能化分析的演进。统计分析总
3、结过去发生的事件,预测分析预测未来可能发生的事情,因果推断则帮助用户评估不同决策或策略的效果,而智能分析结合了这三者的优点提出全方位的分析与决策建议。因果推断任务与实际应用Causal Discovery因果发现Identification of Causal Quantities因果量的识别Causal Effect Estimation因果效应估计Policy Learning策略学习Counterfactual Inference反事实推断XWyZu市场营销-优惠促销活动评估-定价策略-渠道效果-广告效果分析决策分析-投资决策-产品开发决策风险管理-项目风险评估-市场风险风险评估大模型的
4、潜能与挑战Large Language Model数据理解代码生成指令跟随语义理解上下文格式化理解推理信息抽取角色模仿API理解思考.能力涌现资源挑战计算资源需求-异构算力需求-分布式计算-资源可伸缩性存储资源需求-海量数据存储-高速存储需求网络资源需求-高速带宽需求阿里云ACK Serverless提供的能力CPUGPUNPUVPC/eRDMANAS/CPFS资源调度KubeflowKubeDLAI任务管理IaaS资源管理Kube-queueOSS资源弹性与任务调度针对AI、大数据工作负载编排优化ECI PodECI PodECI PodECIPodECI PodECI Pod异构算力资源管
5、理大规模并发弹性大规模并发弹性:30秒创建出ECI Pod 3000个,单集群支持 2 万 ECI 实例,满足资源弹性的需求资源成本降低资源成本降低:按需申请/释放大规模算力,资源保有量可以回收到0,有效降低资源成本异构算力异构算力:统一管理不同规格、不同品牌GPU、CPU、存储等资源,提升资源利用率降低管理和使用难度数据加速数据加速:通过fluid进行数据集加速,提升大模型在训练和推理过程中数据的读取速度,通过缓存避免远程读取,支持混合云的数据读取,支持冷加载、预热,缓存配比等丰富控制策略,适配不同场景数据集加速HDFSOSSnode1PodPodnode2Pod分布式缓存HPA 水平伸缩P
6、odPodPodPodPodVPA 垂直伸缩PodPod定时伸缩PodPodPodPod数据集 混合云 多数据源 加速 插件扩展ECI PodECI PodECI PodECI PodPod大模型、因果推断与阿里云云原生协同LLMCausal DiscoveryCausal Effect EstimationCounterfactual InferenceCausal GraphSimulation Datasetswith Causal RelationshipsLLM-Powered ABMAgent.ACK Serverless 集群+云原生AI套件云原生AI基础设施层任务队列Kube-
7、queue数据集加速FluidAI作业管理KubeflowArena弹性训练ET-operatorServerless推理Kserve大模型下的因果发现02因果发现助力决策分析因果发现 on BANK ABM 数据因果发现市场研究和消费者行为分析:-了解广告、促销和市场活动对销售的实际影响关系。-探索产品特征、价格策略和消费者行为之间的因果关系。营销效能分析:-识别广告、市场活动和社交媒体推广对销售和品牌知名度的实际影响。-调整广告内容和策略以提高营销因果影响。财务决策和投资分析:-评估不同投资决策对财务绩效的潜在影响关系。-研究财务政策变化对企业价值和股价的影响。-预测市场波动对投资组合的风
8、险和回报的影响。基于TableAgent的因果发现因果分析服务算力支撑,算力支撑,因果发现算法需要足量的算力支撑,LLM的推理需要GPU资源支撑。灵活弹性灵活弹性,灵活应对高峰和低谷的弹性较大,需要有合理的架构弹性资源管理机制。痛点基于ACK Serverless 部署线上模型,提供快速、低成本的算力弹性,资源成本节省60%基于ACK AI套件,对GPU和AI工程性优化,GPU利用率提升100%,AI训练速度提升20%,数据访问效率提升30%基于阿里云Serverless方案Causal DiscoveryLLMDatasetCausal GraphCorrectedCausal GraphC
9、ausationDiscrimination CausationInterpretationDirection RecognitionKey Relationship RecommendationCausal Graph DBLarge Language ModelTabel AgentDB&File System基于Serverless的大模型增强因果分析基础资源层ACK Serverless 集群+云原生AI套件云原生AI基础设施层任务队列Kube-queue数据集加速FluidAI作业管理KubeflowArena弹性训练ET-operatorServerless推理Kserve灵骏集群
10、CPU/GPU/NPUOSS/CPFSVPC/RDMA基于代理的因果推断03基于大模型的代理654321LLM Agent-角色设定-角色扮演角色扮演-会话记忆-历史经验记忆能力-思考反思-计划能力思考能力问答能力-报告生成-行动判断编码能力-Debug能力-编码能力API理解-API调用-工具应用基于TableAgent的因果推断分析LLM-Powered ABM与因果推断研究04ABM 2.0:大模型引擎的力量基于大模型的 ABM 意为通过大预言模型模仿代理(或智能体代理),是一种在类似人类行为的可信赖的虚拟实体,能够模拟人类的行为和决策,以便在虚拟环境中与用户或其他代理进行交互。这种智能
11、体代理通常被用于模拟虚拟世界、仿真研究、自动化决策和其他应用中,对于提升用户体验、社会观察研究等有非常大的。虚拟助手:多智能体代理可以用作虚拟助手,帮助用户解决问题、提供信息,或执行任务,如聊天机器人、虚拟客服等。自动化决策和规划:在自动化领域,多智能体代理可以用于自动规划和决策,例如自动驾驶汽车中的智能代理,或者供应链管理中的协调代理。推演与决策:可以用于社会科学、心理学、经济学和其他研究领域,以模拟人类行为,进行实验和观察。基于LLM-Powered ABM的数据获取智能体代理个体相互影响可干预性数据完整性保存因果关系反事实数据仿真性数据特性LLM-PoweredAgents1 更完整的特
12、征2 因果关系抽取3 反事实数据4 时序类反事实数据AgentAgentAgentDataSetsLLM Based数据提取云原生AI基础设施层ACK Serverless 集群+云原生AI套件任务队列Kube-queue数据集加速FluidAI作业管理KubeflowArena弹性训练ET-operatorServerless推理Kserve助力因果业务决策&因果推断研究Train DataSetEvaluate DataSetEvaluate MetricsTrain data with all features or limited features Test data with all
13、 features or limited featuresAuuc,Gini,RLossTrain dataTest data with counterfactual Auuc,Gini,RLoss,Rmse.Train dataTest data&Causal Rank ListAuuc,Gini,RLoss,Rmse.提供完备的数据基础,下表以因果效应估计举例:数据具有更加广泛的适用性,适用各个领域算法研发与评估Causal Discovery,Causal effects estimations,IV Model,.Bayesian networkMachine LearningDeep
14、 LearningYLearn&CausalLab05YLearnForestEstimatorModelsEstimatorModelPolicyAPI:WhyInterpreterInstrumental VariablesS-LearnerT-LearnerX-LearnerCausalTreeDoubleMLDoublyRobustTree Policy LearnerCausal Effect InterpreterPolicy InterpreterCausalDiscoveryLinearNonLinearCausalModelCausalGraphBackdoor AdjustmentFrontdoor AdjustmentGeneral Causal IdentificationInstrument variables identifyWhatifCausalForestCTCausalForestGRForestMetaLearnerModelsCausal LabTHANKS