《刘力-算力魔方^MOpenVINO赋能AI边缘大模型（LEO）20240622 - release.pdf》由会员分享，可在线阅读，更多相关《刘力-算力魔方^MOpenVINO赋能AI边缘大模型（LEO）20240622 - release.pdf（31页珍藏版）》请在三个皮匠报告上搜索。

1、MEETEDGELARGELANGUAGEMODDEL算力魔方+OpenVINO赋能AI边缘大模型刘力算力魔方创始人英特尔边缘创新大使支持大模型IO连接物理世界运行在端侧算力魔方+AIPC算力魔方简介积木式组合算力积木式组合了最新的CPU、GPU、IO模块，组成高效紧凑的计算单元，旨在加速人工智能、物联网、边缘计算等领域的应用开发与实际部署，赋能未来科技的无限可能。开发套件算力魔方开发套件是专为AI与IOT领域的开发者、科研人员及教育工作者设计的高性能、易上手的硬件开发平台。多种产品形态算力魔方提供灵活的系统组成方式，可以实现板卡级、套件、模组、迷你主机、工控机的多种方式，协助开发者搭建开发平

2、台。一站式服务提供定制化服务，可以实现从Idea to Product，协助开发者从概念实现到原型设计到产品化的一站式服务，实现多种行业和场景解决方案。算力魔方简介第一层：CPU模块提供基本功能第二层：扩展模块提供IO扩展功能搭载CPU、内存、M.2 SSD的计算模块算力魔方模块化设计体积小巧支持多种IO/GPU稳定可靠支持定制128mm73mm97mmGPU扩展模块CPU模块算力魔方显卡支持支持8-14代酷睿支持RTX1650(4GB)、A380(6GB)、RTX4060(8GB)显卡算力魔方产品线核心板开发板/套件算力魔方AIPCTank工控机Optimized PerformanceFP

3、GACPUNPUGPUOpenVINO加速生成式AI OpenVINO编程生态指定OpenVINO 为PyTorch 2.x后端ONNX Runtime的OpenVINO 执行提供者OpenVINO 与Optimum的集成OpenVINO 作为后端已集成到 OptimumOptimum Intel 是一个链接Transformers库和Diffusers库与OpenVINO 的工具包，用于加速在英特尔硬件平台上的AI大模型流水线(pipeline)的执行过程!Optimum Intel简单易用！一条命令完成模型的INT4/8量化optimum-cli export openvino-model

4、 Qwen2-1.5B-Instruct-task text-generation-with-past-weight-format int4-group-size 128-ratio 0.8 qwen2-1.5b-instruct_int4Optimum Intel简单易用！无需大幅修改原有代码-from transformers import AutoModelForCausalLM+from optimum.intel import OVModelForCausalLMfrom transformers import AutoTokenizer,pipelinemodel_id=helen

5、ai/gpt2-ov-model=AutoModelForCausalLM.from_pretrained(model_id)+model=OVModelForCausalLM.from_pretrained(model_id)tokenizer=AutoTokenizer.from_pretrained(model_id)pipe=pipeline(text-generation,model=model,tokenizer=tokenizer)results=pipe(Hes a dreadful magician and)pip install optimum-intelopenvino,

6、nncf只需将原本使用的Transformers 库的AutoModelForXxx类替换为Optimum Intel库的OVModelForXxx类即可跨平台跨平台OpenVINO 提供了一个推理引擎，支持多种英特尔硬件，包括 CPU、iGPU、GPU、FPGA支持多种模型支持多种模型易部署易部署开源开源OpenVINO 包括一个模型优化器，可以将各种格式（如TensorFlow 和 ONNX）的预训练深度学习模型转换为其优化的中间表示（IR）格式。一次编写，任意部署”：转换后的模型能够在不同的英特尔硬件平台上运行，而无需重新构建，有效简化了构建与迁移过程OpenVINO是开源工具平台，In

7、tel 提供了丰富的文档、教程和社区支持，以帮助开发人员最大化其工具的使用降低开发成本降低部署成本三步完成Qwen2的本地部署三步完成Qwen2的本地部署v第一步搭建OpenVINO开发环境请下载并安装Anaconda，然后用下面的命令创建并激活名为qwen2的虚拟环境：conda create-n qwen2 python=3.10#创建虚拟环境conda activate qwen2#激活虚拟环境python-m pip install-upgrade pip#升级pip到最新版本使用下面的指令进行存储库克隆、软件包安装、启动笔记本git clone https:/ install-r r

8、equirements.txt#安装软件包jupyter lab notebooks#启动notebook三步完成Qwen2的本地部署v第二步使用OpenVINO_Notebooks内置的推理程序对Qwen2模型进行INT4量化基于OpenVINO内部的llm-chatbotc推理程序，运行后选择中文和qwen2-1.5B模型。通过内部推理程序的代码：optimum-cli export openvino-model Qwen2-1.5B-Instruct-task text-generation-with-past-weight-format int4-group-size 128-ratio 0.8 qwen2-1.5b-instruct_int4将模型进行IN4量化减少模型占用空间的同时并提高推理速度。三步完成Qwen2的本地部署v第三步选择用于推理模型的硬件设备和Optimum-CLI 工具转换模型OpenVINO Qwen2运行实例OpenVINO赋能AI边缘大模型OpenVINO加速Stable Diffusion WebUIOpenVINO加速基于ChatGLM3的企业本地知识库部署三步完成中文Llama3在算力魔方上的优化和部署在算力魔方上使用 TensorRT 部署Yolo V10