1、香山昆明湖架构虚拟化扩展的设计和技术规划裴晓坤1徐泽凡21中国科学院大学2中国科学技术大学2023 年 8 月 24 日第三届 RISC-V 中国峰会中国科学院计算技术研究所(ICT,CAS)2 2目录 虚拟化技术 RISC-V虚拟化扩展 香山虚拟化扩展设计思路 香山虚拟化扩展功能验证 总结与展望中国科学院计算技术研究所(ICT,CAS)3 3目录 虚拟化技术 虚拟化技术的概念 虚拟化技术的分类 虚拟机管理程序 RISC-V虚拟化扩展 香山虚拟化扩展设计思路 香山虚拟化扩展功能验证 总结与展望中国科学院计算技术研究所(ICT,CAS)4 4虚拟化技术概念 一种资源管理技术 单台计算机中的硬件资

2、源划分为名为虚拟机(VM)的多个虚拟计算机 常见的虚拟化技术中国科学院计算技术研究所(ICT,CAS)5 5虚拟化技术分类 根据虚拟化程度，可以将虚拟化分为以下几类操作系统级虚拟化全虚拟化半虚拟化混合虚拟化硬件辅助软件实现半虚拟化硬件辅助虚拟化中国科学院计算技术研究所(ICT,CAS)6 6虚拟化技术分类 根据虚拟化程度，可以将虚拟化分为以下几类操作系统级虚拟化全虚拟化半虚拟化混合虚拟化硬件辅助软件实现半虚拟化硬件辅助虚拟化中国科学院计算技术研究所(ICT,CAS)7 7虚拟化技术虚拟机管理程序 虚拟机管理程序（VMM，也称 Hypervisor）分为两种：Type-1，native or b

3、are-metal hypervisors：在裸机运行 Type-2 or hosted hypervisors：在操作系统上运行Hardware HypervisorGuest OSGuest OSGuest OSAppAppAppAppAppAppType-1Hardware Host OSGuest OSGuest OSAppAppAppAppAppAppType-2Hypervisor中国科学院计算技术研究所(ICT,CAS)8 8目录 虚拟化技术 RISC-V虚拟化扩展 内容介绍 支持情况 香山虚拟化扩展设计思路 香山虚拟化扩展功能验证 总结与展望中国科学院计算技术研究所(ICT,C

4、AS)9 9RISCV虚拟化扩展内容 CPU虚拟化 特权级拓展 CSR拓展 指令拓展 Trap拓展 内存虚拟化 两阶段地址翻译：客户机的地址翻译、主机的地址翻译客户机虚拟地址客户机物理地址主机物理地址客户机地址翻译主机地址翻译中国科学院计算技术研究所(ICT,CAS)1010RISCV虚拟化拓展支持情况 软件层面支持：模拟器：QEMU、Spike Hypervisor：KVM、Xvisor、Bao等硬件层面支持：开源：Rocket chip、NOEL-V、CVA6 商业：赛昉的昉天枢、SiFive 的 P 系列等中国科学院计算技术研究所(ICT,CAS)1111目录 虚拟化技术 RISC-V虚

5、拟化扩展 香山虚拟化扩展设计思路 CPU虚拟化 内存虚拟化 香山虚拟化扩展功能验证 总结与展望中国科学院计算技术研究所(ICT,CAS)1212香山虚拟化扩展设计CPU虚拟化 特权级 新增V位，区分VS和HS、VU和UHypervisor CSRhstatus、hedeleg、hideleg、hvip、hip、hie、hgatp等Virtual Supervisor CSRvsstatus、vsip、vsie、vstvec、vsepc、vsatp等Machine CSRmstatus、mideleg、mip、mie、mtval2（新增）、mtinst（新增）Hypervisor指令访存指令HL

6、V.width、HLVX.HU/WU、HSV.widthFence指令HFENCE.VVMA/GVMA Trap 增加VS级陷入陷出的处理 CSR寄存器MSUMHSVSUVU新增中断VS software interrupt、VS timer interrupt、VS external interrupt、Supervisor guest external interrupt新增异常Environment call from VS-mode、Instruction guest-page fault、Load guest-page fault、Virtual instruction、Store/

7、AMO guest-page fault中国科学院计算技术研究所(ICT,CAS)1313香山虚拟化扩展设计内存虚拟化 地址翻译模式 Sv39-Sv39+Sv39x4 内存页表查询 访存维度 访存次数中国科学院计算技术研究所(ICT,CAS)1414 MMU（Memory Management Unit）增加第二阶段的翻译，客户机物理地址-主机物理地址 存储两阶段翻译过程中的页表，L1TLB和L2TLB的Page CachePage Table WalkerLast Level Page Table WalkerPage Cache香山虚拟化扩展设计内存虚拟化L1TLBL2TLBMMU中国科学

8、院计算技术研究所(ICT,CAS)1515 增加第二阶段地址翻译 新增Hypervisor Page Table Walker，负责客户机物理地址转换为主机物理地址Page Table WalkerLast Level Page Table WalkerPage CacheHypervisor Page Table Walker香山虚拟化扩展设计内存虚拟化L2TLB一级页表二级页表三级页表一级页表二级页表三级页表第一阶段第二阶段中国科学院计算技术研究所(ICT,CAS)1616 L1TLB存储项修改香山虚拟化扩展设计内存虚拟化L1TLB entryL1TLB entryvpn/tagvmidp

9、pnpermasid gvpn：第一阶段翻译的ppn，第二阶段翻译的vpn g_perm：第二阶段翻译得到的perm vmid：所属虚拟机的idvpn/tagppnpermasidg_permgvpn中国科学院计算技术研究所(ICT,CAS)1717 L2TLB存储项修改 同一个结构存储三种类型的entry，使用type区分香山虚拟化扩展设计内存虚拟化L2TLB entryvpn/tagppnpermasidL2TLB entrytagdatapermidHost entryvpn ppnpermasidVS-stage entryvpngvpnpermasidG-stage entrygvp

10、nppng_permvmidtypetype=00type=10type=11中国科学院计算技术研究所(ICT,CAS)1818目录 虚拟化技术 RISCV虚拟化扩展 香山虚拟化扩展设计思路 香山虚拟化扩展功能验证 验证框架 单元测试 系统测试 总结与展望中国科学院计算技术研究所(ICT,CAS)1919香山虚拟化扩展功能验证验证框架 以DiffTest框架为核心，进行验证 DiffTest：在线差分验证框架 NEMU：高性能指令级解释器 验证NEMU：NEMU Spike（已完成）验证香山：香山 NEMU（调试中）SpikeDiffTestNEMU香山DiffTest中国科学院计算技术研究所

11、(ICT,CAS)2020香山虚拟化扩展功能验证单元测试 虚拟化验证程序集：riscv-hyp-tests 开源项目，https:/ 9个测试程序，共108个测试点，包含CPU虚拟化和内存虚拟化 用于测试虚拟化扩展的基本功能测试用例名测试内容tinst_tests触发各种情况的 pagefault，检查 mtinstwfi_exception_tests不同特权级下，wfi 指令可能引发的异常hfence_test虚拟化 fence 指令的功能virtual_instruction虚拟化指令异常的触发interrupt_testsVS 级软件中断的触发以及其代理机制check_xip_regs

12、中断相关的 CSR 寄存器的读写m_and_hs_using_vs_access测试 mprv 位的功能、虚拟化访存指令second_stage_only_translation测试只有第二阶段地址翻译的情况two_stage_translation测试 VS 级下的地址翻译情况中国科学院计算技术研究所(ICT,CAS)2121香山虚拟化扩展功能验证系统测试 Xvisor 开源 type-1 hypervisor OpenSBI+Xvisor+Guest LinuxOpenSBIXvisorGuest Linux NEMU运行Xvisor效果中国科学院计算技术研究所(ICT,CAS)2222香

13、山虚拟化扩展功能验证系统测试 KVM Type-2 hypervisor（有分类认为type-1）OpenSBI+Linux+kvmtool+Guest Linux kvmtool：轻量级的虚拟机管理工具OpenSBIHost LinuxGuest Linuxkvmtool NEMU运行KVM效果中国科学院计算技术研究所(ICT,CAS)2323目录 虚拟化技术 RISC-V虚拟化扩展 虚拟化扩展设计思路 虚拟化扩展功能验证 总结与展望中国科学院计算技术研究所(ICT,CAS)2424总结与展望 总结 虚拟化技术、RISC-V虚拟化拓展的内容 CPU虚拟化和内存虚拟化在香山上的实现 香山功能验证 展望 RISC-V AIA（Advanced Interrupt Architecture）RISC-V IOMMU敬请批评指正！