2023龙蜥操作系统大会浪潮信息分论坛：智算系统软件分论坛.pdf

2023龙蜥操作系统大会浪潮信息分论坛智算系统软件分论坛！智算时代的底层软件：Hypervisor+Unikernel王 雷 教授目录研究背景与意义Rust-Shyper：基于Rust语言的Type I虚拟机监控器Unishyper：基于Unikernel的操作系统内核智算时代“端”侧的主要场景专用-集成化图形化用户界面、传感器数据采集、人机交互、路径规划等单核-多核异构硬件处理器包含多个核心从而可以同时运行多个任务简单一致-混合关键性需要同时运行和管理关键任务和非关键任务车载系统图形化传感器人机交互路径规划关键任务飞控导航非关键任务视频采集目标识别Hypervisor混合关键系统安全性隔离性生态兼容性Unikernel定制化实时性可靠性多分区实时操作系统 LynxOS、INTEGRITY、VxWorks 满足 ARINC 653 等时间域和空间域隔离设计的软件标准 依赖于特定的RTOS；多平台移植能力差；闭源且收费昂贵基于服务器的虚拟化技术Xen、KVM 在桌面、服务器和云计算等领域获得巨大的成功可信计算基较大，难以通过ARINC 653 等工业安全认证无法保证关键任务满足必要的实时性约束使用传统C语言编程实现新型嵌入式虚拟化技术Xvisor、XtratuM、Jailhouse、ACRN拥有较小的可信计算基通过资源固定分配的策略以及实时虚拟化技术保证关键任务的实时性约束资源利用率较低、未能完全解决实时性虚拟化的问题使用传统C语言编程实现虚拟化研究现状Mirage OS基于LibOS思想，可在Xen或KVM下运行应用与内核均使用OCaml编写HermitCore&RustyHermit为云环境提供运行时RustyHermit可以直接运行Rust应用程序，也支持C/C+/Go/Fortran应用程序的运行Unikraft一个高效、安全、开源的Unikernel Development Kit从一套clean-slate的API开始构建，复用现有工作的组件https:/arxiv.org/abs/2104.12721v1Unikernel研究现状Unikernel在嵌入式领域的应用仍然存在着各种问题与挑战Unikernel在拓展性与高性能方面难以权衡Unikernel内部的隔离性无法保证Unikernel缺乏独立运行时的可靠性保证Unikernel的易用性需要加强现有主流unikernel存在的问题：从零开始搭建：开发难度大，逐步走向复杂通用操作系统的模块化：依旧没有完全摆脱宏内核结构内部的复杂依赖均是面向云服务设计，缺乏针对嵌入式场景的可靠性保障与应用生态支持单地址空间+C语言=不安全依赖hypervisor实现实例间的隔离故障=整个实例崩溃要求和挑战最小化可信计算基，增加系统的可靠性和安全性轻量高实时隔离性效率嵌入式对实时性能敏感，需要保障上层VM的实时性，并尽量减少VM-Exit各个VM的硬件资源、故障等的隔离，不能相互影响最小化系统资源和性能的开销虚拟化技术简介01功能：上下文切换、核心管理与调度异常处理、中断控制；设备模拟和分配；电源管理等02分类：Type-1型：裸机HypervisorType-2型：宿主机Hypervisor03虚拟化方法：二进制翻译的全虚拟化（Full Virtualization）准虚拟化或半虚拟化（Para-Virtualization）硬件辅助的全虚拟化（Hardware-assisted Virtualization）Rust语言系统开发Rust for LinuxRust for WindowsRedoxRusty-HermitMozilla FirefoxRustPi、Rust-ShyperWhy Rust？Rust语言内存安全且高性能（所有权、借用检查、生命周期机制）可靠性与可维护性社区与生态unsafe RustarXiv:2303.11186v2 cs.OS 23 Mar 202313 基于Rust语言的Type I虚拟机监控器，具备更好的隔离性和更轻量的代码实现。基于AArch64、能够支持Linux、裸应用等系统软件的运行 灵活、动态创建并配置虚拟机，能够为实时操作系统创建实时虚拟机，保障嵌入式场景的实时需求 具备资源隔离属性，保障不同虚拟机间的隔离性 实现多种模拟设备，提供基本的磁盘、网络、串口等设备的虚拟化实现，提高资源利用率 提供传统虚拟机迁移机制以及本地热更新机制，保障虚拟机监控器正常运行过程中的可靠性Rust-Shyper特点1415 核心隔离需要保障虚拟机的vCPU运行状态不应受到其他虚拟机的篡改 不同物理核心上vCPU的隔离与同一物理核心上vCPU的隔离空间域隔离处理器核心隔离Rust-Shyper设计16 对于VM：地址空间直接映射 VM启动前预先建立内存和设备地址的二阶段映射页表 对每一个CPU核心都分配独立的内核堆空间空间域隔离地址空间隔离Rust-Shyper设计17时间域隔离中断隔离 保证每一个虚拟机以及虚拟机监控器可以收到正确的中断 保证虚拟机之间无法通过发送软中断干扰运行 保证虚拟机的中断配置无法被其他虚拟机修改SPI：共享外设中断PPI：私有设备中断SGI：软件产生中断vIRQ：hypervisor产生的虚拟中断Rust-Shyper设计18时间域隔离I/O设备隔离 保证虚拟机无法通过伪造I/O请求获取不属于自身的数据或服务 设备直通 为指定vm建立设备地址空间的二阶段地址翻译 中介传递 Rust_shyper从请求受理和中断注入的两个层面进行校验Rust-Shyper设计19时间域隔离网络隔离 保证虚拟机之间网络服务不被相互访问和篡改 利用MVM的网络协议栈及原生网卡驱动为其他VM提供网络服务Rust-Shyper设计201、中断虚拟化全模拟设备Aarch64虚拟化扩展，把GICV直通给操作系统作为GICCHypervisor模拟实现VGIC，作为GICD提供给操作系统2、设备虚拟化半模拟设备Virtio设备：广泛使用的半虚拟化协议框架；支持多种类型的设备模拟，拥有良好的扩展性；3、直通设备需实现对应平台的IOMMU来控制DMA设备的访存行为；ARM平台对应的是SMMU；Rust-Shyper设计21 Hypervisor完成I/O处理过程中的长时间陷入带来的额外开销 Virtio半虚拟化方式驱动移植的工作量较大 直通设备受到物理外设资源的限制 TX2 开发板上只有一个 SSD 外设接口与一个 eMMC 存储 直通给某台虚拟机后，别的虚拟机就没有多余设备资源问题分析offload思想 将物理外设直通给Monitor VM使用 在Hypervisor层面截获Virtio frontend发起的设备访问请求，解析访问信息（如访存信息、网卡等）后通过 IPI 核间通信传递给MVM 向MVM注入中断，由MVM上的原生驱动完成外设I/O操作Rust-Shyper设计22中介传递设备实时性优化在系统运行过程中，Hypervisor需要处理来自上层VM 的 多 种 不 同 的 同 步 异 常 陷 入（设 备 模 拟、hypercall等）。优化方法：将Hypervisor的同步异常处理流程异步化，并将处理过程转移到特定的物理核心去完成。中介异步任务组成部分：任务生成模块；任务调度器；任务缓冲队列；任务执行单元；Rust-Shyper设计Rust-Shyper项目代码量统计LanguagefilesblankcommentcodeRust962414269918229Assembly9175195992SUM:1052589289419221Unsafe Rust使用：141 LoC代码组成Unsafe Rust 代码量24NVIDIA Jetson TX2硬件信息硬件信息处理器2*Denver 64-bit处理器/4*Cortex A57处理器内存8GB L128 bit DDR4内存磁盘32GB eMMC 5.1网卡10/100/1000 BAST-T 以太网I/O插槽PCI-E x4、SATA、GPIO测试软件信息测试软件信息虚拟机监控器Rust-Shyper/KVM/Jailhouse/SyberX模拟设备Rust-Shyper模拟设备/QEMU管理虚拟机Linux for Tegra客户虚拟机Linux 4.9.140实时虚拟机PREEMPT_RT LinuxBIOSU-BOOT测试集Lmbench/UnixBench/MiBench/IOZone/Cyclictest扫描规则ISO-17961/MISRA_2004/C_CPP缺陷检测项/Rust-clippyMVMGVM0GVM1RTVMCPU1111内存1.5GB2GB2GB2GB中断控制器vGICvGICvGICGIC串口NS16550/VirtioVirtioVirtioNS16550磁盘100G(SSD)100G(SSD)100G(NFS)32G(eMMC)网卡直通/VirtioVirtioVirtioN/A树莓派4BNVIDIA TX225LmBench测试中，Rust-Shyper虚拟机的操作系统基本性能达到原生操作系统的95%，与C语言编写的Shyper和KVM相近(a)文件操作延迟(d)系统调用延迟(b)本地通信带宽(c)进程创建延迟26Rust-Shyper虚拟机处理器与内存性能达到原生操作系统的93%，与C语言编写的Shyper和KVM基本持平27IOZone磁盘吞吐测试，横轴为磁盘单次读写的大小，单位KBRust-Shyper虚拟机的I/O性能达到原生操作系统的90%(a)磁盘随机读吞吐量(d)磁盘随机写吞吐量(b)磁盘读吞吐量(c)磁盘重复读吞吐量(e)磁盘写吞吐量(f)磁盘重复写吞吐量28Cyclictest任务抖动测试，Rust-Shyper RTVM虚拟机的延迟抖动低于Jailhouse NoneRootCell，能够满足嵌入式实时需求测试条目测试条目MinAvgMaxNative-L4T512369Rust-Shyper-MVM415456KVM-Guest8151022Rust-Shyper-GVM313364Jailhouse-NoneRootCell5926Rust-Shyper-RTVM2521Cyclictest测试结果Unishyper：基于Rust的高可靠模块化嵌入式Unikernel嵌入式Unikernel单地址空间与单特权等级设计与多核多线程支持模块化多平台支持丰富的设备驱动与库支持，兼容Rust生态基于 offload 思想的 Unilib 库支持高可靠硬件支持的单地址空间访存隔离故障捕捉与恢复机制30Libs模块线程管理与调度信号量与同步支持Terminal文件系统Fat-fsUnilib-fs网络协议栈smoltcp核心部分中断管理内存管理时钟管理驱动部分中断控制器驱动（必须）串口驱动磁盘驱动网卡驱动体系结构相关Aarch64x86_64RISC-V用户接口shyperstdUnishyper-API31体系结构支持Aarch64x86_64RISC-V 64 运行平台支持虚拟化平台QEMU/KVMShyper Hypervisor硬件平台Nvidia Tegra X2Raspberry Pi 4 Model BKendryte K21032接口定义条件编译选项33“传统”的文件协议栈磁盘块设备驱动+文件系统+用户接口库基于 Offload思想 的Unilib接口设计一组通用的 Hypercall 接口设计尝试让 MVM(Linux)内的文件系统接管Unikernel的文件操作实现对于 unikernel，只需要传入不同的参数对于 hypervisor，只需要做请求转发与结果回传对于 MVM 在用户态守护进程调用libc标准库完成fs操作HVC+轮询 or notify34单地址空间管理全局共享页表page_allocator 与 frame_allocator支持 4KB 页映射 与 2MB 大页映射基于所有权机制的内存访问模型35Intel-MPK 轻量的用户态内存隔离机制 页表项中的第59至62位共四位叫做保护键（Protection Key）可将内存划分为十六个区域，有选择地禁用或启用对其的访问 PKRU是一个32位的寄存器，分成16对 每对bit代表一个键值（key）AD位为1：禁止访问 WD位为1：禁止写入 当被MPK保护的页被访问时，会触发页异常（Page Fault）机制内存隔离zone 内存划分为不同的zone，每一个zone_id对应一个protection key 所属于不同zone的线程无法访问属于对方的内存空间 内存隔离zone 设计是一个通用的设计 ARM架构下Domain Access Control以及Memory Address Tagging RISCV下同样有类似的 memory tagging 硬件机制高可靠线程粒度的错误处理与追溯机制错误类型与捕获方式 语言：Rust Panic Handler 体系结构：运行时异常 exceptionRust Unwinding panic-strategy:unwind“catch_unwind函数 防止线程运行时故障导致的资源泄漏Unishyper unwind模块 错误现场的捕获 调用链的回溯 thread_wrapper实现37项目规模 20000+行代码(developing)其中 600+汇编代码运行平台serialterminalserial+tcpserial+fatfsserial+tcp+fatfsQEMU128K172K316K329K481KTX2116K164K-Shyper124K176K320K328K480K镜像类型serialterminalterminal+unilibfsterminal+fatfsterminal+fatfs+unilibfsELF3.2M3.6M4.3K6.9M7.0MBinary124K176K204K360K368KUnishyper镜像大小评估 目标架构为 Aarch64，不同运行平台不同配置 目标运行平台为Shyper，启用不同文件系统38MicroBenchmark 线程调度性能较Linux以及同类型Unikernel有显著优势 Zone机制的引入对微观性能的影响在可接受范围内39Network Bench 在延迟表现与小报文带宽方面性能存在较大优势Evaluation可靠性评估Zone内存隔离功能评估内存类型UnishyperUnishyper(zone)RustyHermitOSvLinux栈内存修改抛出异常&退出修改修改修改加密全局变量修改抛出异常&退出修改修改修改共享全局变量修改修改修改修改修改Zone堆内存修改抛出异常&退出修改修改修改共享堆内存修改修改修改修改修改内核内存修改抛出异常&退出修改修改-不同隔离场景测试 不同系统对比测试Evaluation可靠性评估错误恢复功能评估 使用过程宏显式注入panic&exception 观察故障发生时的系统各项状态故障测试项目UnishyperUnishyper(Unwind)RustyHermitOSvLinux系统状态系统退出线程重启/退出系统退出系统退出进程退出资源泄漏系统退出无系统退出系统退出进程退出调用链记录无打印调用链无无无EvaluationUnilib接口设计评估挂载不同FS编译结果对比 基于Unilib接口的FS 二进制文件大小增加不到9%（仅增加约8.4KB）FatFS支持 引入了FatFS依赖和Virtio磁盘驱动代码 编译产物大小翻倍（增加约109KB）代码段增加了约122%的大小Unilib-FS性能 参考MDTest 使用Rust重写文件操作测试 Unilib-FS需要经过完整的hypercall+IPI过程 性能弱于Linux中的FatFS 性能强于Unishyper内部实现的FatFSKBytesno fsUnilib-FSFatFSFatFS+Unilib-FSELF文件3173.1413501.9146140.2506162.258二进制文件95.758104.125204.625208.750.text段64.27369.457142.527144.641.rodata段17.51619.09444.80545.766.data段11.75812.12512.62512.750.bss段16.77316.86717.04717.156基于Unishyper开发的应用案例Http服务器性能 基于ab benchmark进行测试 KVM+Virtio-Net 显著优于RustyHermit 同样采用Smoltcp协议栈项目UnishyperRustyHermit平均每秒处理的请求数（Request Per Second）11190.69#/sec1049.44#/sec处理每个请求的平均时间（Time Per Request）0.089 ms0.953 ms传输带宽（Transfer Rate）950.77 Kbytes/s89.16 Kbytes/s基于Unishyper开发的应用案例 Ring on Unishyper ROSRust on Unishyper45 Rust-Shyper已经在openEuler社区开源 开源地址：https:/ Unishyper已经在gitee上开源 开源地址：https:/ 云峦同行浪潮信息系统软件产品部总经理苏志远产业背景云峦创新产业实践0 01 10 02 20 03 3以应用导向，系统设计为核心算力应用智能化算力应用的智能化对开发和调试要求更为敏捷高效芯片多元异构算力供给多元异构对软硬协同一体化设计提出更高要求算力供给服务化算力供给服务化要求系统软件更强的资源管理能力算力产业趋势浪潮信息技术理念操作系统是软硬协同设计与优化的核心场景驱动软硬协同设计模型架构规范接口标准算力规格交互规范能效规范系统设计服务器系统系统软件通用计算系统 AI计算系统分布式存储系统 高速网络系统云操作系统 大数据平台AI训练推理框架 高性能计算平台操作系统是系统设计的关键硬件特性使能硬件特性优化极致资源利用极致性能提升极致敏捷管理极致安全隔离加解密加速器CXL内存GPUDPU分层内存优化CUDASMR性能动态库内存管理优化容器密度提升资源混部加速器虚拟化异步IO内存优化监控调优OS轻量化内核热升级动态库加载容器迁移调度器热替换态势感知云原生故障隔离安全沙箱安全容器X86ArmGPUDPUFPGA内存硬盘BMCRAID智算软件栈远程运维软件栈存储软件栈云基础软件栈边缘计算软件栈科学计算软件栈大数据软件栈社区是操作系统良性发展，永葆活力的关键Linux 80.8%Windows 19.1%Other 0.1%年全球服务器操作系统市场份额中Linux占比80.8%操作系统技术创新依靠开源社区推动操作系统技术创新通过社区SIG进行独立演进，龙蜥已有59个SIG并行演进IO同步调度器网络bio开源社区虚拟化Linux操作系统发行版epollaioio_uring发行版本mutexBKLspinlockLock-FreeO(1)CFSEEVDFskbXDPSDNeBPFqemuKVMContainerRunD目前，已有近30家国内IT厂商推出了操作系统发行版我国操作系统技术路线基本收敛至社区运营商&CSP软件厂商硬件厂商以OS的产品销售和服务收入为核心的纯软件厂商以硬件厂商为背景的企业，具备硬件与软件的研发实力。能够实现软硬件协同优化，具备全面的软硬件生态体系。三大运营商以及大型云服务商基于龙蜥社区与欧拉社区开发了自己的商业发行版，供集团内部使用。CentOS停止更新CentOS停止更新后，将会面对产品中断，安全漏洞、运维困难、生态缺失等风险2+8+N行业替代至2027年底，全部国央企必须完成关键行业的信息化系统的改造工作技术路线收敛国内所有主流服务器操作系统厂商均抛弃CentOS技术路线，选择国内操作系统社区产业背景云峦创新产业实践0 01 10 02 20 03 3浪潮信息与龙蜥社区强强联合携手龙蜥社区发布云峦KeyarchOS软硬协同技术优势技术创新能力售后服务能力完善的生态国内领先的开源社区百万级真实装机量验证双十一严苛挑战丰富的创新项目十年研究沉淀，KOS历久弥新安腾架构集成多层次非对称资源调度技术显著提升操作系统性能构建内核级操作系统稳定性和高可用特性通过等保三级认证V1-V2X86、ARM等多种架构2022年发布龙蜥衍生版本KOSV5兼容百余款整机、存储、网络、安全设备兼容国内外主流芯片人工智能、虚拟化、云原生场景增强应用高可用、RAS增强、全栈可信X86、Power架构自研内核强制访问控制框架通过等保四级认证服务器操作系统RAS增强集成故障管理工具、性能优化工具V3-V4V52013年2014年2017年2023年2008年2020年2022年应用高可用、RAS增强稳定可靠软硬协同优化、场景增强高效软硬协同自动化、智能化全天候运维安全可信内生安全、主动防御稳定可靠高效软硬协同全天候运维安全可信稳定可靠全方面提升稳定可靠能力内核热升级支持业务不停机升级内核，redis业务达到秒级切换应用程序热补丁支持glibc、qemu、redis、OpenSSL等典型库/应用程序的漏洞在线修复LTP测试通过7*24小时LTP稳定性测试、LTP测试用例通过率达98%集群高可用提供集群高可用软件栈，实现资源管理、故障检测与恢复，支持支持主备，双活，多活等多种集群类型内存镜像保证内核和关键进程使用镜像内存，提升系统和业务程序的可靠性内存故障容错优化应用层和内核数据交互时的UCE降级容错处理，提升系统可靠性内核热补丁不停机修复CVE漏洞和BUG，为已发布内核提供热补丁查询、应用、回退等功能核心部件故障管理支持内存、CPU、硬盘故障的精准定位及故障预测，保障硬件可靠性KeyarchOS从处理器、内存、内核层、应用层多个维度提升操作系统的RAS能力，有效的保障了系统的可靠性软硬协同落地实践基于KeyarchOS的多种软硬协同解决方案，能够根据当前客户系统业务特点及问题，提供对应的解决方案，有效提升业务效率。稳定可靠高效软硬协同全天候运维安全可信高效软硬协同线程抗干扰解决方案基于RDT线程抗干扰解决方案，在系统存在NoisyNeighbor干扰的情况下,Redis性能下降约21.59%，开启后，Redis性能损耗降低至5%以内。加密数据处理解决方案基于QAT的加速解决方案，Nginx性能提升3-5倍、数据压缩速度提升29倍、数据解压缩速度提升4.5倍。基于Intel的CXL内存分级扩展技术，开启分层内存时比未开启分层内存时Redis性能提升12%。内存分级扩展方案网络性能提升方案基于QAT加速网络性能提升技术，在网络通信占比高的场景下，Redis性能提升40%。IO资源控制解决方案基于blk_iocost的IO资源控制技术，在容器化场景下，可以对IO控制进行运行时调整，可以大幅减少运行时IO控制开销。全栈安全加固解决方案基于Ksecurity的安全加固技术，可以提升操作系统的合规性和安全性。异步IO实现方案基于io_uring的异步IO技术，使操作系统顺序读写性能提升190%，随机读写提升30%。基于eBPF容器性能提升技术，同节点网络吞吐量提升47.9%、每秒请求数提升68.6%；跨节点网络吞吐量提升11.6%，每秒请求数提升20.7%。容器性能提升方案稳定可靠高效软硬协同全天候运维安全可信全天候运维KeyarchOS全链条运维工具覆盖KOS提供服务器操作系统高效运维、高效应用、安全合规的配套组件，实现全天候的自动化、智能化运维，节约运维成本高效运维系统稳定与性能优化安全合规InManage系列物理基础设施管理平台及套件，可对服务器/存储/交换设备等统一监控、告警、故障诊断。支持操作系统批量自定义部署、系统迁移等运维能力KSysAK系统分析软件，提供操作系统健康监控、故障诊断及性能分析等运维辅助工具KTrusted系统可信增强组件，提供基于可信根的可信启动及关键程序可信验证功能，满足操作系统信任基构建及合规需求KTuning性能优化软件，提供基于深度学习的智能调优；内置专家经验库，涵盖CPU负载、IO吞吐量、网络性能等，简单易用。系统使用辅助工具KConvert软件包转换工具，轻松将其他linux系统软件包格式转换为KeyarchOS兼容的软件包格式KSecure基于eBPF的“零侵入”安全防御增强组件，提供操作系统安全加固、勒索病毒防御、合规检测等功能KBuilder操作系统镜像构建工具，可构建qcow2、容器、liveISO、ISO等格式，支持软件包自定义InManage Driver服务器高效运维套件，提供性能、部件、日志、告警、自升级等功能，支持智能运维能力故障智能预测、故障智能诊断。X2Keyarch:一键迁移稳定高效关键特性迁移评估：风险评估：对系统进行全面的风险评估，详细列出迁移风险项。配置评估：对内置环境变量、服务命令、内核参数等配置进行评估。硬件评估：对系统板卡进行兼容性评估。应用评估：对系统安装软件进行兼容性评估，包括软件的ABI和CLI。迁移实施：批量迁移：支持批量并发迁移。配置迁移：将原系统中的相关配置按需一键同步至新系统。备份还原：操作系统一键备份及一键恢复。支持版本：支持CentOS7/RHEL7/CentOS8/RHEL8迁移。稳定可靠高效软硬协同全天候运维安全可信全天候运维欢迎大家去浪潮信息展区体验KeyarchOS迁移安全是KeyarchOS的内生基因编码安全威胁建模供应链安全安全基线坚定执行安全左移的软件安全构建模型，国内领先“系统安全可信增强”、“数据安全合规服务”技术，为KeyarchOS内生安全提供原生支持。为用户提供”更可靠的”的安全服务及保障能力。稳定可靠高效软硬协同全天候运维安全可信安全可信践行操作系统领导厂商安全方法论，软件安全构建成熟度模型处于业界领先地位安全左移渗透测试应急响应通过国内安全等级最高测评等保四级认证支持3种可信执行环境，满足机密计算全应用场景需求合规安全能力安全模型可信计算基国内首款轻量级、零侵入式安全防御组件系统可信技术与国际水平持平，领先于国内水平安全增强防护能力安全检测安全防护系统可信防能力可信启动安全启动数据安全服务机密计算国密软件产品坚实底座、全面预装、免费激活与订阅服务KeyarchOS为浪潮信息全部基础设施软件产品提供坚实底座，并随服务器产品全面预装出货产品免费激活、免费使用，采用订阅服务模式，用户按需订阅维保服务超融合一体机大数据一体机InCloudOS分布式存储集中式存储整机带动、生态繁荣200+200+服务器整机、服务器整机、1000+1000+主流板卡部件兼容认证主流板卡部件兼容认证数据库、中间件、虚拟化、容器、云平台、办公软件数据库、中间件、虚拟化、容器、云平台、办公软件主流全覆盖主流全覆盖官方公众号官方公众号“云峦共筑”“云峦共筑”生态圈链接 商机资源共享 运营资源支持产业背景云峦创新产业实践0 01 10 02 20 03 3浪潮信息KOS支撑某高校科学计算集群应用系统软件层基础设施CPUGATK DOCK IMPUTE NAMD AMBER GromacsBLAST MPIBlast生命科学材料科学计算化学高能物理GNU编译器Intel ICC编译器GPUlustre文件系统基础库OPA网卡OPA交换机存储软件基础软件OpenMPIIntel MPICUDA中间件应用集成作业调度器部署监控集群分析工作流数据管理数值气象VaspAbinitMaterial studio SIESTA CASTEP WIEN2k phononGaussian TURBOMOLE ADF GamessCrystal GROMACS Dalton MOLCASchroma quda root CompHEPFeynArtsLoopToolsWRF MAPS-A MM5 Grapes CCSM CESM E3SM BCC-CSMcobbler运维epel软z件源ansiblepuppet客户背景搭建教学与科研工作高效可靠的HPC集群，解决CentOS停更造成的算力、兼容性、安全性等问题建设方案采用浪潮信息KOS，向下统一纳管现有基础设施，向上兼容分部署存储软件、高性能应用软件，满足各学科分类教学实训需求客户收益广泛兼容：兼容主流高性能应用软件、高性能存储软件等。最佳性能：Lustre综合运行性能相比CentOS7提升20%以上。集群Alltoall性能相比CentOS7提升20%。浪潮信息KOS支撑某IPTV内容服务运营商新媒体业务客户背景领先的IPTV内容服务运营商，有CentOS替代需求，要求可实现软硬件一体化交付，开箱即用、快速上线，对兼容适配响应速度、售后服务等要求较高建设方案浪潮信息NF5180M6预装KOS，减少交付成本，支撑IPTV业务应用，提供完善的售后服务客户收益兼容替代：兼容IPTV业务，软硬协同，提供高可靠、高性能的运行环境预装交付：产线预装，开箱即用，降低实施成本专业售后：整机一体化售后服务，响应及时、定位准确、处置视频源站总部Cache备源Slb驻地Cache(Center)驻地Cache(Edge)Slb运营商SDNtoB用户回源记忆回源记忆HTTP 302HTTP 302备路回源浪潮信息英信服务器浪潮信息KOS支撑某省级银行云平台建设PAAS层应用系统IAAS层基础设施设备架构(X86、ARM)软件开发服务适配测试服务通用服务大数据服务综合门户数据库服务（神通、达梦、金仓、瀚高）中间件服务（东方通、金蝶、中创）公文交换OA电子邮件电子签章云管理平台平台安全服务器虚拟化（KVM）云主机计算服务云硬盘VPC其他存储服务网络服务客户背景某省级银行计划搭建私有云平台，承载部分业务，建设一云多芯，多架构集群，需解决生态软硬件兼容性问题。建设方案采用浪潮信息KOS，向下统一纳管现有基础设施，向上接入云平台，支撑业务应用，管理各类资源。客户收益稳定可靠：1w+用户数据秒级同时响应，故障恢复亚秒级，健康巡检，稳定性提升50%以上广泛兼容：兼容主流数据库、中间件、容器等安全可信：端到端业务安全保障100%开放共享，龙蜥共赢SIG贡献、人员贡献、技术贡献技术商业衍生、市场贡献案例共建、人才认证商业品牌站台、活动举办、人才助力资源支持、联合营销、活动/会议组织运营产品认证、运营支持、生态服务生态 以“平台共建、联合创新、繁荣生态”为目标，开放浪潮信息龙蜥联合实验室 整合芯片、整机、板卡、数据库、中间件、ISV 等上下游生态力量，打造一套完善的操作系统产业生态链，推动操作系统产业发展创新KeyarchOS基于Intel平台的软硬一体优化龙蜥社区技术委员英特尔 数据中心事业部 云计算架构师金运通-什么是软件？-我唯一能想到的是，软件是一种变化太快的东西，或者你还不知道自己想要什么，或者你还没来得及把它固化成硬件。By 乔布斯软件与硬件的发展关系软硬一体优化的2个角度快路径与慢路径的结合消除数据中心税数据中心税22-27%of WSC cycles are spent in different components of“datacenter tax”Memove-memcpy()and memmove()Protobuf 序列化/反序列RPC 动态负载均衡/加解密Memory allocation-基于递归数据结构实现Compression 压缩/解压缩占1/4 taxAMX（高级矩阵扩展）QAT(英特尔Quick Assist 技术)DLB（Dynamic Load BalanceDSA(Data Streaming Accelerator)Intel 第四代Xeon上的加速器消除数据中心税IAA(In-Memory Analytics Accelerator)内置 加速引擎，为深度学习推理和训练提供显著的性能提升。4 倍 深度学习推理性能2 倍 深度学习训练性能加速加密，包括私钥保护和数据解压缩 压缩4倍 每平台加密性能 4倍每平台压缩性能多核英特尔 至强 可扩展处理器上提高处理网络数据的系统性能400M 每秒负载均衡决策优化存储、网络和分析中常见的流数据移动和转换操作 5 倍 相较于Intel Quick web增加分析工作负载的每秒查询次数合运营加速是分析的基础网络存储AI数据分析Intel DSA(Data Streaming Accelerator)加速内存操作OperationTypeDescriptionMoveMemory MoveMove data from any source to any destination;Destination/Source can be memory or MMIO(Memory Mapped IO)CRC GenerationCopy with CRC generation;CRC generation for a bufferDIFData Integrity Field(DIF)check for buffer;Copy with DIF insert,strip,or updateDual castCopy data to two destination locations (E.g.,for replication usages)FillMemory Fill Fill memory range with a fixed pattern (E.g.,can be used for zeroing memory)CompareMemory Compare Compare two source buffers and check if contents are identicalDelta Record Create Compare two source buffers and produce delta record;(E.g.,for fast checkpointing)Delta Record Merge Merge source delta record to destination bufferCompare PatternSpecial case of compare where instead of second source,a pattern is specified.FlushCache FlushEvict lines in given address range from CPU caches(CLFLUSHOPT&CLWB flavors)Intel DSA 消除内存操作税Intel DSACPUMemoryCPUMemoryIntel DSA commandDoneLoad from memStore to memLoad from memStore to memzzzDo next compute taskIntel DSACPUMemoryIntel DSA commandDoneLoad from memStore to memLoad from memStore to memLoad from memStore to memDo next compute taskData movement and compute operations execute serially on CPU core(s)Do next compute taskData movement offload to Intel DSA followed serially by compute on CPU coreConcurrent execution of data movement using Intel DSA and compute on CPU coreTime to complete task(lower is better)ABCABC基于英特尔DSA