灵活组合基础设施

AI 服务套件

支撑 AI 服务的整体系统

在客户生产环境部署运行， 即刻激活算力，轻松获得完整的 COREMESH AI 服务能力

AI 服务部署套件

支撑 AI 服务的整体系统

在客户生产环境部署运行， 即刻获得完整的 COREMESH AI 服务能力

基础系统模块

AI 编译器 CoCo

  • 基于 MLIR 框架构建，支持对多种框架（PyTorch、 TensorFlow 等）的 AI 模型进行自动编译优化。
  • 已编译加速多个 AI 领域的算法模型。计算机视觉方面：ResNet、YOLO 等。大语言模型方面：LLaMa、ChatGLM、Vicuna等。
  • 支持针对多种硬件设备（X86 AVX-512、ARM NEON、CUDA 等）进行编译优化。

AI 推理框架 CoInf

  • 根据 Cober 的调度策略，以算子与可中断程序块为粒度，在运行时调度执行由 CoCo 编译的 AI 模型。
  • 包含用户态管理的多级异构内存系统，充分利用不同内存设备间的传输带宽，实现动态分配计算设备的内存空间，减少内存浪费。
  • 包含 JIT 的模型控制流卸载，平衡调度与计算连续性，减少异构计算设备间的通讯开销。

AI 云原生框架 Cober

Cober 以 Kubernetes 容器服务为基础，结合内核插件与用户态运行库 CoInf 实现用户态/内核态的设备虚拟化，支持算力超卖；通过向下封装，实现对各类异构资源的统一管理；向上支持符合标准的 Kubernetes 集群环境和 API，大幅降低系统接入成本；支持部署在公有云、企业自建云和自建集群、边缘集群等各类硬件环境。

AI 编译器 CoCo

  • 基于 MLIR 框架构建，支持多种 AI 框架（PyTorch、TensorFlow、ONNX 等）的原生算法模型进行自动编译优化。
  • 已编译加速多个 AI 领域的算法模型。计算机视觉方面：ResNet、YOLO 等。大语言模型方面：LLaMa、ChatGLM、Vicuna等。
  • 支持针对多种硬件设备（X86 AVX-512、ARM NEON、CUDA 等）进行编译优化。

AI 推理框架 CoInf

  • 根据 Cober 的调度策略，以算子与可中断程序块为粒度，在运行时调度执行由 CoCo 编译的 AI 模型。
  • 包含用户态管理的多级异构内存系统，充分利用不同内存设备间的传输带宽，实现动态分配计算设备的内存空间，减少内存浪费。
  • 包含 JIT 的模型控制流卸载，平衡调度与计算连续性，减少异构计算设备间的通讯开销。

AI 云原生框架 Cober

Cober 以 Kubernetes 容器服务为基础，结合内核插件与用户态运行库 CoInf 实现用户态/内核态的设备虚拟化，支持算力超卖；通过向下封装，实现对各类异构资源的统一管理；向上支持符合标准的 Kubernetes 集群环境和 API，大幅降低系统接入成本；支持部署在公有云、企业自建云和自建集群、边缘集群等各类硬件环境。