A vLLM out-of-tree platform plugin that enables running vLLM on NPU (Ascend/torch_npu).
Last updated: 3 days agoOmni_Infer is a suite of inference accelerators designed for the Ascend NPU platform, offering native support and an expanding feature set.
Last updated: 8 months agoMindSpore的vLLM插件，支持基于vLLM框架部署MindSpore模型的推理服务。
Last updated: 9 months agoMindSpore 自定义算子扩展（ms_custom_ops），是依托 MindSpore 原生的自定义算子与自定义 pass 能力构建而成的独立算子扩展插件包。
Last updated: 9 months agoMindSpore 自定义算子扩展（ms_custom_ops），是依托 MindSpore 原生的自定义算子与自定义 pass 能力构建而成的独立算子扩展插件包。
Last updated: 12 months agoMindSpore的vLLM插件，支持基于vLLM框架部署MindSpore模型的推理服务。
Last updated: 12 months agoMindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件： 提供业内主流的Transformer类预训练模型， 涵盖丰富的并行特性。 期望帮助用户轻松的实现大模型训练。 文档：https://mindformers.readthedocs.io/zh-cn/latest/
Last updated: 1 year agoA connecting link module between frontends and Ascend processors.
Last updated: over 1 year agoMindSpore is a new open source deep learning training/inference framework that could be used for mobile, edge and cloud scenarios.
Last updated: over 1 year agoMindSpore document
Last updated: over 1 year ago
