DeepInfer 是 DeepSeek 官方开源的高性能大模型推理框架,支撑 DeepSeek 大规模生产服务,开源版本提供离线推理与规模化服务所需的核心能力
最近更新: 23小时前llama.cpp 是 Meta 的 LLaMA 模型(及其他模型)的纯 C/C++ 推理实现
最近更新: 4天前MindSpore is a new open source deep learning training/inference framework that could be used for mobile, edge and cloud scenarios.
最近更新: 5个月前鸿蒙系统上使用Qwen2.5-0.5B进行推理。
最近更新: 6个月前