Add torch-style distributed operators: permute, reshape, view, softmax, transpose, embedding, cat · Pull Request !124 · MindSpore/hyper-parallel

### 相关的Issue
无。

### 原因（目的、解决的问题等）
**背景与动机**  
本PR旨在为MindSpore的Hyper-Parallel仓库引入PyTorch风格的分布式算子，以提升框架的兼容性和易用性。目前，MindSpore在分布式训练中缺乏与PyTorch对齐的算子接口，这可能导致用户从PyTorch迁移模型时遇到额外适配工作。通过添加这些算子，用户可以更无缝地使用熟悉的PyTorch式API进行分布式计算，降低学习成本并加速开发效率。  
**解决的问题**：  
- 填补MindSpore在Torch风格分布式算子方面的空白。  
- 支持常见张量操作（如形状变换、嵌入层）的分布式实现，覆盖模型训练中的关键场景。

### 描述（做了什么，变更了什么）
**核心变更摘要**  
本PR开发了7个Torch风格的分布式算子：`permute`、`reshape`、`view`、`softmax`、`transpose`、`embedding`、`cat`。这些算子的功能与PyTorch对应算子完全一致，参数设计也保持对齐，确保用户可以直接迁移现有代码。  
**详细实现细节**：  
1. **算子开发**：  
   - 基于MindSpore现有相似功能的算子代码进行复用和适配（例如，复用形状推断逻辑），减少重复代码。  
   - 每个算子均遵循Torch的API规范，例如：  
     - `permute`：支持维度重排。  
     - `embedding`：支持分布式嵌入层的前向传播。  
     - `cat`：支持沿指定维度拼接张量。  
   - 在YAML配置文件中注册了新算子，确保它们能被分布式调度器正确识别和调用。  
2. **代码质量**：  
   - 注重代码复用性，尽可能共享基础逻辑（如张量布局处理）。  
   - 添加了必要的注释和文档字符串，便于维护。  
3. **测试验证**：  
   - 本地单元测试（UT）和系统测试（ST）均已通过，确保算子功能符合预期。  
   - 测试覆盖了正常场景、边界条件（如空张量）和错误处理。

### 测试用例（新增、改动、可能影响的功能）
**测试覆盖范围**  
为验证算子的正确性和稳定性，本PR在以下目录补充了测试用例：  
- **UT测试**（`tests/mindspore/ut/parallel_ops_infer`）：  
  - 添加了针对每个算子的单元测试，包括：  
    - 基础功能测试（如`reshape`的形状变换验证）。  
    - 分布式场景测试（如多卡环境下的梯度同步）。  
  - 测试用例设计参考了MindSpore和PyTorch的官方测试标准。  
- **ST测试**（`tests/torch/shard/ops`）：  
  - 补充了系统测试，模拟真实分布式训练环境，验证算子与框架其他模块的集成效果。  
  - 覆盖了数据并行和模型并行场景。  
### 可能影响的功能 
- 本PR为新增功能，不影响现有算子的行为。但建议用户在使用新算子前，参考文档了解分布式配置要求。  
- 修改仅限于新算子和测试代码，无破坏性变更。

类型	指派人员	状态
审查	@yangzhenzhang 由 CODEOWNERS 文件第 35 行指派为审查者	进行中 (0/1人)
审查	kisnwang changzherui chaoran	已完成 (0/0人)

MindSpore / hyper-parallel关闭 .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore / hyper-parallel
关闭