distributed ops Topk-Split-Norm · Pull Request !122 · MindSpore/hyper-parallel

distributed ops Topk-Split-Norm
---
### 相关的Issue

### 原因（目的、解决的问题等）
为torch算子：
torch.topk(input, k, dim=None, largest=True, sorted=True, *, out=None)
torch.split(tensor, split_size_or_sections, dim=0)
torch.nn.functional.layer_norm(input, normalized_shape, weight=None, bias=None, eps=1e-05)
增加分布式算子布局推导

### 描述（做了什么，变更了什么）
1. topk torch算子可复用mindspore的分布式算子实现，但另外补充了layouts[0]有效性检验，指定dim有效性检验，不可切轴检验
mindspore.ops.topk(input, k, dim=None, largest=True, sorted=True)

2. split torch算子可复用mindspore的分布式算子实现，但另外补充了layouts[0]有效性检验，extra_args有效性检验，指定dim有效性检验，不可切轴检验
mindspore.ops.split(tensor, split_size_or_sections, axis=0)

3. 新开发了layer_norm torch分布式算子：
添加 LayerNormDistributedOp类，继承自 DistributedOp 类。 layouts[0]拿到输入张量的分布式layout，extra_args[0]拿到normalized_shape。需注意进行维度合法性检查：normalized_shape的维度不能大于输入张量的维度；且layer_norm归一化维度不能被切分。layer_norm不改变输入张量的分片方式。

### 测试用例（新增、改动、可能影响的功能）
1. hyper-parallel/tests/mindspore/ut/parallel_ops_infer/test_parallel_topk.py
        test_torch_topk_layout_data_parallel()：数据并行 valid test
        test_torch_topk_layout_tensor_parallel()：张量并行 valid test
        test_torch_topk_layout_mixed_parallel_invalid()：topk算子所指定维度被切分 invalid test
        test_torch_topk_layout_error_dim_out_of_range()： topk算子所指定维度为非法 invalid test

2. hyper-parallel/tests/mindspore/ut/parallel_ops_infer/test_parallel_split.py
        test_torch_infer_layout_normal()：切分非split轴 valid test
        test_torch_infer_layout_invalid_axis()：切分split轴 invalid test
        test_torch_infer_layout_axis_out_of_range()：split算子所指定维度被切分 invalid test
        test_torch_infer_layout_insufficient_extra_args()：extra_args入参缺失 invalid test
        
3. hyper-parallel/tests/mindspore/ut/parallel_ops_infer/test_parallel_norm.py
        test_torch_layernorm_layout_data_parallel()：数据并行 valid test
        test_torch_layernorm_layout_tensor_parallel()：张量并行 valid test
        test_torch_layernorm_layout_normalized_dim_sharded()：layer_norm归一化维度被切分 invalid test
        test_torch_layernorm_layout_normalized_shape_too_large()：normalized_shape的维度大于输入张量的维度 invalid test

MindSpore / hyper-parallel关闭 .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore / hyper-parallel
关闭