使用 MCCL
使用 MCCL 与在代码中使用任何其他库类似:
- 在您的系统上安装 MCCL 库
- 修改您的应用程序以链接到该库
- 在您的应用程序中包含头文件
mccl.h - 创建一个通信器(参见 创建通信器)
- 使用 MCCL 集体通信原语执行数据通信。您可以熟悉 MCCL API 文档 以最大化您的使用性能。
集体通信原语是 MUSA 设备组中数据传输的常见模式。通信算法涉及许多一起通信的处理器。每个 MUSA 设备在通信组内通过基于零的索引或 rank 进行标识。每个 rank 使用通信器对象来引用打算一起工作的 GPU 集合。创建通信器是在启动任何通信操作之前需要的第一步。
- 创建通信器
- 错误处理和通信器中止
- 容错
- 服务质量
- 集体操作
- 数据指针
- MUSA stream
- [在同一
mcclGroupStart与mcclGroupEnd组内混合多个 stream](07_streams.zh-CN.md#在同一个-mcclgroupstartend-组内混合使用多个-stream)
- [在同一
- 组调用
- 点对点通信
- 线程安全
- 就地操作
- 使用 MCCL 与 MUSA Graph
- 用户缓冲区注册

