组调用

组原语定义了当前线程的行为以避免阻塞。因此，它们可以独立地从多个线程中使用。

相关链接：组调用。

mcclGroupStart

mcclResult_t mcclGroupStart()

开始一个组调用。

所有后续对 MCCL 的调用直到 mcclGroupEnd 都不会因为 CPU 间同步而阻塞。

mcclGroupEnd

mcclResult_t mcclGroupEnd()

结束一个组调用。

返回时所有自 mcclGroupStart 以来的操作都已被处理。这意味着通信原语已被加入到提供的 stream 中，但不一定已完成。

当与 mcclCommInitRank 调用一起使用时，mcclGroupEnd 调用会等待所有通信器被初始化。