MUSA stream

MCCL 调用与 MUSA stream 相关联，stream 作为集体通信函数的最后一个参数传递。MCCL 调用在操作被有效入队到给定 MUSA stream 时返回，或者返回一个错误。然后集体操作在 MUSA 设备上异步执行。可以使用标准的 MUSA 语义查询操作状态，例如，调用 musaStreamSynchronize 或使用 MUSA 事件。

在同一个 mcclGroupStart 与 mcclGroupEnd 组内混合使用多个 stream

MCCL 允许在组调用中使用多个 stream。这将在 MCCL 内核启动前强制所有 MUSA stream 之间的 MUSA stream 依赖，并在 MCCL 内核完成前阻塞所有 stream。

它的行为就好像 MCCL 组操作被发布在每个 MUSA stream 上，但由于它是单个操作，它将在 MUSA stream 之间引起一个全局同步点。