容错

MCCL 提供了一组功能，允许应用程序从网络故障、节点故障或进程故障等致命错误中恢复。当发生此类错误时，应用程序应该能够调用 mcclCommAbort 在通信器上释放所有资源，然后创建新的通信器以继续。

为了安全地中止 MCCL 通信器，MCCL 要求应用程序确保在调用 mcclCommAbort 时没有线程调用任何 MCCL 操作。mcclCommAbort 可以在任何阶段调用，包括通信器初始化期间、通信过程中，或通信器最终释放阶段。

要正确中止，当通信器中的任何 rank 失败（例如，由于段错误），所有其他 rank 都需要调用 mcclCommAbort 来中止自己的 MCCL 通信器。用户可以实现方法来决定何时以及是否中止通信器并重新启动 MCCL 操作。