muDNN C++ API 参考

成员	说明
`namespace` `musa::dnn`
`struct musa::dnn::Convolution::FusedActivationDesc`	融合激活描述：模式（IDENTITY/RELU 等）与系数 (activAlpha, activBeta, activGamma)

namespace `musa::dnn`

概览

成员	说明
`enum Status`	库调用返回状态枚举。
`public MUDNN_EXPORT Status SetCallBack(DebugInfo::Severity min, void * udata, CallBack f)`	设置全局调试回调。
`public MUDNN_EXPORT void PrintVersionInfo(::std::ostream & os)`	将库版本信息（如版本号、构建信息等）输出到指定流。
`public MUDNN_EXPORT size_t GetVersion()`	获取库版本号（通常为单一数值，如编码后的 major.minor.patch）。
`class musa::dnn::BatchMatMul`	批量矩阵乘：每批独立计算 `d = alpha * a * b + beta * c + gamma * bias`，支持 stride、RunLt 低精度与 MatMulLtParam。
`class musa::dnn::BatchNorm`	批归一化算子：out = (in - mean) / sqrt(var + epsilon) * scale + bias。
`class musa::dnn::Binary`	二元算子描述符：对两个张量逐元素运算，遵循 NumPy 广播规则。
`class musa::dnn::Concat`	沿指定轴拼接多张量的算子。
`class musa::dnn::Convolution`	卷积算子：前向、融合（bias+add+激活）、反向数据、反向权值，支持 group、pad/stride/dilation、算法选择与 FusedActivationDesc。
`class musa::dnn::CrossEntropyLoss`	交叉熵损失：结合 log_softmax 与 NLL，支持 label_smoothing、ignore_index、weight 与归约模式。
`class musa::dnn::CTCLoss`	CTC 损失（Connectionist Temporal Classification）：用于序列标注，支持前向与反向、blank、loss 归一化等选项。
`class musa::dnn::Cum`	累积运算（CumSum/CumProd 等）：沿指定维度做前缀和/积，支持初始值。
`class musa::dnn::DebugInfo`	调试/日志信息结构，在回调中传递给用户，包含时间、设备、句柄等。
`class musa::dnn::DeformableConv`	可变形卷积：Deformable Conv2d（无 mask）与 Modulate Deformable Conv2d（含 mask），支持 offset、mask、groups、deformable_groups。
`class musa::dnn::Dot`	张量点积/批量矩阵乘（Dot）：沿指定轴对 a、b 做矩阵乘，支持 bias 加项与确定性模式。
`class musa::dnn::Dropout`	Dropout：训练时按概率 p 将元素置零并缩放，支持 mask 输出、种子与偏移。
`class musa::dnn::Fill`	用常量填充张量的算子，可选 mask 指定填充区域。
`class musa::dnn::GatherX`	Gather 算子：根据 index 张量从 in 中沿 axis Gather 到 out，支持 batch_dims 与多种模式。
`class musa::dnn::Glu`	GLU（Gated Linear Unit）：沿 axis 将输入切半，做 sigmoid 门控后逐元素乘。
`class musa::dnn::GroupedMatMul`	分组矩阵乘：每组独立计算 `d[i] = alpha * a[i] * b[i] + beta * c[i] + gamma * bias[i]`，支持每组不同 m/n/k/ld，以及 RunLt 与 GroupGemmParam。
`class musa::dnn::GroupGemmParam`	分组 GEMM 参数：Mask 模式或按专家 token 计数/起始的连续模式（MoE 等）。
`class musa::dnn::GroupNorm`	组归一化：在指定轴上分组，组内做归一化，out = (in - mean) / sqrt(var + eps) * gamma + beta。
`class musa::dnn::Handle`	muDNN 设备句柄，绑定到 MUSA 设备与流，所有算子执行均需通过 Handle。
`class musa::dnn::ImplBase`	实现对象基类，持有底层 C 实现指针，供子类与 C API 交互。
`class musa::dnn::Interpolate`	插值算子：NEAREST/NEAREST_EXACT/LINEAR/BICUBIC 等，支持 scale、align_corners、antialias。
`class musa::dnn::KLDivLoss`	KL 散度损失：输入与目标之间的 KL 散度，支持 log_target、归约模式与反向。
`class musa::dnn::L2Loss`	L2 损失：out = sum(in^2) / 2（或按元素），需工作区。
`class musa::dnn::LayerNorm`	层归一化：在指定轴上计算均值和方差，out = (in - mean) / sqrt(var + eps) * gamma + beta。
`class musa::dnn::LocalResponseNorm`	局部响应归一化（LRN）：在通道/空间邻域上做归一化，常用 n, alpha, beta, k 四个参数。
`class musa::dnn::MaskedScatter`	按 mask 将 source 中的值散布到 out 中（mask 为真的位置从 source 取）。
`class musa::dnn::MaskedSelect`	按 mask 从 input 中选择元素写入 out（压缩为一维或保持结构由实现决定）。
`class musa::dnn::MatMul`	矩阵乘（MatMul）：d = alpha * a * b + beta * c + gamma * bias，支持转置、alpha/beta/gamma、工作区与显式维度/leading dimension。
`class musa::dnn::MatMulLtParam`	低精度/量化 MatMul 的尾处理与缩放参数：epilogue 模式、scale_a/b/c/d、aux、amax_d、atomic_sync 等。
`class musa::dnn::MatrixBase`	矩阵运算计算模式基类（如默认精度、TF32 等），仅用于继承。
`class musa::dnn::MultiHeadAttention`	多头注意力：Q/K/V 线性变换 + 缩放点积注意力 + 输出线性，支持 mask 模式、key 格式、训练/推理、前向与反向及工作区查询。
`class musa::dnn::NLLLoss`	负对数似然损失（NLL）：与 log_softmax 配合用于分类，支持 ignore_index、weight、归约模式。
`class musa::dnn::Nonzero`	返回 in 中非零元素的索引（坐标），输出形状为 (ndim, num_nonzero)。
`class musa::dnn::Pad`	填充算子：在边界按 pad 与 mode 填充，支持常量填充值。
`class musa::dnn::Permute`	张量维置换与切片算子：通过 ConfigDimStride 配置置换，通过 ConfigDimStrideForSlice 配置切片。
`class musa::dnn::Pooling`	池化算子：Max/Avg 等，支持 kernel/pad/stride/dilation、divisor、indices 输出与反向。
`class musa::dnn::Reduce`	归约算子：沿指定维度做 sum/max/min/mean 等，支持 argmax/argmin、带索引输出等。
`class musa::dnn::RMSNorm`	RMS 归一化：out = in / sqrt(mean(in^2) + eps) * gamma，无 beta，无均值输出。
`class musa::dnn::RNN`	RNN/LSTM/GRU 等循环网络：支持 SEQ_FIRST 格式、BiasMode、Direction、PackPadded/PadPacked 与反向。
`class musa::dnn::Rope`
`class musa::dnn::ScaledDotProductAttention`	缩放点积注意力：Flash / FlashVarlen / Math 三种实现，支持 mask、causal、dropout、logsumexp、变长序列 cu_seqlens。
`class musa::dnn::Scan`
`class musa::dnn::Scatter`	Scatter：根据 idx 与 dim 将 update 散布到 self 或 out（inplace 与 outplace 两种 Run）。
`class musa::dnn::ScatterND`	多维 Scatter：根据多维索引 idx 将 update 散布到 self（索引为多维坐标）。
`class musa::dnn::Softmax`	Softmax 算子：沿指定维度做 softmax，支持多种算法与模式、前向/反向及工作区查询。
`class musa::dnn::Sort`	排序算子：沿 dim 对 in 排序，输出排序后的 out 与索引 indices；支持稳定排序与升/降序。
`class musa::dnn::SortByKey`	按 key 排序：根据 key_in 对 key_in/value_in 一起排序，输出 key_out/value_out；当前仅支持升序、全量排序。
`class musa::dnn::SwiGlu`	SwiGLU：Swish 门控线性单元，前向与反向。
`class musa::dnn::Tensor`	多维张量描述符，描述数据地址、类型、格式、维度与步长，用于所有算子的输入输出。
`class musa::dnn::TensorBase`	张量数据类型与格式的基类，仅用于继承，不直接实例化。
`class musa::dnn::Ternary`	三元算子描述符：对三个张量逐元素运算，支持 alpha/beta/gamma 缩放。
`class musa::dnn::TopK`	TopK：沿 dim 取最大或最小的 k 个元素及索引，支持 sorted、largest。
`class musa::dnn::Unary`	一元算子描述符：对单张量逐元素运算（如激活、取反等），支持 alpha/beta 缩放。
`class musa::dnn::Unfold`	Unfold（滑动窗口展开）：沿 axis 以 size 为窗口、step 为步长展开为多块。
`class musa::dnn::Unique`	Unique：去重，输出唯一值、逆索引与计数；支持多种 Mode。
`class musa::dnn::WeightNorm`	权重归一化：沿指定轴对 weight 做归一化，weightV/weightG 为分解后的向量与标量。

成员

`enum Status`

库调用返回状态枚举。

枚举值含义：

SUCCESS: 调用成功
INVALID_PARAMETER: 无效参数
NOT_INITIALIZED: 未初始化
ALLOC_FAILED: 内存分配失败
NOT_SUPPORTED: 不支持的操作或配置
INTERNAL_ERROR: 内部错误
ARCH_MISMATCH: 架构不匹配
EXECUTION_FAILED: 执行失败

`public MUDNN_EXPORT Status SetCallBack(DebugInfo::Severity min, void * udata, CallBack f)`

设置全局调试回调。

参数

min 仅触发严重级别 >= min 的消息
udata 传递给回调的 user_data 指针
f 回调函数；传空函数则恢复默认（输出到 cerr）

返回值

设置结果状态

`public MUDNN_EXPORT void PrintVersionInfo(::std::ostream & os)`

将库版本信息（如版本号、构建信息等）输出到指定流。

参数

os 输出流，如 std::cout 或 std::cerr

`public MUDNN_EXPORT size_t GetVersion()`

获取库版本号（通常为单一数值，如编码后的 major.minor.patch）。

返回值

版本号

class `musa::dnn::BatchMatMul`

class musa::dnn::BatchMatMul
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

批量矩阵乘：每批独立计算 d = alpha * a * b + beta * c + gamma * bias，支持 stride、RunLt 低精度与 MatMulLtParam。

概览

成员	说明
`public BatchMatMul()`
`public ~BatchMatMul()`
`public Status SetComputeMode(ComputeMode mode)`
`public Status SetTranspose(bool trans_a,bool trans_b)`
`public Status SetDeterministic(bool is_deterministic)`
`public Status SetAlpha(double alpha)`
`public Status SetBeta(double beta)`
`public Status SetGamma(double gamma)`
`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const MatMulLtParam & param)`	查询 Run/RunLt 工作区大小（含 RunLt 时需 param）
`public Status SetMpCountTarget(int mp_count_target)`
`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const`	公式：`c = alpha * a * b + beta * c`
`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const`
`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t ldd,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const int64_t stride_d,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const MemoryMaintainer & maintainer) const`
`public Status RunLt(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MatMulLtParam & param,const MemoryMaintainer & maintainer) const`	低精度批量乘：`d_temp/aux_temp = Epilogue(α * scale_a * scale_b * a * b + β * scale_c * c + γ * bias)`，amax_d/amax_aux 输出，d/aux 再乘 scale_d/scale_aux
`enum ComputeMode`	计算模式枚举。

成员

`public BatchMatMul()`

`public ~BatchMatMul()`

`public Status SetComputeMode(ComputeMode mode)`

参数

mode 计算精度模式

`public Status SetTranspose(bool trans_a,bool trans_b)`

参数

trans_a 是否转置 a；
trans_b 是否转置 b

`public Status SetDeterministic(bool is_deterministic)`

参数

is_deterministic 是否确定性计算

`public Status SetAlpha(double alpha)`

参数

alpha 乘子

`public Status SetBeta(double beta)`

参数

beta 乘子

`public Status SetGamma(double gamma)`

参数

gamma 乘子

`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const MatMulLtParam & param)`

查询 Run/RunLt 工作区大小（含 RunLt 时需 param）

`public Status SetMpCountTarget(int mp_count_target)`

参数

mp_count_target 多处理器数量目标（用于算法选择）

`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const`

公式：c = alpha * a * b + beta * c

参数

h 执行句柄。
c 输入/输出批矩阵张量。每个批次结果矩阵的逻辑形状为 (m, n)；leading dimension 与 batch stride 由张量描述符中的 real dimensions 和 stride 指定。
a 左输入批矩阵张量。若 trans_a == false，逻辑形状为 (batch_a, m, k)；若 trans_a == true，逻辑形状为 (batch_a, k, m)。batch_a 支持广播到目标批大小。
b 右输入批矩阵张量。若 trans_b == false，逻辑形状为 (batch_b, k, n)；若 trans_b == true，逻辑形状为 (batch_b, n, k)。batch_b 支持广播到目标批大小。
maintainer 为所选算法预先分配的工作区管理器。

返回值

Status::SUCCESS 表示操作成功完成。

`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const`

`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t ldd,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const int64_t stride_d,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const MemoryMaintainer & maintainer) const`

`public Status RunLt(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MatMulLtParam & param,const MemoryMaintainer & maintainer) const`

低精度批量乘：d_temp/aux_temp = Epilogue(α * scale_a * scale_b * a * b + β * scale_c * c + γ * bias)，amax_d/amax_aux 输出，d/aux 再乘 scale_d/scale_aux

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::BatchNorm`

class musa::dnn::BatchNorm
  : public musa::dnn::ImplBase

批归一化算子：out = (in - mean) / sqrt(var + epsilon) * scale + bias。

支持纯推理（RunPure，使用固定 mean/var）与训练/融合（RunComposite，更新 running 统计量）。根据 mean/variance/scale/bias 的 shape 与 format 自动选择 PER_ACTIVATION/PER_CHANNEL 等模式。

概览

成员	说明
`public BatchNorm()`
`public ~BatchNorm()`
`public Status SetMode(Mode m)`
`public Status GetMode(Mode & m) const`
`public Status SetEpsilon(double epsilon)`	方差稳定项，默认 0.0
`public Status GetEpsilon(double & epsilon) const`
`public Status SetTraining(bool is_training)`	是否为训练模式（影响是否更新 running 统计量），默认 true
`public Status GetTraining(bool & is_training) const`
`public Status RunPure(Handle & h,Tensor & out,const Tensor & in,const Tensor & finalMean,const Tensor & finalVariance,const Tensor & scale,const Tensor & bias) const`
`public Status RunComposite(Handle & h,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias,double momentum,const MemoryMaintainer & maintainer) const`
`public Status RunBwd(Handle & h,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g,const MemoryMaintainer & maintainer) const`	批归一化反向：计算 dx, d(mean), d(var), d(gamma), d(beta)
`public Status GetWorkspaceSizeComposite(Handle & h,size_t & size_in_byte,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias) const`	查询 RunComposite 所需工作区大小
`public Status GetWorkspaceSizeBwd(Handle & h,size_t & size_in_byte,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g) const`	查询 RunBwd 所需工作区大小
`enum Mode`	批归一化模式枚举。枚举值包括 PER_CHANNEL（按通道）和 PER_ACTIVATION（按激活/逐元素）。

成员

`public BatchNorm()`

`public ~BatchNorm()`

`public Status SetMode(Mode m)`

参数

m 批归一化模式

`public Status GetMode(Mode & m) const`

参数

m 输出：当前模式

`public Status SetEpsilon(double epsilon)`

方差稳定项，默认 0.0

`public Status GetEpsilon(double & epsilon) const`

参数

epsilon 输出：当前 epsilon

`public Status SetTraining(bool is_training)`

是否为训练模式（影响是否更新 running 统计量），默认 true

`public Status GetTraining(bool & is_training) const`

参数

is_training 输出：当前是否训练模式

`public Status RunPure(Handle & h,Tensor & out,const Tensor & in,const Tensor & finalMean,const Tensor & finalVariance,const Tensor & scale,const Tensor & bias) const`

`public Status RunComposite(Handle & h,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias,double momentum,const MemoryMaintainer & maintainer) const`

`public Status RunBwd(Handle & h,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g,const MemoryMaintainer & maintainer) const`

批归一化反向：计算 dx, d(mean), d(var), d(gamma), d(beta)

`public Status GetWorkspaceSizeComposite(Handle & h,size_t & size_in_byte,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias) const`

查询 RunComposite 所需工作区大小

`public Status GetWorkspaceSizeBwd(Handle & h,size_t & size_in_byte,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g) const`

查询 RunBwd 所需工作区大小

`enum Mode`

批归一化模式枚举。枚举值包括 PER_CHANNEL（按通道）和 PER_ACTIVATION（按激活/逐元素）。

class `musa::dnn::Binary`

class musa::dnn::Binary
  : public musa::dnn::ImplBase

二元算子描述符：对两个张量逐元素运算，遵循 NumPy 广播规则。

概览

成员	说明
`public Binary()`
`public ~Binary()`
`public Status SetMode(Mode m)`
`public Status SetAlpha(double alpha)`
`public Status SetAlpha(int64_t alpha)`
`public Status SetAlpha(const void * alpha)`
`public Status SetBeta(double beta)`
`public Status SetBeta(int64_t beta)`
`public Status SetBeta(const void * beta)`
`public Status Run(Handle & h,Tensor & out,const Tensor & l,const Tensor & r) const`	执行二元运算，广播规则同 NumPy。
`enum Mode`	二元运算模式枚举。

成员

`public Binary()`

`public ~Binary()`

`public Status SetMode(Mode m)`

参数

m 二元运算模式

`public Status SetAlpha(double alpha)`

参数

alpha 标量 alpha（double）

`public Status SetAlpha(int64_t alpha)`

参数

alpha 标量 alpha（int64_t）

`public Status SetAlpha(const void * alpha)`

参数

alpha 指向 alpha 的指针

`public Status SetBeta(double beta)`

参数

beta 标量 beta（double）

`public Status SetBeta(int64_t beta)`

参数

beta 标量 beta（int64_t）

`public Status SetBeta(const void * beta)`

参数

beta 指向 beta 的指针

`public Status Run(Handle & h,Tensor & out,const Tensor & l,const Tensor & r) const`

执行二元运算，广播规则同 NumPy。

参数

h 执行句柄
out 输出张量
l 左侧输入张量
r 右侧输入张量

`enum Mode`

二元运算模式枚举。

枚举值包含：算术(ADD,SUB,MUL,DIV,POW,ADD_ALPHA,SUB_ALPHA)、逻辑(LOGICAL_AND,LOGICAL_OR,LOGICAL_XOR)、比较(LT,LE,GT,GE,EQ,NE)、最值(MAX,MIN)、激活反向(PRELU,LEAKY_RELU_BW,RELU6_BW,THRESHOLD_BW,SIGMOID_BW,SILU_BW,TANH_BW,GELU_NONE_BW,GELU_TANH_BW,RSQRT_BW)、除取模(TRUEDIV,FLOORDIV,TRUNCATEDIV,FLOORMOD,TRUNCATEMOD,DIVNONAN)、SQUARED_DIFF。

class `musa::dnn::Concat`

class musa::dnn::Concat
  : public musa::dnn::ImplBase

沿指定轴拼接多张量的算子。

概览

成员	说明
`public Concat()`
`public ~Concat()`
`public Status SetAxis(int axis)`
`public Status GetAxis(int & axis) const`
`public Status Run(Handle & h,Tensor & out,int num_input,const Tensor * ins) const`

成员

`public Concat()`

`public ~Concat()`

`public Status SetAxis(int axis)`

参数

axis 拼接轴索引，可为负（表示从最后一维起算）

`public Status GetAxis(int & axis) const`

参数

axis 输出：当前拼接轴

`public Status Run(Handle & h,Tensor & out,int num_input,const Tensor * ins) const`

参数

h 执行句柄
out 输出张量（沿 axis 拼接后的结果）
num_input 输入张量数量
ins 输入张量数组

class `musa::dnn::Convolution`

class musa::dnn::Convolution
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

卷积算子：前向、融合（bias+add+激活）、反向数据、反向权值，支持 group、pad/stride/dilation、算法选择与 FusedActivationDesc。

概览

成员	说明
`public Convolution()`
`public ~Convolution()`
`public Status SetGroups(int group_num)`
`public Status SetNdInfo(::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)`	支持最多 3 维；pad/stride/dilation 分别为填充、步长、膨胀
`public Status SetNdInfo(int length,const int * pad,const int * stride,const int * dilation)`
`public Status SetComputeMode(ComputeMode mode)`
`public Status Run(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,Algorithm algo,const MemoryMaintainer & maintainer) const`	前向：out = data * filter（卷积）；
`public Status RunFusion(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,const Tensor & bias,const Tensor & add,const FusedActivationDesc & act,Algorithm algo,const MemoryMaintainer & maintainer) const`	融合前向：卷积 + bias + add + 激活；
`public Status RunBwdData(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,AlgorithmBwdData algo,const MemoryMaintainer & maintainer) const`	反向数据：求 data 的梯度；
`public Status RunBwdFilter(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,AlgorithmBwdFilter algo,const MemoryMaintainer & maintainer) const`	反向权值：求 filter 的梯度；
`public Status GetForwardWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const Algorithm & algo) const`	查询前向工作区大小
`public Status GetBackwardDataWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const AlgorithmBwdData & algo) const`	查询反向数据工作区大小
`public Status GetBackwardFilterWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const AlgorithmBwdFilter & algo) const`	查询反向权值工作区大小
`public Status GetRecommendForwardAlgorithm(Handle & h,Algorithm & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const`	推荐前向算法；
`public Status GetRecommendBackwardDataAlgorithm(Handle & h,AlgorithmBwdData & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const`	推荐反向数据算法
`public Status GetRecommendBackwardFilterAlgorithm(Handle & h,AlgorithmBwdFilter & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const`	推荐反向权值算法
`enum Algorithm`	前向算法。IMPLICIT_GEMM, DIRECT, WINOGRAD_NONFUSED, GEMM。
`enum AlgorithmBwdData`	反向数据算法。IMPLICIT_GEMM, WINOGRAD_NONFUSED, GEMM, DIRECT。
`enum AlgorithmBwdFilter`	反向权值算法。IMPLICIT_GEMM, WINOGRAD_NONFUSED, GEMM, DIRECT。
`enum ComputeMode`	计算模式枚举。

成员

`public Convolution()`

`public ~Convolution()`

`public Status SetGroups(int group_num)`

参数

group_num 分组卷积的组数

`public Status SetNdInfo(::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)`

支持最多 3 维；pad/stride/dilation 分别为填充、步长、膨胀

`public Status SetNdInfo(int length,const int * pad,const int * stride,const int * dilation)`

参数

length 空间维数；
pad 填充；
stride 步长；
dilation 膨胀

`public Status SetComputeMode(ComputeMode mode)`

参数

mode 计算精度模式

`public Status Run(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,Algorithm algo,const MemoryMaintainer & maintainer) const`

前向：out = data * filter（卷积）；

参数

algo 前向算法；
maintainer 工作区

`public Status RunFusion(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,const Tensor & bias,const Tensor & add,const FusedActivationDesc & act,Algorithm algo,const MemoryMaintainer & maintainer) const`

融合前向：卷积 + bias + add + 激活；

参数

bias 偏置；
add 加项；
act 融合激活描述

`public Status RunBwdData(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,AlgorithmBwdData algo,const MemoryMaintainer & maintainer) const`

反向数据：求 data 的梯度；

参数

algo 反向数据算法

`public Status RunBwdFilter(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,AlgorithmBwdFilter algo,const MemoryMaintainer & maintainer) const`

反向权值：求 filter 的梯度；

参数

algo 反向权值算法

`public Status GetForwardWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const Algorithm & algo) const`

查询前向工作区大小

`public Status GetBackwardDataWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const AlgorithmBwdData & algo) const`

查询反向数据工作区大小

`public Status GetBackwardFilterWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const AlgorithmBwdFilter & algo) const`

查询反向权值工作区大小

`public Status GetRecommendForwardAlgorithm(Handle & h,Algorithm & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const`

推荐前向算法；

参数

algo 输出推荐算法

`public Status GetRecommendBackwardDataAlgorithm(Handle & h,AlgorithmBwdData & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const`

推荐反向数据算法

`public Status GetRecommendBackwardFilterAlgorithm(Handle & h,AlgorithmBwdFilter & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const`

推荐反向权值算法

`enum Algorithm`

前向算法。IMPLICIT_GEMM, DIRECT, WINOGRAD_NONFUSED, GEMM。

`enum AlgorithmBwdData`

反向数据算法。IMPLICIT_GEMM, WINOGRAD_NONFUSED, GEMM, DIRECT。

`enum AlgorithmBwdFilter`

反向权值算法。IMPLICIT_GEMM, WINOGRAD_NONFUSED, GEMM, DIRECT。

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::CrossEntropyLoss`

class musa::dnn::CrossEntropyLoss
  : public musa::dnn::ImplBase

交叉熵损失：结合 log_softmax 与 NLL，支持 label_smoothing、ignore_index、weight 与归约模式。

概览

成员	说明
`public CrossEntropyLoss()`
`public ~CrossEntropyLoss()`
`public Status SetReductionMode(ReductionMode a)`
`public Status GetReductionMode(ReductionMode & a) const`
`public Status SetIgnoreIndex(int64_t ignore_index)`
`public Status GetIgnoreIndex(int64_t & ignore_index) const`
`public Status SetLabelSmoothing(float label_smoothing)`
`public Status GetLabelSmoothing(float & label_smoothing) const`
`public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,const Tensor & input,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const`	查询前向工作区大小；
`public Status GetBackwardWorkspaceSize(Handle & h,Tensor & grad_input,const Tensor & sinput,const Tensor & grad_output,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const`	查询反向工作区大小；
`public Status Run(Handle & h,Tensor & output,const Tensor & input,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const`	前向：output 为损失；input 为 logits；target 为类别索引；weight 为类别权重（可选）
`public Status RunBwd(Handle & h,Tensor & grad_input,const Tensor & sinput,const Tensor & grad_output,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const`	反向：grad_input 为 input 的梯度；grad_output 为损失对输出的梯度
`enum ReductionMode`	归约模式。NONE, MEAN, SUM, BATCHMEAN。

成员

`public CrossEntropyLoss()`

`public ~CrossEntropyLoss()`

`public Status SetReductionMode(ReductionMode a)`

参数

a 归约模式（NONE/SUM/MEAN）

`public Status GetReductionMode(ReductionMode & a) const`

`public Status SetIgnoreIndex(int64_t ignore_index)`

参数

ignore_index 被忽略的目标类别索引（不参与损失与梯度）

`public Status GetIgnoreIndex(int64_t & ignore_index) const`

`public Status SetLabelSmoothing(float label_smoothing)`

参数

label_smoothing 标签平滑系数

`public Status GetLabelSmoothing(float & label_smoothing) const`

`public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,const Tensor & input,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const`

查询前向工作区大小；

参数

size_in_bytes 输出字节数

`public Status GetBackwardWorkspaceSize(Handle & h,Tensor & grad_input,const Tensor & sinput,const Tensor & grad_output,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const`

查询反向工作区大小；

参数

sinput 前向 softmax 输出（或等价输入）

`public Status Run(Handle & h,Tensor & output,const Tensor & input,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const`

前向：output 为损失；input 为 logits；target 为类别索引；weight 为类别权重（可选）

`public Status RunBwd(Handle & h,Tensor & grad_input,const Tensor & sinput,const Tensor & grad_output,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const`

反向：grad_input 为 input 的梯度；grad_output 为损失对输出的梯度

`enum ReductionMode`

归约模式。NONE, MEAN, SUM, BATCHMEAN。

class `musa::dnn::CTCLoss`

class musa::dnn::CTCLoss
  : public musa::dnn::ImplBase

CTC 损失（Connectionist Temporal Classification）：用于序列标注，支持前向与反向、blank、loss 归一化等选项。

概览

成员	说明
`public CTCLoss()`
`public ~CTCLoss()`
`public Status SetDataType(Type dtype)`
`public Status GetDataType(Type & dtype) const`
`public Status SetLossNormMode(LossNormMode mode)`
`public Status GetLossNormMode(LossNormMode & mode) const`
`public Status SetPropagateNan(bool propagate_nan)`
`public Status GetPropagateNan(bool & propagate_nan) const`
`public Status SetZeroOobGradients(bool zero_oob_gradients)`
`public Status GetZeroOobGradients(bool & zero_oob_gradients) const`
`public Status SetBlank(int64_t blank)`
`public Status GetBlank(int64_t & blank) const`
`public Status SetZeroInfinity(bool zeroInfinity)`
`public Status GetZeroInfinity(bool & zeroInfinity) const`
`public Status SetMaxTargetLength(int64_t maxTargetLength)`
`public Status GetMaxTargetLength(int64_t & maxTargetLength) const`
`public Status Run(Handle & h,Tensor & out,Tensor & alpha,const Tensor & input,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength) const`	前向：out 为损失，alpha 为前向动态规划中间结果
`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & grad,const Tensor & logProbs,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength,const Tensor & loss,const Tensor & alpha) const`	查询反向工作区大小
`public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & logProbs,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength,const Tensor & loss,const Tensor & alpha,const MemoryMaintainer & maintainer) const`	反向：out 为 logProbs 的梯度
`enum Type`	计算/存储数据类型。与 Tensor::Type 取值一致（QINT4/INT8/FLOAT 等）。
`enum LossNormMode`	损失归一化模式。枚举值：NONE(无), SOFTMAX(按 softmax 归一化)。

成员

`public CTCLoss()`

`public ~CTCLoss()`

`public Status SetDataType(Type dtype)`

参数

dtype 计算数据类型

`public Status GetDataType(Type & dtype) const`

`public Status SetLossNormMode(LossNormMode mode)`

参数

mode 损失归一化方式（如按 batch、按序列等）

`public Status GetLossNormMode(LossNormMode & mode) const`

`public Status SetPropagateNan(bool propagate_nan)`

参数

propagate_nan 是否传播 NaN

`public Status GetPropagateNan(bool & propagate_nan) const`

`public Status SetZeroOobGradients(bool zero_oob_gradients)`

参数

zero_oob_gradients 是否将越界位置的梯度置零

`public Status GetZeroOobGradients(bool & zero_oob_gradients) const`

`public Status SetBlank(int64_t blank)`

参数

blank blank 标签的索引

`public Status GetBlank(int64_t & blank) const`

`public Status SetZeroInfinity(bool zeroInfinity)`

参数

zeroInfinity 是否将无穷损失置零

`public Status GetZeroInfinity(bool & zeroInfinity) const`

`public Status SetMaxTargetLength(int64_t maxTargetLength)`

参数

maxTargetLength 目标序列最大长度

`public Status GetMaxTargetLength(int64_t & maxTargetLength) const`

`public Status Run(Handle & h,Tensor & out,Tensor & alpha,const Tensor & input,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength) const`

前向：out 为损失，alpha 为前向动态规划中间结果

`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & grad,const Tensor & logProbs,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength,const Tensor & loss,const Tensor & alpha) const`

查询反向工作区大小

`public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & logProbs,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength,const Tensor & loss,const Tensor & alpha,const MemoryMaintainer & maintainer) const`

反向：out 为 logProbs 的梯度

`enum Type`

计算/存储数据类型。与 Tensor::Type 取值一致（QINT4/INT8/FLOAT 等）。

`enum LossNormMode`

损失归一化模式。枚举值：NONE(无), SOFTMAX(按 softmax 归一化)。

class `musa::dnn::Cum`

class musa::dnn::Cum
  : public musa::dnn::ImplBase

累积运算（CumSum/CumProd 等）：沿指定维度做前缀和/积，支持初始值。

概览

成员	说明
`public Cum()`
`public ~Cum()`
`public Status SetDim(int dim)`
`public Status GetDim(int & dim) const`
`public Status SetMode(Mode m)`
`public Status GetMode(Mode & m) const`
`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`
`enum Mode`	累积模式。枚举值：ADD(累加), MUL(累乘)。

成员

`public Cum()`

`public ~Cum()`

`public Status SetDim(int dim)`

参数

dim 累积维度

`public Status GetDim(int & dim) const`

参数

dim 返回累积维度

`public Status SetMode(Mode m)`

参数

m 累积模式

`public Status GetMode(Mode & m) const`

参数

m 返回累积模式

`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`

参数

out 输出；
in 输入；
maintainer 工作区

`enum Mode`

累积模式。枚举值：ADD(累加), MUL(累乘)。

class `musa::dnn::DebugInfo`

调试/日志信息结构，在回调中传递给用户，包含时间、设备、句柄等。

概览

成员	说明
`public uint32_t version`	调试信息结构版本号
`public Severity severity`	本条信息的严重级别
`public uint32_t time_sec`	时间戳：自 epoch 起的秒数
`public uint32_t time_usec`	时间戳：微秒部分
`public uint32_t time_delta`	自进程/库启动以来的秒数
`public uint64_t tid`	线程 ID
`public int32_t device_id`	关联的 MUSA 设备 ID
`public const Handle * handle`	关联的 muDNN 句柄指针，可能为空
`enum Severity`	日志严重级别枚举。

成员

`public uint32_t version`

调试信息结构版本号

`public Severity severity`

本条信息的严重级别

`public uint32_t time_sec`

时间戳：自 epoch 起的秒数

`public uint32_t time_usec`

时间戳：微秒部分

`public uint32_t time_delta`

自进程/库启动以来的秒数

`public uint64_t tid`

线程 ID

`public int32_t device_id`

关联的 MUSA 设备 ID

`public const Handle * handle`

关联的 muDNN 句柄指针，可能为空

`enum Severity`

日志严重级别枚举。

枚举值含义：INFO(0 信息), WARNING(1 警告), ERROR(2 错误), FATAL(3 致命)。

class `musa::dnn::DeformableConv`

class musa::dnn::DeformableConv
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

可变形卷积：Deformable Conv2d（无 mask）与 Modulate Deformable Conv2d（含 mask），支持 offset、mask、groups、deformable_groups。

概览

成员	说明
`public DeformableConv()`
`public ~DeformableConv()`
`public Status SetComputeMode(ComputeMode mode)`
`public Status SetGroups(int groups)`
`public Status SetDeformableGroups(int deformable_groups)`
`public Status SetNdInfo(::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)`	支持最多 3 维；pad/stride/dilation
`public Status SetNdInfo(int length,const int * pad,const int * stride,const int * dilation)`
`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & input,const Tensor & weight) const`	查询工作区大小
`public Status RunDeformableConv(Handle & h,Tensor & out,const Tensor & input,const Tensor & weight,const Tensor & offset,const MemoryMaintainer & maintainer) const`	Deformable Conv2d（无 mask），见 Deformable ConvNets；`offset` 为偏移张量
`public Status RunModulateDeformableConv(Handle & h,Tensor & out,const Tensor & input,const Tensor & weight,const Tensor & offset,const Tensor & mask,const MemoryMaintainer & maintainer) const`	Deformable Conv2d v2（含 mask），见 Deformable ConvNets v2；`mask` 为调制掩码
`enum Algorithm`	卷积算法。IMPLICIT_GEMM, DIRECT, WINOGRAD_NONFUSED, GEMM。
`enum ComputeMode`	计算模式枚举。

成员

`public DeformableConv()`

`public ~DeformableConv()`

`public Status SetComputeMode(ComputeMode mode)`

`public Status SetGroups(int groups)`

参数

groups 分组数

`public Status SetDeformableGroups(int deformable_groups)`

参数

deformable_groups 可变形分组数

`public Status SetNdInfo(::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)`

支持最多 3 维；pad/stride/dilation

`public Status SetNdInfo(int length,const int * pad,const int * stride,const int * dilation)`

`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & input,const Tensor & weight) const`

查询工作区大小

`public Status RunDeformableConv(Handle & h,Tensor & out,const Tensor & input,const Tensor & weight,const Tensor & offset,const MemoryMaintainer & maintainer) const`

Deformable Conv2d（无 mask），见 Deformable ConvNets；offset 为偏移张量。

`public Status RunModulateDeformableConv(Handle & h,Tensor & out,const Tensor & input,const Tensor & weight,const Tensor & offset,const Tensor & mask,const MemoryMaintainer & maintainer) const`

Deformable Conv2d v2（含 mask），见 Deformable ConvNets v2；mask 为调制掩码。

`enum Algorithm`

卷积算法。IMPLICIT_GEMM, DIRECT, WINOGRAD_NONFUSED, GEMM。

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::Dot`

class musa::dnn::Dot
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

张量点积/批量矩阵乘（Dot）：沿指定轴对 a、b 做矩阵乘，支持 bias 加项与确定性模式。

公式：c = a * b 或 d = alpha * a * b + beta * c + gamma * bias（outplace/inplace）。

概览

成员	说明
`public Dot()`
`public ~Dot()`
`public Status SetComputeMode(ComputeMode mode)`
`public Status SetAxis(int axis)`
`public Status SetAxes(int axis_l,int axis_r)`
`public Status SetDeterministic(bool is_deterministic)`
`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & c,const Tensor & a,const Tensor & b)`	查询 Run 所需工作区大小；
`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const`	执行 c = a * b；
`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const`	Outplace：d = alpha * a * b + beta * c + gamma * bias
`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const`	Inplace：c = alpha * a * b + beta * c + gamma * bias
`enum ComputeMode`	计算模式枚举。

成员

`public Dot()`

`public ~Dot()`

`public Status SetComputeMode(ComputeMode mode)`

参数

mode 计算精度模式（如默认、TF32）

`public Status SetAxis(int axis)`

参数

axis 约简轴（单轴时两侧矩阵在该轴对齐），可为负

`public Status SetAxes(int axis_l,int axis_r)`

参数

axis_l 左张量约简轴；
axis_r 右张量约简轴，可为负

`public Status SetDeterministic(bool is_deterministic)`

参数

is_deterministic 是否使用确定性算法

`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & c,const Tensor & a,const Tensor & b)`

查询 Run 所需工作区大小；

参数

size_in_bytes 输出字节数

`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const`

执行 c = a * b；

参数

c 输出；
a 左矩阵；
b 右矩阵；
maintainer 工作区分配器

`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const`

Outplace：d = alpha * a * b + beta * c + gamma * bias

`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const`

Inplace：c = alpha * a * b + beta * c + gamma * bias

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::Dropout`

class musa::dnn::Dropout
  : public musa::dnn::ImplBase

Dropout：训练时按概率 p 将元素置零并缩放，支持 mask 输出、种子与偏移。

前向：output[i] = input[i] * (1/(1-p)) 当 mask[i]==1，否则 0；mask 可写入 Tensor 或丢弃。

概览

成员	说明
`public Dropout()`
`public ~Dropout()`
`public Status SetP(double p)`
`public Status GetP(double & p) const`
`public Status SetScale(double scale)`
`public Status GetScale(double & scale) const`
`public Status SetSeed(uint64_t host_seed)`
`public Status SetSeed(const uint64_t * device_seed)`
`public Status GetSeed(uint64_t & host_seed) const`
`public Status SetOffset(uint64_t host_offset)`
`public Status SetOffset(const uint64_t * device_offset_base,uint64_t sub_offset)`
`public Status RunDropout(Handle & h,Tensor & out,const Tensor & input,Tensor & mask) const`
`public Status RunDropoutBwd(Handle & h,Tensor & out,const Tensor & grad,Tensor & mask) const`	反向：根据 mask 将梯度写回

成员

`public Dropout()`

`public ~Dropout()`

`public Status SetP(double p)`

参数

p 丢弃概率

`public Status GetP(double & p) const`

`public Status SetScale(double scale)`

参数

scale 输出缩放因子（如 1/(1-p)）

`public Status GetScale(double & scale) const`

`public Status SetSeed(uint64_t host_seed)`

参数

host_seed 主机端种子

`public Status SetSeed(const uint64_t * device_seed)`

参数

device_seed 设备端种子指针

`public Status GetSeed(uint64_t & host_seed) const`

`public Status SetOffset(uint64_t host_offset)`

参数

host_offset 主机端偏移

`public Status SetOffset(const uint64_t * device_offset_base,uint64_t sub_offset)`

参数

device_offset_base 设备偏移基址；
sub_offset 子偏移

`public Status RunDropout(Handle & h,Tensor & out,const Tensor & input,Tensor & mask) const`

`public Status RunDropoutBwd(Handle & h,Tensor & out,const Tensor & grad,Tensor & mask) const`

反向：根据 mask 将梯度写回

class `musa::dnn::Fill`

class musa::dnn::Fill
  : public musa::dnn::ImplBase

用常量填充张量的算子，可选 mask 指定填充区域。

概览

成员	说明
`public Fill()`
`public ~Fill()`
`public Status SetValue(double value)`
`public Status SetValue(int64_t value)`
`public Status Run(Handle & h,Tensor & out) const`	用当前设置的值填充 out
`public Status Run(Handle & h,Tensor & out,Tensor & mask) const`	按 mask 指示区域填充 out

成员

`public Fill()`

`public ~Fill()`

`public Status SetValue(double value)`

参数

value 填充值（浮点）

`public Status SetValue(int64_t value)`

参数

value 填充值（整数）

`public Status Run(Handle & h,Tensor & out) const`

用当前设置的值填充 out

`public Status Run(Handle & h,Tensor & out,Tensor & mask) const`

按 mask 指示区域填充 out

class `musa::dnn::GatherX`

class musa::dnn::GatherX
  : public musa::dnn::ImplBase

Gather 算子：根据 index 张量从 in 中沿 axis Gather 到 out，支持 batch_dims 与多种模式。

概览

成员	说明
`public GatherX()`
`public ~GatherX()`
`public Status SetMode(Mode m)`
`public Status SetAxis(int axis)`
`public Status SetBatchDims(int batch_dims)`
`public Status Run(Handle & h,Tensor & out,const Tensor & index,const Tensor & in) const`
`enum Mode`	Gather 模式。枚举值：GATHER(一维索引), GATHER_ND(多维索引), GATHER_ELEMENTS(按元素)。

成员

`public GatherX()`

`public ~GatherX()`

`public Status SetMode(Mode m)`

参数

m Gather 模式

`public Status SetAxis(int axis)`

参数

axis 沿该维做 Gather

`public Status SetBatchDims(int batch_dims)`

参数

batch_dims index 中作为 batch 的维度数

`public Status Run(Handle & h,Tensor & out,const Tensor & index,const Tensor & in) const`

参数

out 输出；
index 索引张量；
in 输入张量

`enum Mode`

Gather 模式。枚举值：GATHER(一维索引), GATHER_ND(多维索引), GATHER_ELEMENTS(按元素)。

class `musa::dnn::Glu`

class musa::dnn::Glu
  : public musa::dnn::ImplBase

GLU（Gated Linear Unit）：沿 axis 将输入切半，做 sigmoid 门控后逐元素乘。

概览

成员	说明
`public Glu()`
`public ~Glu()`
`public Status SetAxis(int axis)`
`public Status GetAxis(int & axis) const`
`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`

成员

`public Glu()`

`public ~Glu()`

`public Status SetAxis(int axis)`

参数

axis 分割轴，可为负

`public Status GetAxis(int & axis) const`

`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`

参数

out 输出；
in 输入

class `musa::dnn::GroupedMatMul`

class musa::dnn::GroupedMatMul
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

分组矩阵乘：每组独立计算 d[i] = alpha * a[i] * b[i] + beta * c[i] + gamma * bias[i]，支持每组不同 m/n/k/ld，以及 RunLt 与 GroupGemmParam。

概览

成员	说明
`public GroupedMatMul()`
`public ~GroupedMatMul()`
`public Status SetComputeMode(ComputeMode mode)`
`public Status SetTranspose(bool trans_a,bool trans_b)`
`public Status SetDeterministic(bool is_deterministic)`
`public Status SetAlpha(double alpha)`
`public Status SetBeta(double beta)`
`public Status SetGamma(double gamma)`
`public Status SetMpCountTarget(int mp_count_target)`
`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor * out,const Tensor * a,const Tensor * b,const int groups)`	查询工作区大小；
`public Status Run(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const int groups,const MemoryMaintainer & maintainer) const`	公式：`c[i] = alpha * a[i] * b[i] + beta * c[i]`，`i` 为组下标
`public Status RunWithBiasAdd(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const int groups,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const Tensor * bias,const int groups,const MemoryMaintainer & maintainer) const`
`public Status Run(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int groups,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int64_t * ldd,const int groups,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const Tensor * bias,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int groups,const MemoryMaintainer & maintainer) const`
`public Status RunLt(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const MatMulLtParam * lt_param,const int groups,const MemoryMaintainer & maintainer) const`
`public Status RunLtWithParam(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MatMulLtParam & param,const GroupGemmParam & group_param,const MemoryMaintainer & maintainer) const`	使用 GroupGemmParam 的 RunLt：单输出 d，单组 a/b/c/bias，param 与 group_param 指定低精度与分组参数
`enum ComputeMode`	计算模式枚举。

成员

`public GroupedMatMul()`

`public ~GroupedMatMul()`

`public Status SetComputeMode(ComputeMode mode)`

`public Status SetTranspose(bool trans_a,bool trans_b)`

`public Status SetDeterministic(bool is_deterministic)`

`public Status SetAlpha(double alpha)`

`public Status SetBeta(double beta)`

`public Status SetGamma(double gamma)`

`public Status SetMpCountTarget(int mp_count_target)`

`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor * out,const Tensor * a,const Tensor * b,const int groups)`

查询工作区大小；

参数

out 输出张量数组；
a、b 输入数组；
groups 组数

`public Status Run(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const int groups,const MemoryMaintainer & maintainer) const`

公式：c[i] = alpha * a[i] * b[i] + beta * c[i]，i 为组下标。

参数

h 执行句柄。
c 输入/输出矩阵指针数组；第 i 个元素保存第 i 组计算结果。
a 左输入矩阵指针数组；每组矩阵形状由对应张量描述符给出，必要时可配合显式维度重载使用。
b 右输入矩阵指针数组；每组矩阵形状由对应张量描述符给出，必要时可配合显式维度重载使用。
groups 分组数量。
maintainer 为所选算法预先分配的工作区管理器。

返回值

Status::SUCCESS 表示操作成功完成。

`public Status RunWithBiasAdd(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const int groups,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const Tensor * bias,const int groups,const MemoryMaintainer & maintainer) const`

`public Status Run(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int groups,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int64_t * ldd,const int groups,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const Tensor * bias,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int groups,const MemoryMaintainer & maintainer) const`

`public Status RunLt(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const MatMulLtParam * lt_param,const int groups,const MemoryMaintainer & maintainer) const`

`public Status RunLtWithParam(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MatMulLtParam & param,const GroupGemmParam & group_param,const MemoryMaintainer & maintainer) const`

使用 GroupGemmParam 的 RunLt：单输出 d，单组 a/b/c/bias，param 与 group_param 指定低精度与分组参数

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::GroupGemmParam`

class musa::dnn::GroupGemmParam
  : public musa::dnn::ImplBase

分组 GEMM 参数：Mask 模式或按专家 token 计数/起始的连续模式（MoE 等）。

概览

成员	说明
`public GroupGemmParam()`
`public ~GroupGemmParam()`
`public Status MaskMode(const Tensor & mask)`
`public Status ContigWithStartMode(const Tensor & experts_token_count,const Tensor & experts_token_start)`

成员

`public GroupGemmParam()`

`public ~GroupGemmParam()`

`public Status MaskMode(const Tensor & mask)`

参数

mask 掩码张量，用于 Mask 模式

`public Status ContigWithStartMode(const Tensor & experts_token_count,const Tensor & experts_token_start)`

参数

experts_token_count 各专家 token 数；
experts_token_start 各专家起始位置

class `musa::dnn::GroupNorm`

class musa::dnn::GroupNorm
  : public musa::dnn::ImplBase

组归一化：在指定轴上分组，组内做归一化，out = (in - mean) / sqrt(var + eps) * gamma + beta。

概览

成员	说明
`public GroupNorm()`
`public ~GroupNorm()`
`public Status SetEpsilon(double eps)`
`public Status GetEpsilon(double & eps) const`
`public Status SetAxis(const int axis)`
`public Status GetAxis(int & axis) const`
`public Status SetGroup(const int g)`
`public Status GetGroup(int & g) const`
`public Status Run(Handle & h,Tensor & out,Tensor & mean,Tensor & invVar,const Tensor & in,const Tensor & gamma,const Tensor & beta) const`

成员

`public GroupNorm()`

`public ~GroupNorm()`

`public Status SetEpsilon(double eps)`

参数

eps 方差稳定项

`public Status GetEpsilon(double & eps) const`

参数

eps 输出：当前 epsilon

`public Status SetAxis(const int axis)`

参数

axis 归一化轴（从该轴起划分为组）

`public Status GetAxis(int & axis) const`

参数

axis 输出：当前轴

`public Status SetGroup(const int g)`

参数

g 组数

`public Status GetGroup(int & g) const`

参数

g 输出：当前组数

`public Status Run(Handle & h,Tensor & out,Tensor & mean,Tensor & invVar,const Tensor & in,const Tensor & gamma,const Tensor & beta) const`

参数

out 输出张量
mean 组内均值（输出）
invVar 组内 1/sqrt(var+eps)（输出）
in 输入
gamma 缩放
beta 偏移

class `musa::dnn::Handle`

class musa::dnn::Handle
  : public musa::dnn::ImplBase

muDNN 设备句柄，绑定到 MUSA 设备与流，所有算子执行均需通过 Handle。

用于设置/获取当前设备 ID、MUSA 流，以及是否允许使用 TF32 张量核等全局选项。

概览

成员	说明
`public Handle()`	默认构造，使用当前设备。
`public explicit Handle(int device_id)`
`public ~Handle()`
`public int GetDeviceId() const`
`public Status SetStream(musaStream_t stream)`
`public musaStream_t GetStream() const`
`public Status SetAllowTF32(bool allow_tf32)`	控制是否允许在 MatMul、Conv 等运算中使用 TensorFloat-32 张量核。
`public bool GetAllowTF32() const`

成员

`public Handle()`

默认构造，使用当前设备。

`public explicit Handle(int device_id)`

参数

device_id 目标 MUSA 设备 ID

`public ~Handle()`

`public int GetDeviceId() const`

返回值

当前绑定的设备 ID

`public Status SetStream(musaStream_t stream)`

参数

stream MUSA 流，后续算子将在此流上执行

返回值

设置结果状态

`public musaStream_t GetStream() const`

返回值

当前绑定的 MUSA 流

`public Status SetAllowTF32(bool allow_tf32)`

控制是否允许在 MatMul、Conv 等运算中使用 TensorFloat-32 张量核。

参数

allow_tf32 true 表示允许使用 TF32

返回值

设置结果状态

`public bool GetAllowTF32() const`

返回值

当前是否允许 TF32

class `musa::dnn::ImplBase`

实现对象基类，持有底层 C 实现指针，供子类与 C API 交互。

子类通过 impl_ 访问内部实现，GetImpl() 用于跨 C/C++ 边界传递。

概览

成员	说明
`public void * GetImpl()`
`public const void * GetImpl() const`
`protected void * impl_`	底层实现对象指针，由 C 层创建并持有
`protected explicit ImplBase(void * impl)`
`protected ImplBase(const ImplBase &) = delete`
`protected ImplBase(ImplBase &&) = delete`
`protected ImplBase & operator=(const ImplBase &) = delete`
`protected ImplBase & operator=(ImplBase &&) = delete`

成员

`public void * GetImpl()`

返回值

可修改的底层实现指针

`public const void * GetImpl() const`

返回值

只读的底层实现指针

`protected void * impl_`

底层实现对象指针，由 C 层创建并持有

`protected explicit ImplBase(void * impl)`

参数

impl 底层实现对象指针，由子类构造时传入

`protected ImplBase(const ImplBase &) = delete`

`protected ImplBase(ImplBase &&) = delete`

`protected ImplBase & operator=(const ImplBase &) = delete`

`protected ImplBase & operator=(ImplBase &&) = delete`

class `musa::dnn::Interpolate`

class musa::dnn::Interpolate
  : public musa::dnn::ImplBase

插值算子：NEAREST/NEAREST_EXACT/LINEAR/BICUBIC 等，支持 scale、align_corners、antialias。

需同时设置 out 的 shape 与 SetScaleInfo；支持 3/4/5 维输入，BICUBIC 仅 4D；antialias 仅 linear-2D 与 bicubic。

概览

成员	说明
`public Interpolate()`
`public ~Interpolate()`
`public Status SetMode(Mode m)`
`public Status GetMode(Mode & m) const`
`public Status SetScaleInfo(::std::initializer_list< float > scale)`
`public Status SetScaleInfo(int length,float * scale)`
`public Status GetScaleInfo(int & length,float *& scale) const`
`public Status SetAlignCorners(bool align_corners)`	仅对 linear-1/2/3D 与 bicubic 有效；
`public Status GetAlignCorners(bool & align_corners) const`
`public Status SetAntialias(bool antialias)`	仅对 linear-2D 与 bicubic 有效；
`public Status GetAntialias(bool & antialias) const`
`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`
`public Status RunBackward(Handle & h,Tensor & out,const Tensor & in) const`	插值反向
`enum Mode`	插值模式。枚举值：NEAREST(最近邻), NEAREST_EXACT(精确最近邻), LINEAR(线性), BICUBIC(双三次)。

成员

`public Interpolate()`

`public ~Interpolate()`

`public Status SetMode(Mode m)`

参数

m 插值模式

`public Status GetMode(Mode & m) const`

`public Status SetScaleInfo(::std::initializer_list< float > scale)`

参数

scale 各维缩放因子列表

`public Status SetScaleInfo(int length,float * scale)`

参数

length 缩放维度数；
scale 缩放因子数组

`public Status GetScaleInfo(int & length,float *& scale) const`

参数

length 输出：维度数；
scale 输出：缩放数组指针

`public Status SetAlignCorners(bool align_corners)`

仅对 linear-1/2/3D 与 bicubic 有效；

参数

align_corners 是否角点对齐

`public Status GetAlignCorners(bool & align_corners) const`

`public Status SetAntialias(bool antialias)`

仅对 linear-2D 与 bicubic 有效；

参数

antialias 是否抗锯齿

`public Status GetAntialias(bool & antialias) const`

`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`

`public Status RunBackward(Handle & h,Tensor & out,const Tensor & in) const`

插值反向

`enum Mode`

插值模式。枚举值：NEAREST(最近邻), NEAREST_EXACT(精确最近邻), LINEAR(线性), BICUBIC(双三次)。

class `musa::dnn::KLDivLoss`

class musa::dnn::KLDivLoss
  : public musa::dnn::ImplBase

KL 散度损失：输入与目标之间的 KL 散度，支持 log_target、归约模式与反向。

概览

成员	说明
`public KLDivLoss()`
`public ~KLDivLoss()`
`public Status SetReductionMode(Mode mode)`
`public Status GetReductionMode(Mode & mode) const`
`public Status SetLogTarget(bool log_target)`
`public Status GetLogTarget(bool & log_target) const`
`public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,Tensor & input,Tensor & target,size_t & size_in_bytes) const`
`public Status Run(Handle & h,Tensor & out,Tensor & input,const Tensor & target,const MemoryMaintainer & maintainer) const`
`public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & input,const Tensor & target) const`
`enum Mode`	归约模式。NONE, MEAN, SUM, BATCHMEAN。

成员

`public KLDivLoss()`

`public ~KLDivLoss()`

`public Status SetReductionMode(Mode mode)`

`public Status GetReductionMode(Mode & mode) const`

`public Status SetLogTarget(bool log_target)`

`public Status GetLogTarget(bool & log_target) const`

`public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,Tensor & input,Tensor & target,size_t & size_in_bytes) const`

`public Status Run(Handle & h,Tensor & out,Tensor & input,const Tensor & target,const MemoryMaintainer & maintainer) const`

`public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & input,const Tensor & target) const`

`enum Mode`

归约模式。NONE, MEAN, SUM, BATCHMEAN。

class `musa::dnn::L2Loss`

class musa::dnn::L2Loss
  : public musa::dnn::ImplBase

L2 损失：out = sum(in^2) / 2（或按元素），需工作区。

概览

成员	说明
`public L2Loss()`
`public ~L2Loss()`
`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`

成员

`public L2Loss()`

`public ~L2Loss()`

`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`

参数

out 标量或按归约后的损失；
in 输入；
maintainer 工作区分配器

class `musa::dnn::LayerNorm`

class musa::dnn::LayerNorm
  : public musa::dnn::ImplBase

层归一化：在指定轴上计算均值和方差，out = (in - mean) / sqrt(var + eps) * gamma + beta。

支持 VarMode（方差计算方式）、多轴归一化、前向与反向及工作区查询。

概览

成员	说明
`public LayerNorm()`
`public ~LayerNorm()`
`public Status SetVarMode(VarMode var_mode)`
`public Status GetVarMode(VarMode & var_mode) const`
`public Status SetEpsilon(double eps)`
`public Status GetEpsilon(double & eps) const`
`public Status SetAxis(::std::initializer_list< int > axes)`
`public Status SetAxis(size_t length,const int * axes)`
`public Status GetAxis(size_t & length,int *& axes) const`
`public Status Run(Handle & h,Tensor & out,Tensor & mean,Tensor & inv_var,const Tensor & in,const Tensor & gamma,const Tensor & beta,const MemoryMaintainer & maintainer) const`	前向：out, mean, inv_var 为输出
`public Status GetForwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & out,Tensor & mean,Tensor & inv_var,const Tensor & in,const Tensor & gamma,const Tensor & beta) const`	查询前向工作区大小
`public Status RunBwd(Handle & h,Tensor & dX,Tensor & dGamma,Tensor & dBeta,const Tensor & dY,const Tensor & in,const Tensor & mean,const Tensor & invVar,const Tensor & gamma,const MemoryMaintainer & maintainer) const`	反向：dX, dGamma, dBeta 为梯度输出
`public Status GetBackwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & dX,Tensor & dGamma,Tensor & dBeta,const Tensor & dY,const Tensor & in,const Tensor & mean,const Tensor & invVar,const Tensor & gamma) const`	查询反向工作区大小
`enum VarMode`	方差计算模式。DIRECT(直接), WELFORD(在线算法)。

成员

`public LayerNorm()`

`public ~LayerNorm()`

`public Status SetVarMode(VarMode var_mode)`

参数

var_mode 方差计算模式

`public Status GetVarMode(VarMode & var_mode) const`

参数

var_mode 输出：当前 VarMode

`public Status SetEpsilon(double eps)`

参数

eps 方差稳定项

`public Status GetEpsilon(double & eps) const`

参数

eps 输出：当前 epsilon

`public Status SetAxis(::std::initializer_list< int > axes)`

参数

axes 归一化轴列表

`public Status SetAxis(size_t length,const int * axes)`

参数

length 轴数量；
axes 轴索引数组

`public Status GetAxis(size_t & length,int *& axes) const`

参数

length 输出：轴数量；
axes 输出：轴数组指针

`public Status Run(Handle & h,Tensor & out,Tensor & mean,Tensor & inv_var,const Tensor & in,const Tensor & gamma,const Tensor & beta,const MemoryMaintainer & maintainer) const`

前向：out, mean, inv_var 为输出

`public Status GetForwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & out,Tensor & mean,Tensor & inv_var,const Tensor & in,const Tensor & gamma,const Tensor & beta) const`

查询前向工作区大小

`public Status RunBwd(Handle & h,Tensor & dX,Tensor & dGamma,Tensor & dBeta,const Tensor & dY,const Tensor & in,const Tensor & mean,const Tensor & invVar,const Tensor & gamma,const MemoryMaintainer & maintainer) const`

反向：dX, dGamma, dBeta 为梯度输出

`public Status GetBackwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & dX,Tensor & dGamma,Tensor & dBeta,const Tensor & dY,const Tensor & in,const Tensor & mean,const Tensor & invVar,const Tensor & gamma) const`

查询反向工作区大小

`enum VarMode`

方差计算模式。DIRECT(直接), WELFORD(在线算法)。

class `musa::dnn::LocalResponseNorm`

class musa::dnn::LocalResponseNorm
  : public musa::dnn::ImplBase

局部响应归一化（LRN）：在通道/空间邻域上做归一化，常用 n, alpha, beta, k 四个参数。

概览

成员	说明
`public LocalResponseNorm()`
`public ~LocalResponseNorm()`
`public Status SetMode(Mode mode)`
`public Status SetParam(unsigned n,double alpha,double beta,double k)`
`public Status Run(Handle & h,Tensor & y,Tensor & scales,const Tensor & x) const`
`public Status RunBwd(Handle & h,Tensor & dx,const Tensor & y,const Tensor & dy,const Tensor & x,const Tensor & scales) const`	LRN 反向
`enum Mode`	LRN 模式枚举

成员

`public LocalResponseNorm()`

`public ~LocalResponseNorm()`

`public Status SetMode(Mode mode)`

参数

mode LRN 模式

`public Status SetParam(unsigned n,double alpha,double beta,double k)`

参数

n 邻域窗口大小；
alpha 缩放；
beta 指数；
k 偏移

`public Status Run(Handle & h,Tensor & y,Tensor & scales,const Tensor & x) const`

参数

y 输出；
scales 归一化尺度（输出）；
x 输入

`public Status RunBwd(Handle & h,Tensor & dx,const Tensor & y,const Tensor & dy,const Tensor & x,const Tensor & scales) const`

LRN 反向

`enum Mode`

LRN 模式枚举

class `musa::dnn::MaskedScatter`

class musa::dnn::MaskedScatter
  : public musa::dnn::ImplBase

按 mask 将 source 中的值散布到 out 中（mask 为真的位置从 source 取）。

概览

成员	说明
`public MaskedScatter()`
`public ~MaskedScatter()`
`public Status Run(Handle & h,Tensor & out,const Tensor & mask,const Tensor & source,const MemoryMaintainer & maintainer) const`

成员

`public MaskedScatter()`

`public ~MaskedScatter()`

`public Status Run(Handle & h,Tensor & out,const Tensor & mask,const Tensor & source,const MemoryMaintainer & maintainer) const`

参数

out 输出（被原地更新）；
mask 掩码；
source 源张量；
maintainer 工作区

class `musa::dnn::MaskedSelect`

class musa::dnn::MaskedSelect
  : public musa::dnn::ImplBase

按 mask 从 input 中选择元素写入 out（压缩为一维或保持结构由实现决定）。

概览

成员	说明
`public MaskedSelect()`
`public ~MaskedSelect()`
`public Status GetWorkspaceSize(Handle & h,Tensor & out,const Tensor & input,const Tensor & mask,size_t & size_in_bytes) const`	查询 Run 所需工作区大小；
`public Status Run(Handle & h,Tensor & out,const Tensor & input,const Tensor & mask,const MemoryMaintainer & maintainer) const`

成员

`public MaskedSelect()`

`public ~MaskedSelect()`

`public Status GetWorkspaceSize(Handle & h,Tensor & out,const Tensor & input,const Tensor & mask,size_t & size_in_bytes) const`

查询 Run 所需工作区大小；

参数

size_in_bytes 输出字节数

`public Status Run(Handle & h,Tensor & out,const Tensor & input,const Tensor & mask,const MemoryMaintainer & maintainer) const`

参数

out 输出；
input 输入；
mask 掩码；
maintainer 工作区

class `musa::dnn::MatMul`

class musa::dnn::MatMul
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

矩阵乘（MatMul）：d = alpha * a * b + beta * c + gamma * bias，支持转置、alpha/beta/gamma、工作区与显式维度/leading dimension。

概览

成员	说明
`public MatMul()`
`public ~MatMul()`
`public Status SetComputeMode(ComputeMode mode)`
`public Status SetTranspose(bool trans_a,bool trans_b)`
`public Status SetDeterministic(bool is_deterministic)`
`public Status SetAlpha(double alpha)`
`public Status SetBeta(double beta)`
`public Status SetGamma(double gamma)`
`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & c,const Tensor & a,const Tensor & b)`	查询 Run 所需工作区大小；
`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const`	公式：`c = alpha * a * b + beta * c`
`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const`
`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t ldd,const MemoryMaintainer & maintainer) const`
`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const MemoryMaintainer & maintainer) const`
`enum ComputeMode`	计算模式枚举。

成员

`public MatMul()`

`public ~MatMul()`

`public Status SetComputeMode(ComputeMode mode)`

参数

mode 计算精度模式

`public Status SetTranspose(bool trans_a,bool trans_b)`

参数

trans_a 是否转置 a；
trans_b 是否转置 b

`public Status SetDeterministic(bool is_deterministic)`

参数

is_deterministic 是否确定性计算

`public Status SetAlpha(double alpha)`

参数

alpha 乘子：alpha * a * b

`public Status SetBeta(double beta)`

参数

beta 乘子：beta * c

`public Status SetGamma(double gamma)`

参数

gamma 乘子：gamma * bias

`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & c,const Tensor & a,const Tensor & b)`

查询 Run 所需工作区大小；

参数

size_in_bytes 输出字节数

`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const`

公式：c = alpha * a * b + beta * c

参数

h 执行句柄。
c 输入/输出矩阵张量，保存 inplace 计算结果。
a 左输入矩阵；若 trans_a == false，逻辑形状为 (m, k)，否则为 (k, m)。
b 右输入矩阵；若 trans_b == false，逻辑形状为 (k, n)，否则为 (n, k)。
maintainer 为所选算法预先分配的工作区管理器。

返回值

Status::SUCCESS 表示操作成功完成。

`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const`

`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t ldd,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const MemoryMaintainer & maintainer) const`

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::MatMulLtParam`

class musa::dnn::MatMulLtParam
  : public musa::dnn::ImplBase

低精度/量化 MatMul 的尾处理与缩放参数：epilogue 模式、scale_a/b/c/d、aux、amax_d、atomic_sync 等。

概览

成员	说明
`public MatMulLtParam()`
`public ~MatMulLtParam()`
`public Status SetEpilogue(const MatMulLtEpilogueMode epilog_mode)`
`public Status SetScale(const Tensor & scale_a,const Tensor & scale_b,const Tensor & scale_c,const Tensor & scale_d)`	设置各矩阵的量化 scale：scale_a、scale_b、scale_c、scale_d
`public Status SetScale(const Tensor & scale_a,const Tensor & scale_b,const Tensor & scale_c,const Tensor & scale_d,const int quant_tile,const bool fixed_scale_layout)`	同上，并指定 quant_tile 与 fixed_scale_layout
`public Status SetAux(Tensor & aux,const Tensor & scale_aux)`
`public Status SetAmaxD(Tensor & amax_d)`
`public Status SetAtomicSync(Tensor & atomic_sync_in,Tensor & atomic_sync_out)`
`enum MatMulLtEpilogueMode`	低精度 MatMul 尾处理模式。含 DEFAULT, RELU, RELU_AUX, BIAS, RELU_BIAS, RELU_AUX_BIAS, DRELU, DRELU_BGRAD, GELU, GELU_AUX, GELU_BIAS, GELU_AUX_BIAS, DGELU, DGELU_BGRAD 等。

成员

`public MatMulLtParam()`

`public ~MatMulLtParam()`

`public Status SetEpilogue(const MatMulLtEpilogueMode epilog_mode)`

参数

epilog_mode 尾处理模式（如 bias、relu、gelu 等）

`public Status SetScale(const Tensor & scale_a,const Tensor & scale_b,const Tensor & scale_c,const Tensor & scale_d)`

设置各矩阵的量化 scale：scale_a、scale_b、scale_c、scale_d

`public Status SetScale(const Tensor & scale_a,const Tensor & scale_b,const Tensor & scale_c,const Tensor & scale_d,const int quant_tile,const bool fixed_scale_layout)`

同上，并指定 quant_tile 与 fixed_scale_layout

`public Status SetAux(Tensor & aux,const Tensor & scale_aux)`

参数

aux 辅助输出张量；
scale_aux 辅助输出的 scale

`public Status SetAmaxD(Tensor & amax_d)`

参数

amax_d 输出 d 的绝对值最大值（用于动态量化）

`public Status SetAtomicSync(Tensor & atomic_sync_in,Tensor & atomic_sync_out)`

参数

atomic_sync_in 原子同步输入；
atomic_sync_out 原子同步输出

`enum MatMulLtEpilogueMode`

低精度 MatMul 尾处理模式。含 DEFAULT, RELU, RELU_AUX, BIAS, RELU_BIAS, RELU_AUX_BIAS, DRELU, DRELU_BGRAD, GELU, GELU_AUX, GELU_BIAS, GELU_AUX_BIAS, DGELU, DGELU_BGRAD 等。

class `musa::dnn::MatrixBase`

矩阵运算计算模式基类（如默认精度、TF32 等），仅用于继承。

概览

成员	说明
`protected MatrixBase() = default`

成员

`protected MatrixBase() = default`

class `musa::dnn::MultiHeadAttention`

class musa::dnn::MultiHeadAttention
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

多头注意力：Q/K/V 线性变换 + 缩放点积注意力 + 输出线性，支持 mask 模式、key 格式、训练/推理、前向与反向及工作区查询。

概览

成员	说明
`public MultiHeadAttention()`
`public ~MultiHeadAttention()`
`public Status SetComputeMode(ComputeMode mode)`
`public Status SetEmbedDim(int embed_dim)`
`public Status SetKDim(int k_dim)`
`public Status SetVDim(int v_dim)`
`public Status SetHeadsNum(int num_heads)`
`public Status SetBatchFirst(bool batch_first)`
`public Status SetDropoutP(double p)`
`public Status SetScale(double scale)`	softmax 前缩放因子
`public Status SetTraining(bool is_training)`
`public Status SetMaskMode(bool use_pad_mask)`	True：key_padding_mask，形状 [batch_size, seq_len]；False：attn_mask，2D [seq_len, seq_len] 或 3D [batch * heads, seq_len, seq_len]
`public Status SetTransLinearWeigth(bool trans_weight)`	True：PyTorch 风格 y=xA^T+b；False：TensorFlow 风格 y=xA+b
`public Status SetKeyFormat(bool key_format_bhds)`	True：K 为 [batch, num_heads, sub_dim, seq_len]，scores=gemm_nn(Q,K)；False：K 为 [batch, num_heads, seq_len, sub_dim]，scores=gemm_nt(Q,K)
`public Status GetFwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,size_t & bwd_reserve_size_in_bytes,const Tensor & q,const Tensor & k,const Tensor & v) const`
`public Status GetFwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,size_t & bwd_reserve_size_in_bytes,const Tensor & in) const`
`public Status GetBwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,const Tensor & q,const Tensor & k,const Tensor & v) const`
`public Status GetBwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,const Tensor & in) const`
`public Status Run(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & weight_q,const Tensor & weight_k,const Tensor & weight_v,const Tensor & weight_o,const Tensor & bias_q,const Tensor & bias_k,const Tensor & bias_v,const Tensor & bias_o,const Tensor & mask,Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const`
`public Status Run(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & in,const Tensor & weight,const Tensor & weight_o,const Tensor & bias,const Tensor & bias_o,const Tensor & mask,Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const`
`public Status RunBwd(Handle & h,Tensor & in_grad,Tensor & weight_grad,Tensor & weight_o_grad,Tensor & bias_grad,Tensor & bias_o_grad,const Tensor & out_grad,const Tensor & attn_probs,const Tensor & in,const Tensor & weight,const Tensor & weight_o,const Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const`
public Status RunBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,Tensor & weight_q_grad,Tensor & weight_k_grad,Tensor & weight_v_grad,Tensor & weight_o_grad,Tensor & bias_q_grad,Tensor & bias_k_grad,Tensor & bias_v_grad,Tensor & bias_o_grad,const Tensor & out_grad,const Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & weight_q,const Tensor & weight_k,const Tensor & weight_v,const Tensor & weight_o,const Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const
`enum ComputeMode`	计算模式枚举。

成员

`public MultiHeadAttention()`

`public ~MultiHeadAttention()`

`public Status SetComputeMode(ComputeMode mode)`

参数

mode 计算精度模式

`public Status SetEmbedDim(int embed_dim)`

参数

embed_dim 嵌入维度（Q 的最后一维）

`public Status SetKDim(int k_dim)`

参数

k_dim K 的最后一维（可与 embed_dim 不同）

`public Status SetVDim(int v_dim)`

参数

v_dim V 的最后一维

`public Status SetHeadsNum(int num_heads)`

参数

num_heads 头数

`public Status SetBatchFirst(bool batch_first)`

参数

batch_first 输入是否为 (batch, seq, ...)

`public Status SetDropoutP(double p)`

参数

p Dropout 概率

`public Status SetScale(double scale)`

softmax 前缩放因子

`public Status SetTraining(bool is_training)`

参数

is_training 是否训练模式

`public Status SetMaskMode(bool use_pad_mask)`

True：key_padding_mask，形状 [batch_size, seq_len]；False：attn_mask，2D [seq_len, seq_len] 或 3D [batch * heads, seq_len, seq_len]

`public Status SetTransLinearWeigth(bool trans_weight)`

True：PyTorch 风格 y=xA^T+b；False：TensorFlow 风格 y=xA+b

`public Status SetKeyFormat(bool key_format_bhds)`

True：K 为 [batch, num_heads, sub_dim, seq_len]，scores=gemm_nn(Q,K)；False：K 为 [batch, num_heads, seq_len, sub_dim]，scores=gemm_nt(Q,K)

`public Status GetFwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,size_t & bwd_reserve_size_in_bytes,const Tensor & q,const Tensor & k,const Tensor & v) const`

`public Status GetFwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,size_t & bwd_reserve_size_in_bytes,const Tensor & in) const`

`public Status GetBwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,const Tensor & q,const Tensor & k,const Tensor & v) const`

`public Status GetBwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,const Tensor & in) const`

`public Status Run(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & weight_q,const Tensor & weight_k,const Tensor & weight_v,const Tensor & weight_o,const Tensor & bias_q,const Tensor & bias_k,const Tensor & bias_v,const Tensor & bias_o,const Tensor & mask,Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const`

`public Status Run(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & in,const Tensor & weight,const Tensor & weight_o,const Tensor & bias,const Tensor & bias_o,const Tensor & mask,Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const`

`public Status RunBwd(Handle & h,Tensor & in_grad,Tensor & weight_grad,Tensor & weight_o_grad,Tensor & bias_grad,Tensor & bias_o_grad,const Tensor & out_grad,const Tensor & attn_probs,const Tensor & in,const Tensor & weight,const Tensor & weight_o,const Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const`

public Status RunBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,Tensor & weight_q_grad,Tensor & weight_k_grad,Tensor & weight_v_grad,Tensor & weight_o_grad,Tensor & bias_q_grad,Tensor & bias_k_grad,Tensor & bias_v_grad,Tensor & bias_o_grad,const Tensor & out_grad,const Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & weight_q,const Tensor & weight_k,const Tensor & weight_v,const Tensor & weight_o,const Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::NLLLoss`

class musa::dnn::NLLLoss
  : public musa::dnn::ImplBase

负对数似然损失（NLL）：与 log_softmax 配合用于分类，支持 ignore_index、weight、归约模式。

概览

成员	说明
`public NLLLoss()`
`public ~NLLLoss()`
`public Status SetReductionMode(Mode mode)`
`public Status GetReductionMode(Mode & mode) const`
`public Status SetIgnoreIndex(int index)`
`public Status GetIgnoreIndex(int & index) const`
`public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,Tensor & totalWeight,const Tensor & input,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const`
`public Status Run(Handle & h,Tensor & out,Tensor & totalWeight,const Tensor & input,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const`
`public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & target,const Tensor & weight,const Tensor & totalWeight,const MemoryMaintainer & maintainer) const`
`enum Mode`	归约模式。NONE, MEAN, SUM, BATCHMEAN。

成员

`public NLLLoss()`

`public ~NLLLoss()`

`public Status SetReductionMode(Mode mode)`

`public Status GetReductionMode(Mode & mode) const`

`public Status SetIgnoreIndex(int index)`

`public Status GetIgnoreIndex(int & index) const`

`public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,Tensor & totalWeight,const Tensor & input,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const`

`public Status Run(Handle & h,Tensor & out,Tensor & totalWeight,const Tensor & input,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const`

`public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & target,const Tensor & weight,const Tensor & totalWeight,const MemoryMaintainer & maintainer) const`

`enum Mode`

归约模式。NONE, MEAN, SUM, BATCHMEAN。

class `musa::dnn::Nonzero`

class musa::dnn::Nonzero
  : public musa::dnn::ImplBase

返回 in 中非零元素的索引（坐标），输出形状为 (ndim, num_nonzero)。

概览

成员	说明
`public Nonzero()`
`public ~Nonzero()`
`public Status GetWorkspaceSize(Handle & h,Tensor & out,const Tensor & in,size_t & size_in_bytes) const`	查询工作区大小
`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`

成员

`public Nonzero()`

`public ~Nonzero()`

`public Status GetWorkspaceSize(Handle & h,Tensor & out,const Tensor & in,size_t & size_in_bytes) const`

查询工作区大小

`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`

参数

out 非零索引张量；
in 输入；
maintainer 工作区

class `musa::dnn::Pad`

class musa::dnn::Pad
  : public musa::dnn::ImplBase

填充算子：在边界按 pad 与 mode 填充，支持常量填充值。

概览

成员	说明
`public Pad()`
`public ~Pad()`
`public Status SetMode(Mode mode)`
`public Status GetMode(Mode & mode) const`
`public Status SetValue(double value)`	常量填充时的浮点填充值
`public Status SetValue(int64_t value)`	常量填充时的整型填充值
`public Status SetPaddingInfo(::std::initializer_list< int > pad)`
`public Status SetPaddingInfo(int length,const int * pad)`
`public Status GetPaddingInfo(int & length,int *& pad) const`
`public Status Run(Handle & h,Tensor & out,const Tensor & input) const`
`enum Mode`	填充模式。CONSTANT(常量), REFLECT(反射), REPLICATE(复制), CIRCULAR(循环)。

成员

`public Pad()`

`public ~Pad()`

`public Status SetMode(Mode mode)`

参数

mode 填充模式（CONSTANT/REFLECT 等）

`public Status GetMode(Mode & mode) const`

`public Status SetValue(double value)`

常量填充时的浮点填充值

`public Status SetValue(int64_t value)`

常量填充时的整型填充值

`public Status SetPaddingInfo(::std::initializer_list< int > pad)`

参数

pad 各维两端填充量 [start_0,end_0, start_1,end_1, ...]

`public Status SetPaddingInfo(int length,const int * pad)`

参数

length 维数；
pad 填充数组

`public Status GetPaddingInfo(int & length,int *& pad) const`

参数

length 输出：维数；
pad 输出：填充数组指针

`public Status Run(Handle & h,Tensor & out,const Tensor & input) const`

参数

out 输出；
input 输入

`enum Mode`

填充模式。CONSTANT(常量), REFLECT(反射), REPLICATE(复制), CIRCULAR(循环)。

class `musa::dnn::Permute`

class musa::dnn::Permute
  : public musa::dnn::ImplBase

张量维置换与切片算子：通过 ConfigDimStride 配置置换，通过 ConfigDimStrideForSlice 配置切片。

要求 out 与 in 的维度数（shape 长度）一致；步长由配置函数根据置换/切片参数写入 out、in。

概览

成员	说明
`public Permute()`
`public ~Permute()`
`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`	执行置换/拷贝：根据 out、in 已配置的步长将 in 按置换顺序写入 out
`public Status SetSrcOffset(int64_t s_offset)`
`public Status SetDstOffset(int64_t d_offset)`
`public Status ConfigDimStride(Tensor & out,Tensor & in,::std::initializer_list< int64_t > permute_dims)`	根据置换维度配置 out、in 的步长，使 Run 执行 permute_dims 指定的置换
`public Status ConfigDimStride(Tensor & out,Tensor & in,int len,const int64_t * array_dims)`	同上，置换维度由数组 array_dims 指定，长度为 len
`public Status ConfigDimStrideForSlice(Tensor & out,Tensor & in,const int64_t * start)`	配置切片：各维起始为 start，步长默认为 1
`public Status ConfigDimStrideForSlice(Tensor & out,Tensor & in,const int64_t * start,const int64_t * stride)`	配置切片：各维起始 start，各维步长 stride

成员

`public Permute()`

`public ~Permute()`

`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`

执行置换/拷贝：根据 out、in 已配置的步长将 in 按置换顺序写入 out

`public Status SetSrcOffset(int64_t s_offset)`

参数

s_offset 源张量起始偏移（元素单位）

`public Status SetDstOffset(int64_t d_offset)`

参数

d_offset 目标张量起始偏移（元素单位）

`public Status ConfigDimStride(Tensor & out,Tensor & in,::std::initializer_list< int64_t > permute_dims)`

根据置换维度配置 out、in 的步长，使 Run 执行 permute_dims 指定的置换

`public Status ConfigDimStride(Tensor & out,Tensor & in,int len,const int64_t * array_dims)`

同上，置换维度由数组 array_dims 指定，长度为 len

`public Status ConfigDimStrideForSlice(Tensor & out,Tensor & in,const int64_t * start)`

配置切片：各维起始为 start，步长默认为 1

`public Status ConfigDimStrideForSlice(Tensor & out,Tensor & in,const int64_t * start,const int64_t * stride)`

配置切片：各维起始 start，各维步长 stride

class `musa::dnn::Pooling`

class musa::dnn::Pooling
  : public musa::dnn::ImplBase

池化算子：Max/Avg 等，支持 kernel/pad/stride/dilation、divisor、indices 输出与反向。

概览

成员	说明
`public Pooling()`
`public ~Pooling()`
`public Status SetMode(Mode m)`
`public Status GetMode(Mode & m) const`
`public Status SetNdInfo(::std::initializer_list< int > kernel,::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)`	支持最多 3 维；kernel/pad/stride/dilation 分别为核大小、填充、步长、膨胀
`public Status SetNdInfo(int len,const int * kernel,const int * pad,const int * stride,const int * dilation)`
`public Status GetNdInfo(int & len,int & kernel,int & pad,int & stride,int & dilation) const`	输出当前 kernel/pad/stride/dilation 及长度
`public Status SetDivisor(int divisor)`
`public Status GetDivisor(int & divisor) const`
`public Status Run(Handle & h,Tensor & out,const Tensor & in,Tensor & indices) const`
`public Status RunBwd(Handle & h,Tensor & out,const Tensor & in,Tensor & indices) const`	池化反向：
`public Status RunMaxPool2dGradGrad(Handle & h,Tensor & out,const Tensor & in,const Tensor & indices) const`	MaxPool2d 的二阶梯度
`enum Mode`	池化模式。枚举值：MAXPOOL(最大池化), AVGPOOL_COUNT_PAD(平均池化计填充), AVGPOOL_COUNT_WITHOUT_PAD(平均池化不计填充), GLOBAL_AVGPOOL(全局平均), ADAPTIVE_MAXPOOL(自适应最大), ADAPTIVE_AVGPOOL(自适应平均)。

成员

`public Pooling()`

`public ~Pooling()`

`public Status SetMode(Mode m)`

参数

m 池化模式（MAX/AVG 等）

`public Status GetMode(Mode & m) const`

`public Status SetNdInfo(::std::initializer_list< int > kernel,::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)`

支持最多 3 维；kernel/pad/stride/dilation 分别为核大小、填充、步长、膨胀

`public Status SetNdInfo(int len,const int * kernel,const int * pad,const int * stride,const int * dilation)`

参数

len 空间维数；
kernel 核大小；
pad 填充；
stride 步长；
dilation 膨胀

`public Status GetNdInfo(int & len,int & kernel,int & pad,int & stride,int & dilation) const`

输出当前 kernel/pad/stride/dilation 及长度

`public Status SetDivisor(int divisor)`

参数

divisor 平均池化时的除数（默认由核元素数决定）

`public Status GetDivisor(int & divisor) const`

`public Status Run(Handle & h,Tensor & out,const Tensor & in,Tensor & indices) const`

参数

out 输出；
in 输入；
indices 最大池化时的索引（输出）

`public Status RunBwd(Handle & h,Tensor & out,const Tensor & in,Tensor & indices) const`

池化反向：

参数

out 输入的梯度；
in 前向输入；
indices 前向输出的索引

`public Status RunMaxPool2dGradGrad(Handle & h,Tensor & out,const Tensor & in,const Tensor & indices) const`

MaxPool2d 的二阶梯度

`enum Mode`

池化模式。枚举值：MAXPOOL(最大池化), AVGPOOL_COUNT_PAD(平均池化计填充), AVGPOOL_COUNT_WITHOUT_PAD(平均池化不计填充), GLOBAL_AVGPOOL(全局平均), ADAPTIVE_MAXPOOL(自适应最大), ADAPTIVE_AVGPOOL(自适应平均)。

class `musa::dnn::Reduce`

class musa::dnn::Reduce
  : public musa::dnn::ImplBase

归约算子：沿指定维度做 sum/max/min/mean 等，支持 argmax/argmin、带索引输出等。

ndims 为 0 时表示对所有维度归约，输出为单元素。

概览

成员	说明
`public Reduce()`
`public ~Reduce()`
`public Status SetMode(Mode m)`
`public Status SetDim(::std::initializer_list< int > dim)`	设置归约维度；ndims=0 表示归约所有维度，输出为单元素
`public Status SetDim(int ndim,const int * dim)`
`public Status SetNormOrd(float ord)`
`public Status SetCorrection(int correction)`
`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & in)`	查询 Run 所需工作区大小；
`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`	执行归约；
`public Status GetMeanAndVarWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out_var,Tensor & out_mean,const Tensor & in)`	查询 RunMeanAndVar 所需工作区大小
`public Status RunMeanAndVar(Handle & h,Tensor & out_var,Tensor & out_mean,const Tensor & in,const MemoryMaintainer & maintainer) const`	同时计算均值和方差并写入 out_mean、out_var
`public Status GetIndicesWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & in)`	仅支持 mode 为 argmax/argmin 且归约维度数为 1；查询 RunIndices 工作区大小
`public Status RunIndices(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`	归约并输出索引（argmax/argmin）
`public Status GetWithIndicesWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,Tensor & indices,const Tensor & in)`	仅支持 mode 为 max/min 且归约维度数为 1；查询 RunWithIndices 工作区大小
`public Status RunWithIndices(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const`	归约并同时输出值与索引（max/min）
`enum Mode`	归约模式枚举。

成员

`public Reduce()`

`public ~Reduce()`

`public Status SetMode(Mode m)`

参数

m 归约模式（如 sum、max、min、mean、argmax、argmin 等）

`public Status SetDim(::std::initializer_list< int > dim)`

设置归约维度；ndims=0 表示归约所有维度，输出为单元素

`public Status SetDim(int ndim,const int * dim)`

参数

ndim 归约维度数量；
dim 归约维度索引数组

`public Status SetNormOrd(float ord)`

参数

ord 范数阶数（用于 norm 类归约）

`public Status SetCorrection(int correction)`

参数

correction 方差计算的 Bessel 修正（0 为总体方差，1 为样本方差等）

`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & in)`

查询 Run 所需工作区大小；

参数

size_in_bytes 输出字节数

`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`

执行归约；

参数

maintainer 工作区分配器

`public Status GetMeanAndVarWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out_var,Tensor & out_mean,const Tensor & in)`

查询 RunMeanAndVar 所需工作区大小

`public Status RunMeanAndVar(Handle & h,Tensor & out_var,Tensor & out_mean,const Tensor & in,const MemoryMaintainer & maintainer) const`

同时计算均值和方差并写入 out_mean、out_var

`public Status GetIndicesWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & in)`

仅支持 mode 为 argmax/argmin 且归约维度数为 1；查询 RunIndices 工作区大小

`public Status RunIndices(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`

归约并输出索引（argmax/argmin）

`public Status GetWithIndicesWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,Tensor & indices,const Tensor & in)`

仅支持 mode 为 max/min 且归约维度数为 1；查询 RunWithIndices 工作区大小

`public Status RunWithIndices(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const`

归约并同时输出值与索引（max/min）

`enum Mode`

归约模式枚举。

class `musa::dnn::RMSNorm`

class musa::dnn::RMSNorm
  : public musa::dnn::ImplBase

RMS 归一化：out = in / sqrt(mean(in^2) + eps) * gamma，无 beta，无均值输出。

概览

成员	说明
`public RMSNorm()`
`public ~RMSNorm()`
`public Status SetVarMode(VarMode var_mode)`
`public Status GetVarMode(VarMode & var_mode) const`
`public Status SetEpsilon(double eps)`
`public Status GetEpsilon(double & eps) const`
`public Status SetAxis(::std::initializer_list< int > axes)`
`public Status SetAxis(size_t length,const int * axes)`
`public Status GetAxis(size_t & length,int *& axes) const`
`public Status Run(Handle & h,Tensor & out,Tensor & inv_var,const Tensor & in,const Tensor & gamma) const`
`public Status RunBwd(Handle & h,Tensor & dX,Tensor & dGamma,const Tensor & dY,const Tensor & in,const Tensor & invVar,const Tensor & gamma,const MemoryMaintainer & maintainer) const`
`public Status GetBackwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & dX,Tensor & dGamma,const Tensor & dY,const Tensor & in,const Tensor & invVar,const Tensor & gamma) const`
`enum VarMode`	方差计算模式。枚举值：DIRECT, WELFORD。

成员

`public RMSNorm()`

`public ~RMSNorm()`

`public Status SetVarMode(VarMode var_mode)`

`public Status GetVarMode(VarMode & var_mode) const`

`public Status SetEpsilon(double eps)`

`public Status GetEpsilon(double & eps) const`

`public Status SetAxis(::std::initializer_list< int > axes)`

`public Status SetAxis(size_t length,const int * axes)`

`public Status GetAxis(size_t & length,int *& axes) const`

`public Status Run(Handle & h,Tensor & out,Tensor & inv_var,const Tensor & in,const Tensor & gamma) const`

参数

inv_var 输出 1/sqrt(var+eps)

`public Status RunBwd(Handle & h,Tensor & dX,Tensor & dGamma,const Tensor & dY,const Tensor & in,const Tensor & invVar,const Tensor & gamma,const MemoryMaintainer & maintainer) const`

`public Status GetBackwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & dX,Tensor & dGamma,const Tensor & dY,const Tensor & in,const Tensor & invVar,const Tensor & gamma) const`

`enum VarMode`

方差计算模式。枚举值：DIRECT, WELFORD。

class `musa::dnn::RNN`

class musa::dnn::RNN
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

RNN/LSTM/GRU 等循环网络：支持 SEQ_FIRST 格式、BiasMode、Direction、PackPadded/PadPacked 与反向。

权重大小由 BiasMode 决定（BOTH/NEITHER/ONLY_INPUT/ONLY_HIDDEN）；LSTM 公式见头内注释。

概览

成员	说明
`public RNN()`
`public ~RNN()`
`public Status SetMode(Mode m)`
`public Status SetFormat(Format m)`
`public Status SetBiasMode(BiasMode bm)`
`public Status SetDirection(Direction d)`
`public Status SetComputeMode(ComputeMode mode)`
`public Status RunUnpacked(Handle & h,Tensor & out,Tensor & hout,Tensor & cout,const Tensor & in,const Tensor & hin,const Tensor & cin,const Tensor * weight,Tensor & bwdHint,const MemoryMaintainer & maintainer) const`
`public Status RunUnpackedBwd(Handle & h,Tensor & in_grad,Tensor & hin_grad,Tensor & cin_grad,const Tensor * weight_grad,const Tensor & in,const Tensor & hin,const Tensor & cin,const Tensor * weight,const Tensor & out,const Tensor & bwdHint,const Tensor & out_grad,const Tensor & hout_grad,const Tensor & cout_grad,const MemoryMaintainer & maintainer) const`
`public Status RunPackPaddedSequence(Handle & h,Tensor & packed,Tensor & batsize,const Tensor & padded,const Tensor & lengths,bool batch_first,bool enforce_sorted)`
`public Status RunPadPackedSequence(Handle & h,Tensor & padded,Tensor & lengths,const Tensor & packed,const Tensor & batsize,bool batch_first,float padding_value)`
`enum Mode`	RNN 单元类型。LSTM, RNN_RELU, RNN_TANH, GRU。
`enum Format`	序列布局。BATCH_FIRST(批优先), SEQ_FIRST(序列优先)。
`enum BiasMode`	偏置模式。NEITHER(无), ONLY_INPUT(仅输入), ONLY_HIDDEN(仅隐状态), BOTH(均有)。
`enum Direction`	方向。SINGLE(单向), DUAL(双向)。
`enum ComputeMode`	计算模式枚举。

成员

`public RNN()`

`public ~RNN()`

`public Status SetMode(Mode m)`

`public Status SetFormat(Format m)`

`public Status SetBiasMode(BiasMode bm)`

`public Status SetDirection(Direction d)`

`public Status SetComputeMode(ComputeMode mode)`

`public Status RunUnpacked(Handle & h,Tensor & out,Tensor & hout,Tensor & cout,const Tensor & in,const Tensor & hin,const Tensor & cin,const Tensor * weight,Tensor & bwdHint,const MemoryMaintainer & maintainer) const`

`public Status RunUnpackedBwd(Handle & h,Tensor & in_grad,Tensor & hin_grad,Tensor & cin_grad,const Tensor * weight_grad,const Tensor & in,const Tensor & hin,const Tensor & cin,const Tensor * weight,const Tensor & out,const Tensor & bwdHint,const Tensor & out_grad,const Tensor & hout_grad,const Tensor & cout_grad,const MemoryMaintainer & maintainer) const`

`public Status RunPackPaddedSequence(Handle & h,Tensor & packed,Tensor & batsize,const Tensor & padded,const Tensor & lengths,bool batch_first,bool enforce_sorted)`

`public Status RunPadPackedSequence(Handle & h,Tensor & padded,Tensor & lengths,const Tensor & packed,const Tensor & batsize,bool batch_first,float padding_value)`

`enum Mode`

RNN 单元类型。LSTM, RNN_RELU, RNN_TANH, GRU。

`enum Format`

序列布局。BATCH_FIRST(批优先), SEQ_FIRST(序列优先)。

`enum BiasMode`

偏置模式。NEITHER(无), ONLY_INPUT(仅输入), ONLY_HIDDEN(仅隐状态), BOTH(均有)。

`enum Direction`

方向。SINGLE(单向), DUAL(双向)。

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::Rope`

class musa::dnn::Rope
  : public musa::dnn::ImplBase

旋转位置编码算子（Rotary Positional Embedding, RoPE），对输入张量按频率张量 freqs_cis 施加旋转位置编码，支持交错布局、batch_first 布局以及 multi-latent attention 配置，并提供前向与反向接口。

概览

成员	说明
`public Rope()`
`public ~Rope()`
`public Status SetRotaryInterleaved(bool rotary_interleaved)`
`public Status GetRotaryInterleaved(bool & rotary_interleaved) const`
`public Status SetBatchFirst(bool batch_first)`
`public Status GetBatchFirst(bool & batch_first) const`
`public Status SetMultiLatentAttention(bool multi_latent_attention)`
`public Status GetMultiLatentAttention(bool & multi_latent_attention) const`
`public Status Run(Handle & h,Tensor & t_out,const Tensor & t_in,const Tensor & freqs_cis) const`
`public Status RunBwd(Handle & h,Tensor & dt,const Tensor & dout_t,const Tensor & freqs_cis) const`

成员

`public Rope()`

`public ~Rope()`

`public Status SetRotaryInterleaved(bool rotary_interleaved)`

`public Status GetRotaryInterleaved(bool & rotary_interleaved) const`

`public Status SetBatchFirst(bool batch_first)`

`public Status GetBatchFirst(bool & batch_first) const`

`public Status SetMultiLatentAttention(bool multi_latent_attention)`

`public Status GetMultiLatentAttention(bool & multi_latent_attention) const`

`public Status Run(Handle & h,Tensor & t_out,const Tensor & t_in,const Tensor & freqs_cis) const`

`public Status RunBwd(Handle & h,Tensor & dt,const Tensor & dout_t,const Tensor & freqs_cis) const`

class `musa::dnn::ScaledDotProductAttention`

class musa::dnn::ScaledDotProductAttention
  : public musa::dnn::ImplBase
  : protected musa::dnn::MatrixBase

缩放点积注意力：Flash / FlashVarlen / Math 三种实现，支持 mask、causal、dropout、logsumexp、变长序列 cu_seqlens。

概览

成员	说明
`public ScaledDotProductAttention()`
`public ~ScaledDotProductAttention()`
`public Status SetComputeMode(ComputeMode mode)`
`public Status SetEmbedDim(int embed_dim)`
`public Status SetBatchSize(int batch_size)`
`public Status SetHeadsNum(int num_heads)`
`public Status SetDropoutP(double p)`
`public Status SetSeed(uint64_t seed,uint64_t offset,int dropout_mode,const uint64_t * device_seed,const uint64_t * device_offset,uint64_t graph_offset)`
`public Status SetScale(double scale)`	softmax 前缩放因子
`public Status SetTraining(bool is_training)`
`public Status SetMaskMode(bool use_pad_mask)`	True：key_padding_mask [batch, seq_len]；False：attn_mask 2D/3D
`public Status SetKeyFormat(bool key_format_bhds)`	True：K [batch, heads, sub_dim, seq_len]；False：K [batch, heads, seq_len, sub_dim]
`public Status SetCausal(bool is_causal)`
`public Status SetIsDeterministic(bool is_deterministic)`
`public Status SetMaxSeqlenQ(int max_seqlen_q)`
`public Status SetMaxSeqlenK(int max_seqlen_k)`
`public Status RunFlash(Handle & h,Tensor & out,Tensor & logsumexp,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const MemoryMaintainer & maintainer) const`
`public Status GetFlashBwdWorkspaceSize(Handle & h,const Tensor & q_grad,const Tensor & k_grad,const Tensor & v_grad,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,size_t & size_in_bytes) const`
`public Status RunFlashBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const MemoryMaintainer & maintainer) const`
`public Status RunFlashVarlen(Handle & h,Tensor & out,Tensor & logsumexp,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,const MemoryMaintainer & maintainer) const`
`public Status GetFlashVarlenBwdWorkspaceSize(Handle & h,const Tensor & q_grad,const Tensor & k_grad,const Tensor & v_grad,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,size_t & size_in_bytes) const`
`public Status RunFlashVarlenBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,const MemoryMaintainer & maintainer) const`
`public Status GetMathForwardWorkspaceSize(Handle & h,const Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & dropout_mask,const Tensor & out,size_t & size_in_bytes) const`
`public Status RunMath(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const MemoryMaintainer & maintainer) const`
`public Status GetMathBackwardWorkspaceSize(Handle & h,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & dropout_mask,size_t & size_in_bytes) const`
`public Status RunMathBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,const Tensor & v_grad,const Tensor & attn_probs_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & attn_probs,const Tensor & dropout_mask,const MemoryMaintainer & maintainer) const`
`enum ComputeMode`	计算模式枚举。

成员

`public ScaledDotProductAttention()`

`public ~ScaledDotProductAttention()`

`public Status SetComputeMode(ComputeMode mode)`

参数

mode 计算精度模式

`public Status SetEmbedDim(int embed_dim)`

参数

embed_dim 嵌入/头维度

`public Status SetBatchSize(int batch_size)`

参数

batch_size 批大小

`public Status SetHeadsNum(int num_heads)`

参数

num_heads 头数

`public Status SetDropoutP(double p)`

参数

p Dropout 概率

`public Status SetSeed(uint64_t seed,uint64_t offset,int dropout_mode,const uint64_t * device_seed,const uint64_t * device_offset,uint64_t graph_offset)`

参数

seed 主机种子；
offset 主机偏移；
dropout_mode 模式；
device_seed 设备种子；
device_offset 设备偏移；
graph_offset 图偏移

`public Status SetScale(double scale)`

softmax 前缩放因子

`public Status SetTraining(bool is_training)`

参数

is_training 是否训练

`public Status SetMaskMode(bool use_pad_mask)`

True：key_padding_mask [batch, seq_len]；False：attn_mask 2D/3D

`public Status SetKeyFormat(bool key_format_bhds)`

True：K [batch, heads, sub_dim, seq_len]；False：K [batch, heads, seq_len, sub_dim]

`public Status SetCausal(bool is_causal)`

参数

is_causal 是否因果 mask

`public Status SetIsDeterministic(bool is_deterministic)`

参数

is_deterministic 是否确定性

`public Status SetMaxSeqlenQ(int max_seqlen_q)`

参数

max_seqlen_q Q 最大序列长度（变长/Flash 用）

`public Status SetMaxSeqlenK(int max_seqlen_k)`

参数

max_seqlen_k K 最大序列长度

`public Status RunFlash(Handle & h,Tensor & out,Tensor & logsumexp,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const MemoryMaintainer & maintainer) const`

`public Status GetFlashBwdWorkspaceSize(Handle & h,const Tensor & q_grad,const Tensor & k_grad,const Tensor & v_grad,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,size_t & size_in_bytes) const`

`public Status RunFlashBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const MemoryMaintainer & maintainer) const`

`public Status RunFlashVarlen(Handle & h,Tensor & out,Tensor & logsumexp,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,const MemoryMaintainer & maintainer) const`

`public Status GetFlashVarlenBwdWorkspaceSize(Handle & h,const Tensor & q_grad,const Tensor & k_grad,const Tensor & v_grad,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,size_t & size_in_bytes) const`

`public Status RunFlashVarlenBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,const MemoryMaintainer & maintainer) const`

`public Status GetMathForwardWorkspaceSize(Handle & h,const Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & dropout_mask,const Tensor & out,size_t & size_in_bytes) const`

`public Status RunMath(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const MemoryMaintainer & maintainer) const`

`public Status GetMathBackwardWorkspaceSize(Handle & h,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & dropout_mask,size_t & size_in_bytes) const`

`public Status RunMathBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,const Tensor & v_grad,const Tensor & attn_probs_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & attn_probs,const Tensor & dropout_mask,const MemoryMaintainer & maintainer) const`

`enum ComputeMode`

计算模式枚举。

枚举值含义：TENSOR(张量/默认精度), SCALAR(标量模式)。

class `musa::dnn::Scan`

class musa::dnn::Scan
  : public musa::dnn::ImplBase

扫描算子（前缀运算）。沿指定维度执行 inclusive 或 exclusive 前缀计算，支持加法与乘法两种扫描类型，并可配置初始值。

概览

成员	说明
`public Scan()`
`public ~Scan()`
`public Status SetMode(Mode m)`
`public Status SetOpType(ScanOpType op_type)`
`public Status SetInitVal(double value)`
`public Status SetInitVal(int64_t value)`
`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`
`enum Mode`	扫描模式。INCLUSIVE(含当前), EXCLUSIVE(不含当前)。
`enum ScanOpType`	扫描运算类型。ADD(累加), MUL(累乘)。

成员

`public Scan()`

`public ~Scan()`

`public Status SetMode(Mode m)`

`public Status SetOpType(ScanOpType op_type)`

`public Status SetInitVal(double value)`

`public Status SetInitVal(int64_t value)`

`public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const`

参数

out 输出；
in 输入；
maintainer 工作区

`enum Mode`

扫描模式。INCLUSIVE(含当前), EXCLUSIVE(不含当前)。

`enum ScanOpType`

扫描运算类型。ADD(累加), MUL(累乘)。

class `musa::dnn::Scatter`

class musa::dnn::Scatter
  : public musa::dnn::ImplBase

Scatter：根据 idx 与 dim 将 update 散布到 self 或 out（inplace 与 outplace 两种 Run）。

概览

成员	说明
`public Scatter()`
`public ~Scatter()`
`public Status SetMode(Mode mode)`
`public Status GetMode(Mode & mode) const`
`public Status Run(Handle & h,Tensor & self,const Tensor & idx,const Tensor & update,int dim,const MemoryMaintainer & maintainer) const`
`public Status Run(Handle & h,Tensor & out,const Tensor & self,const Tensor & idx,const Tensor & update,int dim,const MemoryMaintainer & maintainer) const`	Outplace：out 为输出，self/idx/update 为输入，dim 为散布维度
`enum Mode`	散布模式。UPDATE_ONLY(仅覆盖), ADD(加), SUB(减), MUL(乘)。

成员

`public Scatter()`

`public ~Scatter()`

`public Status SetMode(Mode mode)`

`public Status GetMode(Mode & mode) const`

`public Status Run(Handle & h,Tensor & self,const Tensor & idx,const Tensor & update,int dim,const MemoryMaintainer & maintainer) const`

`public Status Run(Handle & h,Tensor & out,const Tensor & self,const Tensor & idx,const Tensor & update,int dim,const MemoryMaintainer & maintainer) const`

Outplace：out 为输出，self/idx/update 为输入，dim 为散布维度

`enum Mode`

散布模式。UPDATE_ONLY(仅覆盖), ADD(加), SUB(减), MUL(乘)。

class `musa::dnn::ScatterND`

class musa::dnn::ScatterND
  : public musa::dnn::ImplBase

多维 Scatter：根据多维索引 idx 将 update 散布到 self（索引为多维坐标）。

概览

成员	说明
`public ScatterND()`
`public ~ScatterND()`
`public Status SetMode(Mode mode)`
`public Status GetMode(Mode & mode) const`
`public Status Run(Handle & h,Tensor & self,const Tensor & idx,const Tensor & update,const MemoryMaintainer & maintainer) const`
`enum Mode`	散布模式。UPDATE_ONLY, ADD, SUB, MUL。

成员

`public ScatterND()`

`public ~ScatterND()`

`public Status SetMode(Mode mode)`

`public Status GetMode(Mode & mode) const`

`public Status Run(Handle & h,Tensor & self,const Tensor & idx,const Tensor & update,const MemoryMaintainer & maintainer) const`

参数

self 被原地更新；
idx 索引；
update 更新值；
maintainer 工作区

`enum Mode`

散布模式。UPDATE_ONLY, ADD, SUB, MUL。

class `musa::dnn::Softmax`

class musa::dnn::Softmax
  : public musa::dnn::ImplBase

Softmax 算子：沿指定维度做 softmax，支持多种算法与模式、前向/反向及工作区查询。

概览

成员	说明
`public Softmax()`
`public ~Softmax()`
`public Status SetDim(int d)`
`public Status GetDim(int & d) const`
`public Status SetAlgorithm(Algorithm a)`
`public Status GetAlgorithm(Algorithm & a) const`
`public Status SetMode(Mode m)`
`public Status GetMode(Mode & m) const`
`public Status GetForwardWorkspaceSize(Handle & h,Tensor & out,Tensor & input,size_t & size_in_bytes) const`
`public Status Run(Handle & h,Tensor & out,const Tensor & input,const MemoryMaintainer & maintainer) const`
`public Status GetBackwardWorkspaceSize(Handle & h,Tensor & gradInput,const Tensor & output,const Tensor & gradOutput,size_t & size_in_bytes) const`
`public Status RunBwd(Handle & h,Tensor & gradInput,const Tensor & output,const Tensor & gradOutput,const MemoryMaintainer & maintainer) const`
`enum Algorithm`	计算算法。DIRECT(直接), ACCURATE(高精度)。
`enum Mode`	Softmax 模式。SOFTMAX, LOGSOFTMAX, LOGSUMEXP。

成员

`public Softmax()`

`public ~Softmax()`

`public Status SetDim(int d)`

`public Status GetDim(int & d) const`

`public Status SetAlgorithm(Algorithm a)`

`public Status GetAlgorithm(Algorithm & a) const`

`public Status SetMode(Mode m)`

`public Status GetMode(Mode & m) const`

`public Status GetForwardWorkspaceSize(Handle & h,Tensor & out,Tensor & input,size_t & size_in_bytes) const`

`public Status Run(Handle & h,Tensor & out,const Tensor & input,const MemoryMaintainer & maintainer) const`

`public Status GetBackwardWorkspaceSize(Handle & h,Tensor & gradInput,const Tensor & output,const Tensor & gradOutput,size_t & size_in_bytes) const`

`public Status RunBwd(Handle & h,Tensor & gradInput,const Tensor & output,const Tensor & gradOutput,const MemoryMaintainer & maintainer) const`

`enum Algorithm`

计算算法。DIRECT(直接), ACCURATE(高精度)。

`enum Mode`

Softmax 模式。SOFTMAX, LOGSOFTMAX, LOGSUMEXP。

class `musa::dnn::Sort`

class musa::dnn::Sort
  : public musa::dnn::ImplBase

排序算子：沿 dim 对 in 排序，输出排序后的 out 与索引 indices；支持稳定排序与升/降序。

概览

成员	说明
`public Sort()`
`public ~Sort()`
`public Status SetDim(int dim)`
`public Status GetDim(int & dim) const`
`public Status SetStable(bool stable)`
`public Status GetStable(bool & stable) const`
`public Status SetDescending(bool descending)`
`public Status GetDescending(bool & descending) const`
`public Status GetWorkspaceSize(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,size_t & size_in_bytes) const`	查询工作区大小
`public Status Run(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const`

成员

`public Sort()`

`public ~Sort()`

`public Status SetDim(int dim)`

参数

dim 排序维度，可为负

`public Status GetDim(int & dim) const`

`public Status SetStable(bool stable)`

参数

stable 是否稳定排序

`public Status GetStable(bool & stable) const`

`public Status SetDescending(bool descending)`

参数

descending 是否降序

`public Status GetDescending(bool & descending) const`

`public Status GetWorkspaceSize(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,size_t & size_in_bytes) const`

查询工作区大小

`public Status Run(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const`

参数

out 排序后的值；
indices 排序索引；
in 输入；
maintainer 工作区

class `musa::dnn::SortByKey`

class musa::dnn::SortByKey
  : public musa::dnn::ImplBase

按 key 排序：根据 key_in 对 key_in/value_in 一起排序，输出 key_out/value_out；当前仅支持升序、全量排序。

概览

成员	说明
`public SortByKey()`
`public ~SortByKey()`
`public Status SetDim(int dim)`
`public Status GetDim(int & dim) const`
`public Status SetStable(bool stable)`
`public Status GetStable(bool & stable) const`
`public Status SetDescending(bool descending)`
`public Status GetDescending(bool & descending) const`
`public Status GetWorkspaceSize(Handle & h,Tensor & key_out,Tensor & value_out,const Tensor & key_in,const Tensor & value_in,size_t & size_in_bytes) const`	查询工作区大小
`public Status Run(Handle & h,Tensor & key_out,Tensor & value_out,const Tensor & key_in,const Tensor & value_in,const MemoryMaintainer & maintainer) const`

成员

`public SortByKey()`

`public ~SortByKey()`

`public Status SetDim(int dim)`

`public Status GetDim(int & dim) const`

`public Status SetStable(bool stable)`

`public Status GetStable(bool & stable) const`

`public Status SetDescending(bool descending)`

`public Status GetDescending(bool & descending) const`

`public Status GetWorkspaceSize(Handle & h,Tensor & key_out,Tensor & value_out,const Tensor & key_in,const Tensor & value_in,size_t & size_in_bytes) const`

查询工作区大小

`public Status Run(Handle & h,Tensor & key_out,Tensor & value_out,const Tensor & key_in,const Tensor & value_in,const MemoryMaintainer & maintainer) const`

参数

key_out 排序后的 key；
value_out 排序后的 value；
key_in/value_in 输入

class `musa::dnn::SwiGlu`

class musa::dnn::SwiGlu
  : public musa::dnn::ImplBase

SwiGLU：Swish 门控线性单元，前向与反向。

概览

成员	说明
`public SwiGlu()`
`public ~SwiGlu()`
`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`
`public Status RunBwd(Handle & h,Tensor & out,const Tensor & in,const Tensor & grad) const`

成员

`public SwiGlu()`

`public ~SwiGlu()`

`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`

参数

out 输出；
in 输入

`public Status RunBwd(Handle & h,Tensor & out,const Tensor & in,const Tensor & grad) const`

参数

out 输入梯度；
in 前向输入；
grad 输出梯度

class `musa::dnn::Tensor`

class musa::dnn::Tensor
  : protected musa::dnn::TensorBase
  : public musa::dnn::ImplBase

多维张量描述符，描述数据地址、类型、格式、维度与步长，用于所有算子的输入输出。

支持设置/获取：地址(SetAddr/GetAddr)、类型(Type)、格式(Format)、维度与步长(SetNdInfo/GetNdInfo)、量化信息(SetQuantizationInfo/GetQuantizationInfo)，以及与主机/设备的拷贝(CopyFrom/CopyTo)。

概览

成员	说明
`public Tensor()`
`public Tensor(const Tensor &)`
`public Tensor(Tensor &&)`
`public ~Tensor()`
`public Tensor & operator=(const Tensor &)`
`public Tensor & operator=(Tensor &&)`
`public Status SetAddr(const void * addr)`
`public Status SetType(Type t)`
`public Status SetFormat(Format f)`
`public Status SetNdInfo(::std::initializer_list< int64_t > dim)`
`public Status SetNdInfo(int ndims,const int64_t * dim)`
`public Status SetNdInfo(int64_t ndims,const int64_t * dim)`
`public Status SetNdInfo(::std::initializer_list< int64_t > dim,::std::initializer_list< int64_t > stride)`
`public Status SetNdInfo(int ndims,const int64_t * dim,const int64_t * stride)`
`public Status SetNdInfo(int64_t ndims,const int64_t * dim,const int64_t * stride)`
`public Status GetNdInfo(::std::vector< int64_t > & dim) const`
`public Status GetNdInfo(::std::vector< int64_t > & dim,::std::vector< int64_t > & stride) const`
`public Status GetAddr(void *& a) const`
`public Status GetAddr(const void *& a) const`
`public Status GetType(Type & t) const`
`public Status GetFormat(Format & f) const`
`public Status SetQuantizationInfo(const float scale)`
`public Status GetQuantizationInfo(float & scale) const`
`public Status CopyFrom(void * ptr,size_t bytes,int kind,Handle & h,bool sync)`	从 ptr 拷贝数据到本张量。
`public Status CopyTo(void * ptr,size_t bytes,int kind,Handle & h,bool sync) const`	从本张量拷贝数据到 ptr。
`enum Format`	张量内存布局格式枚举。
`enum Type`	张量元素数据类型枚举。

成员

`public Tensor()`

`public Tensor(const Tensor &)`

`public Tensor(Tensor &&)`

`public ~Tensor()`

`public Tensor & operator=(const Tensor &)`

`public Tensor & operator=(Tensor &&)`

`public Status SetAddr(const void * addr)`

参数

addr 张量数据所在内存地址（设备或主机，由调用方保证与 kind 一致）

`public Status SetType(Type t)`

参数

t 张量元素数据类型 (Type 枚举)

`public Status SetFormat(Format f)`

参数

f 张量内存布局格式 (Format 枚举)

`public Status SetNdInfo(::std::initializer_list< int64_t > dim)`

参数

dim 各维度大小列表

`public Status SetNdInfo(int ndims,const int64_t * dim)`

参数

ndims 维度数量；
dim 各维度大小数组

`public Status SetNdInfo(int64_t ndims,const int64_t * dim)`

参数

ndims 维度数量；
dim 各维度大小数组

`public Status SetNdInfo(::std::initializer_list< int64_t > dim,::std::initializer_list< int64_t > stride)`

参数

dim 各维度大小；
stride 各维度步长

`public Status SetNdInfo(int ndims,const int64_t * dim,const int64_t * stride)`

参数

ndims 维度数量；
dim 维度数组；
stride 步长数组

`public Status SetNdInfo(int64_t ndims,const int64_t * dim,const int64_t * stride)`

参数

ndims 维度数量；
dim 维度数组；
stride 步长数组

`public Status GetNdInfo(::std::vector< int64_t > & dim) const`

参数

dim 输出：各维度大小

`public Status GetNdInfo(::std::vector< int64_t > & dim,::std::vector< int64_t > & stride) const`

参数

dim 输出：各维度大小；
stride 输出：各维度步长

`public Status GetAddr(void *& a) const`

参数

a 输出：可写数据地址

`public Status GetAddr(const void *& a) const`

参数

a 输出：只读数据地址

`public Status GetType(Type & t) const`

参数

t 输出：当前数据类型

`public Status GetFormat(Format & f) const`

参数

f 输出：当前格式

`public Status SetQuantizationInfo(const float scale)`

参数

scale 量化缩放因子（用于 scale 量化）

`public Status GetQuantizationInfo(float & scale) const`

参数

scale 输出：当前量化 scale

`public Status CopyFrom(void * ptr,size_t bytes,int kind,Handle & h,bool sync)`

从 ptr 拷贝数据到本张量。

参数

ptr 源地址
bytes 拷贝字节数
kind 拷贝类型（如 host-to-device、device-to-device 等）
h 执行拷贝所用的句柄
sync 是否同步等待拷贝完成，默认 false

`public Status CopyTo(void * ptr,size_t bytes,int kind,Handle & h,bool sync) const`

从本张量拷贝数据到 ptr。

参数

ptr 目标地址
bytes 拷贝字节数
kind 拷贝类型
h 执行拷贝所用的句柄
sync 是否同步等待，默认 false

`enum Format`

张量内存布局格式枚举。

枚举值含义：UNKNOWN(未知), NCW(1D 批通道优先), NWC(1D 批宽通道), NCHW(2D 批通道高宽), NHWC(2D 批高宽通道), HWCN(2D 高宽通道批), NCDHW(3D 批通道深高宽), NDHWC(3D 批深高宽通道), DHWCN(3D 深高宽通道批)。

`enum Type`

张量元素数据类型枚举。

枚举值含义：QINT4(4 位量化整型), QINT8, INT8, INT16, INT32, INT64, UINT8, UINT16, UINT32, UINT64, HALF(FP16), BFLOAT16, FLOAT(FP32), DOUBLE(FP64), BOOL, FP8_E4M3, FP8_E5M2。

class `musa::dnn::TensorBase`

张量数据类型与格式的基类，仅用于继承，不直接实例化。

概览

成员	说明
`protected TensorBase() = default`

成员

`protected TensorBase() = default`

class `musa::dnn::Ternary`

class musa::dnn::Ternary
  : public musa::dnn::ImplBase

三元算子描述符：对三个张量逐元素运算，支持 alpha/beta/gamma 缩放。

概览

成员	说明
`public Ternary()`
`public ~Ternary()`
`public Status SetMode(Mode m)`
`public Status SetAlpha(double alpha)`
`public Status SetAlpha(int64_t alpha)`
`public Status SetAlpha(const void * alpha)`
`public Status SetBeta(double beta)`
`public Status SetBeta(int64_t beta)`
`public Status SetBeta(const void * beta)`
`public Status SetGamma(double gamma)`
`public Status SetGamma(int64_t gamma)`
`public Status SetGamma(const void * gamma)`
`public Status Run(Handle & h,Tensor & out,const Tensor & in0,const Tensor & in1,const Tensor & in2) const`	执行三元运算。
`enum Mode`	三元运算模式枚举。

成员

`public Ternary()`

`public ~Ternary()`

`public Status SetMode(Mode m)`

参数

m 三元运算模式

`public Status SetAlpha(double alpha)`

参数

alpha 标量 alpha（double）

`public Status SetAlpha(int64_t alpha)`

参数

alpha 标量 alpha（int64_t）

`public Status SetAlpha(const void * alpha)`

参数

alpha 指向 alpha 的指针

`public Status SetBeta(double beta)`

参数

beta 标量 beta（double）

`public Status SetBeta(int64_t beta)`

参数

beta 标量 beta（int64_t）

`public Status SetBeta(const void * beta)`

参数

beta 指向 beta 的指针

`public Status SetGamma(double gamma)`

参数

gamma 标量 gamma（double）

`public Status SetGamma(int64_t gamma)`

参数

gamma 标量 gamma（int64_t）

`public Status SetGamma(const void * gamma)`

参数

gamma 指向 gamma 的指针

`public Status Run(Handle & h,Tensor & out,const Tensor & in0,const Tensor & in1,const Tensor & in2) const`

执行三元运算。

参数

h 执行句柄
out 输出张量
in0 第一个输入张量
in1 第二个输入张量
in2 第三个输入张量

`enum Mode`

三元运算模式枚举。

枚举值含义：SELECT(条件选择), SELECTV2, ADDCMUL(乘加), ADDCMUL_ALPHA, ADDCDIV(除加), ADDCDIV_ALPHA, CLAMP(裁剪)。

class `musa::dnn::TopK`

class musa::dnn::TopK
  : public musa::dnn::ImplBase

TopK：沿 dim 取最大或最小的 k 个元素及索引，支持 sorted、largest。

概览

成员	说明
`public TopK()`
`public ~TopK()`
`public Status SetK(int k)`
`public Status GetK(int & k) const`
`public Status SetDim(int dim)`
`public Status GetDim(int & dim) const`
`public Status SetLargest(bool largest)`
`public Status GetLargest(bool & largest) const`
`public Status SetSorted(bool sorted)`
`public Status GetSorted(bool & sorted) const`
`public Status GetWorkspaceSize(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,size_t & size_in_bytes) const`	查询工作区大小
`public Status Run(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const`

成员

`public TopK()`

`public ~TopK()`

`public Status SetK(int k)`

参数

k 取前 k 个

`public Status GetK(int & k) const`

`public Status SetDim(int dim)`

参数

dim 操作维度

`public Status GetDim(int & dim) const`

`public Status SetLargest(bool largest)`

参数

largest true 为最大 k 个，false 为最小 k 个

`public Status GetLargest(bool & largest) const`

`public Status SetSorted(bool sorted)`

参数

sorted 输出是否按值排序

`public Status GetSorted(bool & sorted) const`

`public Status GetWorkspaceSize(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,size_t & size_in_bytes) const`

查询工作区大小

`public Status Run(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const`

参数

out TopK 值；
indices 索引；
in 输入；
maintainer 工作区

class `musa::dnn::Unary`

class musa::dnn::Unary
  : public musa::dnn::ImplBase

一元算子描述符：对单张量逐元素运算（如激活、取反等），支持 alpha/beta 缩放。

概览

成员	说明
`public Unary()`
`public ~Unary()`
`public Status SetMode(Mode m)`
`public Status SetAlpha(double alpha)`
`public Status SetAlpha(int64_t alpha)`
`public Status SetAlpha(const void * alpha)`
`public Status SetBeta(double beta)`
`public Status SetBeta(int64_t beta)`
`public Status SetBeta(const void * beta)`
`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`	执行一元运算。
`enum Mode`	一元运算模式枚举。含算术、舍入、判断、逻辑、指数对数、三角、比较、最值、激活等。

成员

`public Unary()`

`public ~Unary()`

`public Status SetMode(Mode m)`

参数

m 一元运算模式

`public Status SetAlpha(double alpha)`

参数

alpha 标量 alpha（double），参与运算 out = alpha * op(in) + beta * out 等

`public Status SetAlpha(int64_t alpha)`

参数

alpha 标量 alpha（int64_t）

`public Status SetAlpha(const void * alpha)`

参数

alpha 指向设备/主机内存的 alpha 指针（用于非标量或特殊类型）

`public Status SetBeta(double beta)`

参数

beta 标量 beta（double）

`public Status SetBeta(int64_t beta)`

参数

beta 标量 beta（int64_t）

`public Status SetBeta(const void * beta)`

参数

beta 指向 beta 的指针

`public Status Run(Handle & h,Tensor & out,const Tensor & in) const`

执行一元运算。

参数

h 执行句柄
out 输出张量
in 输入张量

`enum Mode`

一元运算模式枚举。含算术、舍入、判断、逻辑、指数对数、三角、比较、最值、激活等。

class `musa::dnn::Unfold`

class musa::dnn::Unfold
  : public musa::dnn::ImplBase

Unfold（滑动窗口展开）：沿 axis 以 size 为窗口、step 为步长展开为多块。

概览

成员	说明
`public Unfold()`
`public ~Unfold()`
`public Status SetAxis(int axis)`
`public Status SetSize(int size)`
`public Status SetStep(int step)`
`public Status Run(Handle & h,Tensor & out,const Tensor & input) const`

成员

`public Unfold()`

`public ~Unfold()`

`public Status SetAxis(int axis)`

参数

axis 展开维度

`public Status SetSize(int size)`

参数

size 窗口大小

`public Status SetStep(int step)`

参数

step 步长

`public Status Run(Handle & h,Tensor & out,const Tensor & input) const`

参数

out 输出；
input 输入

class `musa::dnn::Unique`

class musa::dnn::Unique
  : public musa::dnn::ImplBase

Unique：去重，输出唯一值、逆索引与计数；支持多种 Mode。

概览

成员	说明
`public Unique()`
`public ~Unique()`
`public Status SetMode(Mode m)`
`public Status Run(Handle & h,Tensor & out,Tensor & inverse_indices,Tensor & counts,const Tensor & in,const MemoryMaintainer & maintainer) const`
`enum Mode`	去重/排序模式。GENERAL(通用), CONSECUTIVE(连续), UNSORTED(未排序)。

成员

`public Unique()`

`public ~Unique()`

`public Status SetMode(Mode m)`

`public Status Run(Handle & h,Tensor & out,Tensor & inverse_indices,Tensor & counts,const Tensor & in,const MemoryMaintainer & maintainer) const`

参数

out 唯一值；
inverse_indices 原张量每个元素在 out 中的索引；
counts 各唯一值出现次数；
in 输入

`enum Mode`

去重/排序模式。GENERAL(通用), CONSECUTIVE(连续), UNSORTED(未排序)。

class `musa::dnn::WeightNorm`

class musa::dnn::WeightNorm
  : public musa::dnn::ImplBase

权重归一化：沿指定轴对 weight 做归一化，weightV/weightG 为分解后的向量与标量。

概览

成员	说明
`public WeightNorm()`
`public ~WeightNorm()`
`public Status SetEpsilon(double epsilon)`	数值稳定项，默认 0.0
`public Status SetAxis(::std::initializer_list< int > axes)`
`public Status SetAxis(size_t length,const int * axes)`
`public Status Run(Handle & h,Tensor & out,const Tensor & weightV,const Tensor & weightG) const`

成员

`public WeightNorm()`

`public ~WeightNorm()`

`public Status SetEpsilon(double epsilon)`

数值稳定项，默认 0.0

`public Status SetAxis(::std::initializer_list< int > axes)`

参数

axes 归一化轴列表

`public Status SetAxis(size_t length,const int * axes)`

参数

length 轴数量；
axes 轴数组

`public Status Run(Handle & h,Tensor & out,const Tensor & weightV,const Tensor & weightG) const`

参数

out 输出；
weightV 向量部分；
weightG 标量部分

struct `musa::dnn::Convolution::FusedActivationDesc`

融合激活描述：模式（IDENTITY/RELU 等）与系数 (activAlpha, activBeta, activGamma)

概览

成员	说明
`public Mode mode`	当前激活模式
`public ::std::array< double, 3 > params`	激活系数 [activAlpha, activBeta, activGamma]
`public Status SetMode(Mode m)`
`public Status SetCoef(double activAlpha,double activBeta,double activGamma)`
`enum Mode`	融合激活模式。IDENTITY(恒等), SIGMOID, RELU, TANH, CLIPPED_RELU, ELU, HARD_SWISH, SILU。

成员

`public Mode mode`

当前激活模式

`public ::std::array< double, 3 > params`

激活系数 [activAlpha, activBeta, activGamma]

`public Status SetMode(Mode m)`

参数

m 激活模式

`public Status SetCoef(double activAlpha,double activBeta,double activGamma)`

参数

activAlpha 激活参数 0；
activBeta 激活参数 1；
activGamma 激活参数 2

`enum Mode`

融合激活模式。IDENTITY(恒等), SIGMOID, RELU, TANH, CLIPPED_RELU, ELU, HARD_SWISH, SILU。

这篇文章对您有帮助吗？

摩尔线程和摩尔线程徽标是摩尔线程智能科技 (北京)有限责任公司的注册商标。

免责声明

本文档提供有关摩尔线程产品的信息。本文档并未授权任何知识产权的许可，并未以明示或暗示，或以禁止反言或其他方式授予任何知识产权许可。

namespace musa::dnn
- 概览
- 成员
  - enum Status
  - public MUDNN_EXPORT Status SetCallBack(DebugInfo::Severity min, void * udata, CallBack f)
  - 参数
  - 返回值
  - public MUDNN_EXPORT void PrintVersionInfo(::std::ostream & os)
  - 参数
  - public MUDNN_EXPORT size_t GetVersion()
  - 返回值
class musa::dnn::BatchMatMul
- 概览
- 成员
  - public BatchMatMul()
  - public ~BatchMatMul()
  - public Status SetComputeMode(ComputeMode mode)
  - 参数
  - public Status SetTranspose(bool trans_a,bool trans_b)
  - 参数
  - public Status SetDeterministic(bool is_deterministic)
  - 参数
  - public Status SetAlpha(double alpha)
  - 参数
  - public Status SetBeta(double beta)
  - 参数
  - public Status SetGamma(double gamma)
  - 参数
  - public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const MatMulLtParam & param)
  - public Status SetMpCountTarget(int mp_count_target)
  - 参数
  - public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const
  - 参数
  - 返回值
  - public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const
  - public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t ldd,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const int64_t stride_d,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const int64_t batch,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t stride_a,const int64_t stride_b,const int64_t stride_c,const MemoryMaintainer & maintainer) const
  - public Status RunLt(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MatMulLtParam & param,const MemoryMaintainer & maintainer) const
  - enum ComputeMode
class musa::dnn::BatchNorm
- 概览
- 成员
  - public BatchNorm()
  - public ~BatchNorm()
  - public Status SetMode(Mode m)
  - 参数
  - public Status GetMode(Mode & m) const
  - 参数
  - public Status SetEpsilon(double epsilon)
  - public Status GetEpsilon(double & epsilon) const
  - 参数
  - public Status SetTraining(bool is_training)
  - public Status GetTraining(bool & is_training) const
  - 参数
  - public Status RunPure(Handle & h,Tensor & out,const Tensor & in,const Tensor & finalMean,const Tensor & finalVariance,const Tensor & scale,const Tensor & bias) const
  - public Status RunComposite(Handle & h,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias,double momentum,const MemoryMaintainer & maintainer) const
  - public Status RunBwd(Handle & h,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g,const MemoryMaintainer & maintainer) const
  - public Status GetWorkspaceSizeComposite(Handle & h,size_t & size_in_byte,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias) const
  - public Status GetWorkspaceSizeBwd(Handle & h,size_t & size_in_byte,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g) const
  - enum Mode
class musa::dnn::Binary
- 概览
- 成员
  - public Binary()
  - public ~Binary()
  - public Status SetMode(Mode m)
  - 参数
  - public Status SetAlpha(double alpha)
  - 参数
  - public Status SetAlpha(int64_t alpha)
  - 参数
  - public Status SetAlpha(const void * alpha)
  - 参数
  - public Status SetBeta(double beta)
  - 参数
  - public Status SetBeta(int64_t beta)
  - 参数
  - public Status SetBeta(const void * beta)
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & l,const Tensor & r) const
  - 参数
  - enum Mode
class musa::dnn::Concat
- 概览
- 成员
  - public Concat()
  - public ~Concat()
  - public Status SetAxis(int axis)
  - 参数
  - public Status GetAxis(int & axis) const
  - 参数
  - public Status Run(Handle & h,Tensor & out,int num_input,const Tensor * ins) const
  - 参数
class musa::dnn::Convolution
- 概览
- 成员
  - public Convolution()
  - public ~Convolution()
  - public Status SetGroups(int group_num)
  - 参数
  - public Status SetNdInfo(::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)
  - public Status SetNdInfo(int length,const int * pad,const int * stride,const int * dilation)
  - 参数
  - public Status SetComputeMode(ComputeMode mode)
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,Algorithm algo,const MemoryMaintainer & maintainer) const
  - 参数
  - public Status RunFusion(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,const Tensor & bias,const Tensor & add,const FusedActivationDesc & act,Algorithm algo,const MemoryMaintainer & maintainer) const
  - 参数
  - public Status RunBwdData(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,AlgorithmBwdData algo,const MemoryMaintainer & maintainer) const
  - 参数
  - public Status RunBwdFilter(Handle & h,Tensor & out,const Tensor & data,const Tensor & filter,AlgorithmBwdFilter algo,const MemoryMaintainer & maintainer) const
  - 参数
  - public Status GetForwardWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const Algorithm & algo) const
  - public Status GetBackwardDataWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const AlgorithmBwdData & algo) const
  - public Status GetBackwardFilterWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & data,const Tensor & filter,const AlgorithmBwdFilter & algo) const
  - public Status GetRecommendForwardAlgorithm(Handle & h,Algorithm & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const
  - 参数
  - public Status GetRecommendBackwardDataAlgorithm(Handle & h,AlgorithmBwdData & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const
  - public Status GetRecommendBackwardFilterAlgorithm(Handle & h,AlgorithmBwdFilter & algo,const Tensor & out,const Tensor & data,const Tensor & filter) const
  - enum Algorithm
  - enum AlgorithmBwdData
  - enum AlgorithmBwdFilter
  - enum ComputeMode
class musa::dnn::CrossEntropyLoss
- 概览
- 成员
  - public CrossEntropyLoss()
  - public ~CrossEntropyLoss()
  - public Status SetReductionMode(ReductionMode a)
  - 参数
  - public Status GetReductionMode(ReductionMode & a) const
  - public Status SetIgnoreIndex(int64_t ignore_index)
  - 参数
  - public Status GetIgnoreIndex(int64_t & ignore_index) const
  - public Status SetLabelSmoothing(float label_smoothing)
  - 参数
  - public Status GetLabelSmoothing(float & label_smoothing) const
  - public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,const Tensor & input,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const
  - 参数
  - public Status GetBackwardWorkspaceSize(Handle & h,Tensor & grad_input,const Tensor & sinput,const Tensor & grad_output,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const
  - 参数
  - public Status Run(Handle & h,Tensor & output,const Tensor & input,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const
  - public Status RunBwd(Handle & h,Tensor & grad_input,const Tensor & sinput,const Tensor & grad_output,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const
  - enum ReductionMode
class musa::dnn::CTCLoss
- 概览
- 成员
  - public CTCLoss()
  - public ~CTCLoss()
  - public Status SetDataType(Type dtype)
  - 参数
  - public Status GetDataType(Type & dtype) const
  - public Status SetLossNormMode(LossNormMode mode)
  - 参数
  - public Status GetLossNormMode(LossNormMode & mode) const
  - public Status SetPropagateNan(bool propagate_nan)
  - 参数
  - public Status GetPropagateNan(bool & propagate_nan) const
  - public Status SetZeroOobGradients(bool zero_oob_gradients)
  - 参数
  - public Status GetZeroOobGradients(bool & zero_oob_gradients) const
  - public Status SetBlank(int64_t blank)
  - 参数
  - public Status GetBlank(int64_t & blank) const
  - public Status SetZeroInfinity(bool zeroInfinity)
  - 参数
  - public Status GetZeroInfinity(bool & zeroInfinity) const
  - public Status SetMaxTargetLength(int64_t maxTargetLength)
  - 参数
  - public Status GetMaxTargetLength(int64_t & maxTargetLength) const
  - public Status Run(Handle & h,Tensor & out,Tensor & alpha,const Tensor & input,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength) const
  - public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & out,const Tensor & grad,const Tensor & logProbs,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength,const Tensor & loss,const Tensor & alpha) const
  - public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & logProbs,const Tensor & targets,const Tensor & inputLengths,const Tensor & targetLength,const Tensor & loss,const Tensor & alpha,const MemoryMaintainer & maintainer) const
  - enum Type
  - enum LossNormMode
class musa::dnn::Cum
- 概览
- 成员
  - public Cum()
  - public ~Cum()
  - public Status SetDim(int dim)
  - 参数
  - public Status GetDim(int & dim) const
  - 参数
  - public Status SetMode(Mode m)
  - 参数
  - public Status GetMode(Mode & m) const
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const
  - 参数
  - enum Mode
class musa::dnn::DebugInfo
- 概览
- 成员
  - public uint32_t version
  - public Severity severity
  - public uint32_t time_sec
  - public uint32_t time_usec
  - public uint32_t time_delta
  - public uint64_t tid
  - public int32_t device_id
  - public const Handle * handle
  - enum Severity
class musa::dnn::DeformableConv
- 概览
- 成员
  - public DeformableConv()
  - public ~DeformableConv()
  - public Status SetComputeMode(ComputeMode mode)
  - public Status SetGroups(int groups)
  - 参数
  - public Status SetDeformableGroups(int deformable_groups)
  - 参数
  - public Status SetNdInfo(::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)
  - public Status SetNdInfo(int length,const int * pad,const int * stride,const int * dilation)
  - public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & input,const Tensor & weight) const
  - public Status RunDeformableConv(Handle & h,Tensor & out,const Tensor & input,const Tensor & weight,const Tensor & offset,const MemoryMaintainer & maintainer) const
  - public Status RunModulateDeformableConv(Handle & h,Tensor & out,const Tensor & input,const Tensor & weight,const Tensor & offset,const Tensor & mask,const MemoryMaintainer & maintainer) const
  - enum Algorithm
  - enum ComputeMode
class musa::dnn::Dot
- 概览
- 成员
  - public Dot()
  - public ~Dot()
  - public Status SetComputeMode(ComputeMode mode)
  - 参数
  - public Status SetAxis(int axis)
  - 参数
  - public Status SetAxes(int axis_l,int axis_r)
  - 参数
  - public Status SetDeterministic(bool is_deterministic)
  - 参数
  - public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & c,const Tensor & a,const Tensor & b)
  - 参数
  - public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const
  - 参数
  - public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const
  - enum ComputeMode
class musa::dnn::Dropout
- 概览
- 成员
  - public Dropout()
  - public ~Dropout()
  - public Status SetP(double p)
  - 参数
  - public Status GetP(double & p) const
  - public Status SetScale(double scale)
  - 参数
  - public Status GetScale(double & scale) const
  - public Status SetSeed(uint64_t host_seed)
  - 参数
  - public Status SetSeed(const uint64_t * device_seed)
  - 参数
  - public Status GetSeed(uint64_t & host_seed) const
  - public Status SetOffset(uint64_t host_offset)
  - 参数
  - public Status SetOffset(const uint64_t * device_offset_base,uint64_t sub_offset)
  - 参数
  - public Status RunDropout(Handle & h,Tensor & out,const Tensor & input,Tensor & mask) const
  - public Status RunDropoutBwd(Handle & h,Tensor & out,const Tensor & grad,Tensor & mask) const
class musa::dnn::Fill
- 概览
- 成员
  - public Fill()
  - public ~Fill()
  - public Status SetValue(double value)
  - 参数
  - public Status SetValue(int64_t value)
  - 参数
  - public Status Run(Handle & h,Tensor & out) const
  - public Status Run(Handle & h,Tensor & out,Tensor & mask) const
class musa::dnn::GatherX
- 概览
- 成员
  - public GatherX()
  - public ~GatherX()
  - public Status SetMode(Mode m)
  - 参数
  - public Status SetAxis(int axis)
  - 参数
  - public Status SetBatchDims(int batch_dims)
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & index,const Tensor & in) const
  - 参数
  - enum Mode
class musa::dnn::Glu
- 概览
- 成员
  - public Glu()
  - public ~Glu()
  - public Status SetAxis(int axis)
  - 参数
  - public Status GetAxis(int & axis) const
  - public Status Run(Handle & h,Tensor & out,const Tensor & in) const
  - 参数
class musa::dnn::GroupedMatMul
- 概览
- 成员
  - public GroupedMatMul()
  - public ~GroupedMatMul()
  - public Status SetComputeMode(ComputeMode mode)
  - public Status SetTranspose(bool trans_a,bool trans_b)
  - public Status SetDeterministic(bool is_deterministic)
  - public Status SetAlpha(double alpha)
  - public Status SetBeta(double beta)
  - public Status SetGamma(double gamma)
  - public Status SetMpCountTarget(int mp_count_target)
  - public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor * out,const Tensor * a,const Tensor * b,const int groups)
  - 参数
  - public Status Run(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const int groups,const MemoryMaintainer & maintainer) const
  - 参数
  - 返回值
  - public Status RunWithBiasAdd(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const int groups,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const Tensor * bias,const int groups,const MemoryMaintainer & maintainer) const
  - public Status Run(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int groups,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int64_t * ldd,const int groups,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor * c,const Tensor * a,const Tensor * b,const Tensor * bias,const int64_t * m,const int64_t * n,const int64_t * k,const int64_t * lda,const int64_t * ldb,const int64_t * ldc,const int groups,const MemoryMaintainer & maintainer) const
  - public Status RunLt(Handle & h,Tensor * d,const Tensor * a,const Tensor * b,const Tensor * c,const Tensor * bias,const MatMulLtParam * lt_param,const int groups,const MemoryMaintainer & maintainer) const
  - public Status RunLtWithParam(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MatMulLtParam & param,const GroupGemmParam & group_param,const MemoryMaintainer & maintainer) const
  - enum ComputeMode
class musa::dnn::GroupGemmParam
- 概览
- 成员
  - public GroupGemmParam()
  - public ~GroupGemmParam()
  - public Status MaskMode(const Tensor & mask)
  - 参数
  - public Status ContigWithStartMode(const Tensor & experts_token_count,const Tensor & experts_token_start)
  - 参数
class musa::dnn::GroupNorm
- 概览
- 成员
  - public GroupNorm()
  - public ~GroupNorm()
  - public Status SetEpsilon(double eps)
  - 参数
  - public Status GetEpsilon(double & eps) const
  - 参数
  - public Status SetAxis(const int axis)
  - 参数
  - public Status GetAxis(int & axis) const
  - 参数
  - public Status SetGroup(const int g)
  - 参数
  - public Status GetGroup(int & g) const
  - 参数
  - public Status Run(Handle & h,Tensor & out,Tensor & mean,Tensor & invVar,const Tensor & in,const Tensor & gamma,const Tensor & beta) const
  - 参数
class musa::dnn::Handle
- 概览
- 成员
  - public Handle()
  - public explicit Handle(int device_id)
  - 参数
  - public ~Handle()
  - public int GetDeviceId() const
  - 返回值
  - public Status SetStream(musaStream_t stream)
  - 参数
  - 返回值
  - public musaStream_t GetStream() const
  - 返回值
  - public Status SetAllowTF32(bool allow_tf32)
  - 参数
  - 返回值
  - public bool GetAllowTF32() const
  - 返回值
class musa::dnn::ImplBase
- 概览
- 成员
  - public void * GetImpl()
  - 返回值
  - public const void * GetImpl() const
  - 返回值
  - protected void * impl_
  - protected explicit ImplBase(void * impl)
  - 参数
  - protected ImplBase(const ImplBase &) = delete
  - protected ImplBase(ImplBase &&) = delete
  - protected ImplBase & operator=(const ImplBase &) = delete
  - protected ImplBase & operator=(ImplBase &&) = delete
class musa::dnn::Interpolate
- 概览
- 成员
  - public Interpolate()
  - public ~Interpolate()
  - public Status SetMode(Mode m)
  - 参数
  - public Status GetMode(Mode & m) const
  - public Status SetScaleInfo(::std::initializer_list< float > scale)
  - 参数
  - public Status SetScaleInfo(int length,float * scale)
  - 参数
  - public Status GetScaleInfo(int & length,float *& scale) const
  - 参数
  - public Status SetAlignCorners(bool align_corners)
  - 参数
  - public Status GetAlignCorners(bool & align_corners) const
  - public Status SetAntialias(bool antialias)
  - 参数
  - public Status GetAntialias(bool & antialias) const
  - public Status Run(Handle & h,Tensor & out,const Tensor & in) const
  - public Status RunBackward(Handle & h,Tensor & out,const Tensor & in) const
  - enum Mode
class musa::dnn::KLDivLoss
- 概览
- 成员
  - public KLDivLoss()
  - public ~KLDivLoss()
  - public Status SetReductionMode(Mode mode)
  - public Status GetReductionMode(Mode & mode) const
  - public Status SetLogTarget(bool log_target)
  - public Status GetLogTarget(bool & log_target) const
  - public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,Tensor & input,Tensor & target,size_t & size_in_bytes) const
  - public Status Run(Handle & h,Tensor & out,Tensor & input,const Tensor & target,const MemoryMaintainer & maintainer) const
  - public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & input,const Tensor & target) const
  - enum Mode
class musa::dnn::L2Loss
- 概览
- 成员
  - public L2Loss()
  - public ~L2Loss()
  - public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const
  - 参数
class musa::dnn::LayerNorm
- 概览
- 成员
  - public LayerNorm()
  - public ~LayerNorm()
  - public Status SetVarMode(VarMode var_mode)
  - 参数
  - public Status GetVarMode(VarMode & var_mode) const
  - 参数
  - public Status SetEpsilon(double eps)
  - 参数
  - public Status GetEpsilon(double & eps) const
  - 参数
  - public Status SetAxis(::std::initializer_list< int > axes)
  - 参数
  - public Status SetAxis(size_t length,const int * axes)
  - 参数
  - public Status GetAxis(size_t & length,int *& axes) const
  - 参数
  - public Status Run(Handle & h,Tensor & out,Tensor & mean,Tensor & inv_var,const Tensor & in,const Tensor & gamma,const Tensor & beta,const MemoryMaintainer & maintainer) const
  - public Status GetForwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & out,Tensor & mean,Tensor & inv_var,const Tensor & in,const Tensor & gamma,const Tensor & beta) const
  - public Status RunBwd(Handle & h,Tensor & dX,Tensor & dGamma,Tensor & dBeta,const Tensor & dY,const Tensor & in,const Tensor & mean,const Tensor & invVar,const Tensor & gamma,const MemoryMaintainer & maintainer) const
  - public Status GetBackwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & dX,Tensor & dGamma,Tensor & dBeta,const Tensor & dY,const Tensor & in,const Tensor & mean,const Tensor & invVar,const Tensor & gamma) const
  - enum VarMode
class musa::dnn::LocalResponseNorm
- 概览
- 成员
  - public LocalResponseNorm()
  - public ~LocalResponseNorm()
  - public Status SetMode(Mode mode)
  - 参数
  - public Status SetParam(unsigned n,double alpha,double beta,double k)
  - 参数
  - public Status Run(Handle & h,Tensor & y,Tensor & scales,const Tensor & x) const
  - 参数
  - public Status RunBwd(Handle & h,Tensor & dx,const Tensor & y,const Tensor & dy,const Tensor & x,const Tensor & scales) const
  - enum Mode
class musa::dnn::MaskedScatter
- 概览
- 成员
  - public MaskedScatter()
  - public ~MaskedScatter()
  - public Status Run(Handle & h,Tensor & out,const Tensor & mask,const Tensor & source,const MemoryMaintainer & maintainer) const
  - 参数
class musa::dnn::MaskedSelect
- 概览
- 成员
  - public MaskedSelect()
  - public ~MaskedSelect()
  - public Status GetWorkspaceSize(Handle & h,Tensor & out,const Tensor & input,const Tensor & mask,size_t & size_in_bytes) const
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & input,const Tensor & mask,const MemoryMaintainer & maintainer) const
  - 参数
class musa::dnn::MatMul
- 概览
- 成员
  - public MatMul()
  - public ~MatMul()
  - public Status SetComputeMode(ComputeMode mode)
  - 参数
  - public Status SetTranspose(bool trans_a,bool trans_b)
  - 参数
  - public Status SetDeterministic(bool is_deterministic)
  - 参数
  - public Status SetAlpha(double alpha)
  - 参数
  - public Status SetBeta(double beta)
  - 参数
  - public Status SetGamma(double gamma)
  - 参数
  - public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & c,const Tensor & a,const Tensor & b)
  - 参数
  - public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const
  - 参数
  - 返回值
  - public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const
  - public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const int64_t ldd,const MemoryMaintainer & maintainer) const
  - public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const int64_t m,const int64_t n,const int64_t k,const int64_t lda,const int64_t ldb,const int64_t ldc,const MemoryMaintainer & maintainer) const
  - enum ComputeMode
class musa::dnn::MatMulLtParam
- 概览
- 成员
  - public MatMulLtParam()
  - public ~MatMulLtParam()
  - public Status SetEpilogue(const MatMulLtEpilogueMode epilog_mode)
  - 参数
  - public Status SetScale(const Tensor & scale_a,const Tensor & scale_b,const Tensor & scale_c,const Tensor & scale_d)
  - public Status SetScale(const Tensor & scale_a,const Tensor & scale_b,const Tensor & scale_c,const Tensor & scale_d,const int quant_tile,const bool fixed_scale_layout)
  - public Status SetAux(Tensor & aux,const Tensor & scale_aux)
  - 参数
  - public Status SetAmaxD(Tensor & amax_d)
  - 参数
  - public Status SetAtomicSync(Tensor & atomic_sync_in,Tensor & atomic_sync_out)
  - 参数
  - enum MatMulLtEpilogueMode
class musa::dnn::MatrixBase
- 概览
- 成员
  - protected MatrixBase() = default
class musa::dnn::MultiHeadAttention
- 概览
- 成员
  - public MultiHeadAttention()
  - public ~MultiHeadAttention()
  - public Status SetComputeMode(ComputeMode mode)
  - 参数
  - public Status SetEmbedDim(int embed_dim)
  - 参数
  - public Status SetKDim(int k_dim)
  - 参数
  - public Status SetVDim(int v_dim)
  - 参数
  - public Status SetHeadsNum(int num_heads)
  - 参数
  - public Status SetBatchFirst(bool batch_first)
  - 参数
  - public Status SetDropoutP(double p)
  - 参数
  - public Status SetScale(double scale)
  - public Status SetTraining(bool is_training)
  - 参数
  - public Status SetMaskMode(bool use_pad_mask)
  - public Status SetTransLinearWeigth(bool trans_weight)
  - public Status SetKeyFormat(bool key_format_bhds)
  - public Status GetFwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,size_t & bwd_reserve_size_in_bytes,const Tensor & q,const Tensor & k,const Tensor & v) const
  - public Status GetFwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,size_t & bwd_reserve_size_in_bytes,const Tensor & in) const
  - public Status GetBwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,const Tensor & q,const Tensor & k,const Tensor & v) const
  - public Status GetBwdBufferSize(Handle & h,size_t & workspace_size_in_bytes,const Tensor & in) const
  - public Status Run(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & weight_q,const Tensor & weight_k,const Tensor & weight_v,const Tensor & weight_o,const Tensor & bias_q,const Tensor & bias_k,const Tensor & bias_v,const Tensor & bias_o,const Tensor & mask,Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const
  - public Status Run(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & in,const Tensor & weight,const Tensor & weight_o,const Tensor & bias,const Tensor & bias_o,const Tensor & mask,Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const
  - public Status RunBwd(Handle & h,Tensor & in_grad,Tensor & weight_grad,Tensor & weight_o_grad,Tensor & bias_grad,Tensor & bias_o_grad,const Tensor & out_grad,const Tensor & attn_probs,const Tensor & in,const Tensor & weight,const Tensor & weight_o,const Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const
  - public Status RunBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,Tensor & weight_q_grad,Tensor & weight_k_grad,Tensor & weight_v_grad,Tensor & weight_o_grad,Tensor & bias_q_grad,Tensor & bias_k_grad,Tensor & bias_v_grad,Tensor & bias_o_grad,const Tensor & out_grad,const Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & weight_q,const Tensor & weight_k,const Tensor & weight_v,const Tensor & weight_o,const Tensor & bwd_reserve,const MemoryMaintainer & maintainer) const
  - enum ComputeMode
class musa::dnn::NLLLoss
- 概览
- 成员
  - public NLLLoss()
  - public ~NLLLoss()
  - public Status SetReductionMode(Mode mode)
  - public Status GetReductionMode(Mode & mode) const
  - public Status SetIgnoreIndex(int index)
  - public Status GetIgnoreIndex(int & index) const
  - public Status GetForwardWorkspaceSize(Handle & h,Tensor & output,Tensor & totalWeight,const Tensor & input,const Tensor & target,const Tensor & weight,size_t & size_in_bytes) const
  - public Status Run(Handle & h,Tensor & out,Tensor & totalWeight,const Tensor & input,const Tensor & target,const Tensor & weight,const MemoryMaintainer & maintainer) const
  - public Status RunBwd(Handle & h,Tensor & out,const Tensor & grad,const Tensor & target,const Tensor & weight,const Tensor & totalWeight,const MemoryMaintainer & maintainer) const
  - enum Mode
class musa::dnn::Nonzero
- 概览
- 成员
  - public Nonzero()
  - public ~Nonzero()
  - public Status GetWorkspaceSize(Handle & h,Tensor & out,const Tensor & in,size_t & size_in_bytes) const
  - public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const
  - 参数
class musa::dnn::Pad
- 概览
- 成员
  - public Pad()
  - public ~Pad()
  - public Status SetMode(Mode mode)
  - 参数
  - public Status GetMode(Mode & mode) const
  - public Status SetValue(double value)
  - public Status SetValue(int64_t value)
  - public Status SetPaddingInfo(::std::initializer_list< int > pad)
  - 参数
  - public Status SetPaddingInfo(int length,const int * pad)
  - 参数
  - public Status GetPaddingInfo(int & length,int *& pad) const
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & input) const
  - 参数
  - enum Mode
class musa::dnn::Permute
- 概览
- 成员
  - public Permute()
  - public ~Permute()
  - public Status Run(Handle & h,Tensor & out,const Tensor & in) const
  - public Status SetSrcOffset(int64_t s_offset)
  - 参数
  - public Status SetDstOffset(int64_t d_offset)
  - 参数
  - public Status ConfigDimStride(Tensor & out,Tensor & in,::std::initializer_list< int64_t > permute_dims)
  - public Status ConfigDimStride(Tensor & out,Tensor & in,int len,const int64_t * array_dims)
  - public Status ConfigDimStrideForSlice(Tensor & out,Tensor & in,const int64_t * start)
  - public Status ConfigDimStrideForSlice(Tensor & out,Tensor & in,const int64_t * start,const int64_t * stride)
class musa::dnn::Pooling
- 概览
- 成员
  - public Pooling()
  - public ~Pooling()
  - public Status SetMode(Mode m)
  - 参数
  - public Status GetMode(Mode & m) const
  - public Status SetNdInfo(::std::initializer_list< int > kernel,::std::initializer_list< int > pad,::std::initializer_list< int > stride,::std::initializer_list< int > dilation)
  - public Status SetNdInfo(int len,const int * kernel,const int * pad,const int * stride,const int * dilation)
  - 参数
  - public Status GetNdInfo(int & len,int *& kernel,int *& pad,int *& stride,int *& dilation) const
  - public Status SetDivisor(int divisor)
  - 参数
  - public Status GetDivisor(int & divisor) const
  - public Status Run(Handle & h,Tensor & out,const Tensor & in,Tensor & indices) const
  - 参数
  - public Status RunBwd(Handle & h,Tensor & out,const Tensor & in,Tensor & indices) const
  - 参数
  - public Status RunMaxPool2dGradGrad(Handle & h,Tensor & out,const Tensor & in,const Tensor & indices) const
  - enum Mode
class musa::dnn::Reduce
- 概览
- 成员
  - public Reduce()
  - public ~Reduce()
  - public Status SetMode(Mode m)
  - 参数
  - public Status SetDim(::std::initializer_list< int > dim)
  - public Status SetDim(int ndim,const int * dim)
  - 参数
  - public Status SetNormOrd(float ord)
  - 参数
  - public Status SetCorrection(int correction)
  - 参数
  - public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & in)
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const
  - 参数
  - public Status GetMeanAndVarWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out_var,Tensor & out_mean,const Tensor & in)
  - public Status RunMeanAndVar(Handle & h,Tensor & out_var,Tensor & out_mean,const Tensor & in,const MemoryMaintainer & maintainer) const
  - public Status GetIndicesWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,const Tensor & in)
  - public Status RunIndices(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const
  - public Status GetWithIndicesWorkspaceSize(Handle & h,size_t & size_in_bytes,Tensor & out,Tensor & indices,const Tensor & in)
  - public Status RunWithIndices(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const
  - enum Mode
class musa::dnn::RMSNorm
- 概览
- 成员
  - public RMSNorm()
  - public ~RMSNorm()
  - public Status SetVarMode(VarMode var_mode)
  - public Status GetVarMode(VarMode & var_mode) const
  - public Status SetEpsilon(double eps)
  - public Status GetEpsilon(double & eps) const
  - public Status SetAxis(::std::initializer_list< int > axes)
  - public Status SetAxis(size_t length,const int * axes)
  - public Status GetAxis(size_t & length,int *& axes) const
  - public Status Run(Handle & h,Tensor & out,Tensor & inv_var,const Tensor & in,const Tensor & gamma) const
  - 参数
  - public Status RunBwd(Handle & h,Tensor & dX,Tensor & dGamma,const Tensor & dY,const Tensor & in,const Tensor & invVar,const Tensor & gamma,const MemoryMaintainer & maintainer) const
  - public Status GetBackwardWorkspaceSize(Handle & h,size_t & size_in_byte,Tensor & dX,Tensor & dGamma,const Tensor & dY,const Tensor & in,const Tensor & invVar,const Tensor & gamma) const
  - enum VarMode
class musa::dnn::RNN
- 概览
- 成员
  - public RNN()
  - public ~RNN()
  - public Status SetMode(Mode m)
  - public Status SetFormat(Format m)
  - public Status SetBiasMode(BiasMode bm)
  - public Status SetDirection(Direction d)
  - public Status SetComputeMode(ComputeMode mode)
  - public Status RunUnpacked(Handle & h,Tensor & out,Tensor & hout,Tensor & cout,const Tensor & in,const Tensor & hin,const Tensor & cin,const Tensor * weight,Tensor & bwdHint,const MemoryMaintainer & maintainer) const
  - public Status RunUnpackedBwd(Handle & h,Tensor & in_grad,Tensor & hin_grad,Tensor & cin_grad,const Tensor * weight_grad,const Tensor & in,const Tensor & hin,const Tensor & cin,const Tensor * weight,const Tensor & out,const Tensor & bwdHint,const Tensor & out_grad,const Tensor & hout_grad,const Tensor & cout_grad,const MemoryMaintainer & maintainer) const
  - public Status RunPackPaddedSequence(Handle & h,Tensor & packed,Tensor & batsize,const Tensor & padded,const Tensor & lengths,bool batch_first,bool enforce_sorted)
  - public Status RunPadPackedSequence(Handle & h,Tensor & padded,Tensor & lengths,const Tensor & packed,const Tensor & batsize,bool batch_first,float padding_value)
  - enum Mode
  - enum Format
  - enum BiasMode
  - enum Direction
  - enum ComputeMode
class musa::dnn::Rope
- 概览
- 成员
  - public Rope()
  - public ~Rope()
  - public Status SetRotaryInterleaved(bool rotary_interleaved)
  - public Status GetRotaryInterleaved(bool & rotary_interleaved) const
  - public Status SetBatchFirst(bool batch_first)
  - public Status GetBatchFirst(bool & batch_first) const
  - public Status SetMultiLatentAttention(bool multi_latent_attention)
  - public Status GetMultiLatentAttention(bool & multi_latent_attention) const
  - public Status Run(Handle & h,Tensor & t_out,const Tensor & t_in,const Tensor & freqs_cis) const
  - public Status RunBwd(Handle & h,Tensor & dt,const Tensor & dout_t,const Tensor & freqs_cis) const
class musa::dnn::ScaledDotProductAttention
- 概览
- 成员
  - public ScaledDotProductAttention()
  - public ~ScaledDotProductAttention()
  - public Status SetComputeMode(ComputeMode mode)
  - 参数
  - public Status SetEmbedDim(int embed_dim)
  - 参数
  - public Status SetBatchSize(int batch_size)
  - 参数
  - public Status SetHeadsNum(int num_heads)
  - 参数
  - public Status SetDropoutP(double p)
  - 参数
  - public Status SetSeed(uint64_t seed,uint64_t offset,int dropout_mode,const uint64_t * device_seed,const uint64_t * device_offset,uint64_t graph_offset)
  - 参数
  - public Status SetScale(double scale)
  - public Status SetTraining(bool is_training)
  - 参数
  - public Status SetMaskMode(bool use_pad_mask)
  - public Status SetKeyFormat(bool key_format_bhds)
  - public Status SetCausal(bool is_causal)
  - 参数
  - public Status SetIsDeterministic(bool is_deterministic)
  - 参数
  - public Status SetMaxSeqlenQ(int max_seqlen_q)
  - 参数
  - public Status SetMaxSeqlenK(int max_seqlen_k)
  - 参数
  - public Status RunFlash(Handle & h,Tensor & out,Tensor & logsumexp,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const MemoryMaintainer & maintainer) const
  - public Status GetFlashBwdWorkspaceSize(Handle & h,const Tensor & q_grad,const Tensor & k_grad,const Tensor & v_grad,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,size_t & size_in_bytes) const
  - public Status RunFlashBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const MemoryMaintainer & maintainer) const
  - public Status RunFlashVarlen(Handle & h,Tensor & out,Tensor & logsumexp,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,const MemoryMaintainer & maintainer) const
  - public Status GetFlashVarlenBwdWorkspaceSize(Handle & h,const Tensor & q_grad,const Tensor & k_grad,const Tensor & v_grad,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,size_t & size_in_bytes) const
  - public Status RunFlashVarlenBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,Tensor & v_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & out,const Tensor & logsumexp,const Tensor & dropout_mask,const Tensor & cu_seqlens_q,const Tensor & cu_seqlens_k,const MemoryMaintainer & maintainer) const
  - public Status GetMathForwardWorkspaceSize(Handle & h,const Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,const Tensor & dropout_mask,const Tensor & out,size_t & size_in_bytes) const
  - public Status RunMath(Handle & h,Tensor & out,Tensor & attn_probs,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & mask,Tensor & dropout_mask,const MemoryMaintainer & maintainer) const
  - public Status GetMathBackwardWorkspaceSize(Handle & h,const Tensor & dout,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & dropout_mask,size_t & size_in_bytes) const
  - public Status RunMathBwd(Handle & h,Tensor & q_grad,Tensor & k_grad,const Tensor & v_grad,const Tensor & attn_probs_grad,const Tensor & out_grad,const Tensor & q,const Tensor & k,const Tensor & v,const Tensor & attn_probs,const Tensor & dropout_mask,const MemoryMaintainer & maintainer) const
  - enum ComputeMode
class musa::dnn::Scan
- 概览
- 成员
  - public Scan()
  - public ~Scan()
  - public Status SetMode(Mode m)
  - public Status SetOpType(ScanOpType op_type)
  - public Status SetInitVal(double value)
  - public Status SetInitVal(int64_t value)
  - public Status Run(Handle & h,Tensor & out,const Tensor & in,const MemoryMaintainer & maintainer) const
  - 参数
  - enum Mode
  - enum ScanOpType
class musa::dnn::Scatter
- 概览
- 成员
  - public Scatter()
  - public ~Scatter()
  - public Status SetMode(Mode mode)
  - public Status GetMode(Mode & mode) const
  - public Status Run(Handle & h,Tensor & self,const Tensor & idx,const Tensor & update,int dim,const MemoryMaintainer & maintainer) const
  - public Status Run(Handle & h,Tensor & out,const Tensor & self,const Tensor & idx,const Tensor & update,int dim,const MemoryMaintainer & maintainer) const
  - enum Mode
class musa::dnn::ScatterND
- 概览
- 成员
  - public ScatterND()
  - public ~ScatterND()
  - public Status SetMode(Mode mode)
  - public Status GetMode(Mode & mode) const
  - public Status Run(Handle & h,Tensor & self,const Tensor & idx,const Tensor & update,const MemoryMaintainer & maintainer) const
  - 参数
  - enum Mode
class musa::dnn::Softmax
- 概览
- 成员
  - public Softmax()
  - public ~Softmax()
  - public Status SetDim(int d)
  - public Status GetDim(int & d) const
  - public Status SetAlgorithm(Algorithm a)
  - public Status GetAlgorithm(Algorithm & a) const
  - public Status SetMode(Mode m)
  - public Status GetMode(Mode & m) const
  - public Status GetForwardWorkspaceSize(Handle & h,Tensor & out,Tensor & input,size_t & size_in_bytes) const
  - public Status Run(Handle & h,Tensor & out,const Tensor & input,const MemoryMaintainer & maintainer) const
  - public Status GetBackwardWorkspaceSize(Handle & h,Tensor & gradInput,const Tensor & output,const Tensor & gradOutput,size_t & size_in_bytes) const
  - public Status RunBwd(Handle & h,Tensor & gradInput,const Tensor & output,const Tensor & gradOutput,const MemoryMaintainer & maintainer) const
  - enum Algorithm
  - enum Mode
class musa::dnn::Sort
- 概览
- 成员
  - public Sort()
  - public ~Sort()
  - public Status SetDim(int dim)
  - 参数
  - public Status GetDim(int & dim) const
  - public Status SetStable(bool stable)
  - 参数
  - public Status GetStable(bool & stable) const
  - public Status SetDescending(bool descending)
  - 参数
  - public Status GetDescending(bool & descending) const
  - public Status GetWorkspaceSize(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,size_t & size_in_bytes) const
  - public Status Run(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const
  - 参数
class musa::dnn::SortByKey
- 概览
- 成员
  - public SortByKey()
  - public ~SortByKey()
  - public Status SetDim(int dim)
  - public Status GetDim(int & dim) const
  - public Status SetStable(bool stable)
  - public Status GetStable(bool & stable) const
  - public Status SetDescending(bool descending)
  - public Status GetDescending(bool & descending) const
  - public Status GetWorkspaceSize(Handle & h,Tensor & key_out,Tensor & value_out,const Tensor & key_in,const Tensor & value_in,size_t & size_in_bytes) const
  - public Status Run(Handle & h,Tensor & key_out,Tensor & value_out,const Tensor & key_in,const Tensor & value_in,const MemoryMaintainer & maintainer) const
  - 参数
class musa::dnn::SwiGlu
- 概览
- 成员
  - public SwiGlu()
  - public ~SwiGlu()
  - public Status Run(Handle & h,Tensor & out,const Tensor & in) const
  - 参数
  - public Status RunBwd(Handle & h,Tensor & out,const Tensor & in,const Tensor & grad) const
  - 参数
class musa::dnn::Tensor
- 概览
- 成员
  - public Tensor()
  - public Tensor(const Tensor &)
  - public Tensor(Tensor &&)
  - public ~Tensor()
  - public Tensor & operator=(const Tensor &)
  - public Tensor & operator=(Tensor &&)
  - public Status SetAddr(const void * addr)
  - 参数
  - public Status SetType(Type t)
  - 参数
  - public Status SetFormat(Format f)
  - 参数
  - public Status SetNdInfo(::std::initializer_list< int64_t > dim)
  - 参数
  - public Status SetNdInfo(int ndims,const int64_t * dim)
  - 参数
  - public Status SetNdInfo(int64_t ndims,const int64_t * dim)
  - 参数
  - public Status SetNdInfo(::std::initializer_list< int64_t > dim,::std::initializer_list< int64_t > stride)
  - 参数
  - public Status SetNdInfo(int ndims,const int64_t * dim,const int64_t * stride)
  - 参数
  - public Status SetNdInfo(int64_t ndims,const int64_t * dim,const int64_t * stride)
  - 参数
  - public Status GetNdInfo(::std::vector< int64_t > & dim) const
  - 参数
  - public Status GetNdInfo(::std::vector< int64_t > & dim,::std::vector< int64_t > & stride) const
  - 参数
  - public Status GetAddr(void *& a) const
  - 参数
  - public Status GetAddr(const void *& a) const
  - 参数
  - public Status GetType(Type & t) const
  - 参数
  - public Status GetFormat(Format & f) const
  - 参数
  - public Status SetQuantizationInfo(const float scale)
  - 参数
  - public Status GetQuantizationInfo(float & scale) const
  - 参数
  - public Status CopyFrom(void * ptr,size_t bytes,int kind,Handle & h,bool sync)
  - 参数
  - public Status CopyTo(void * ptr,size_t bytes,int kind,Handle & h,bool sync) const
  - 参数
  - enum Format
  - enum Type
class musa::dnn::TensorBase
- 概览
- 成员
  - protected TensorBase() = default
class musa::dnn::Ternary
- 概览
- 成员
  - public Ternary()
  - public ~Ternary()
  - public Status SetMode(Mode m)
  - 参数
  - public Status SetAlpha(double alpha)
  - 参数
  - public Status SetAlpha(int64_t alpha)
  - 参数
  - public Status SetAlpha(const void * alpha)
  - 参数
  - public Status SetBeta(double beta)
  - 参数
  - public Status SetBeta(int64_t beta)
  - 参数
  - public Status SetBeta(const void * beta)
  - 参数
  - public Status SetGamma(double gamma)
  - 参数
  - public Status SetGamma(int64_t gamma)
  - 参数
  - public Status SetGamma(const void * gamma)
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & in0,const Tensor & in1,const Tensor & in2) const
  - 参数
  - enum Mode
class musa::dnn::TopK
- 概览
- 成员
  - public TopK()
  - public ~TopK()
  - public Status SetK(int k)
  - 参数
  - public Status GetK(int & k) const
  - public Status SetDim(int dim)
  - 参数
  - public Status GetDim(int & dim) const
  - public Status SetLargest(bool largest)
  - 参数
  - public Status GetLargest(bool & largest) const
  - public Status SetSorted(bool sorted)
  - 参数
  - public Status GetSorted(bool & sorted) const
  - public Status GetWorkspaceSize(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,size_t & size_in_bytes) const
  - public Status Run(Handle & h,Tensor & out,Tensor & indices,const Tensor & in,const MemoryMaintainer & maintainer) const
  - 参数
class musa::dnn::Unary
- 概览
- 成员
  - public Unary()
  - public ~Unary()
  - public Status SetMode(Mode m)
  - 参数
  - public Status SetAlpha(double alpha)
  - 参数
  - public Status SetAlpha(int64_t alpha)
  - 参数
  - public Status SetAlpha(const void * alpha)
  - 参数
  - public Status SetBeta(double beta)
  - 参数
  - public Status SetBeta(int64_t beta)
  - 参数
  - public Status SetBeta(const void * beta)
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & in) const
  - 参数
  - enum Mode
class musa::dnn::Unfold
- 概览
- 成员
  - public Unfold()
  - public ~Unfold()
  - public Status SetAxis(int axis)
  - 参数
  - public Status SetSize(int size)
  - 参数
  - public Status SetStep(int step)
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & input) const
  - 参数
class musa::dnn::Unique
- 概览
- 成员
  - public Unique()
  - public ~Unique()
  - public Status SetMode(Mode m)
  - public Status Run(Handle & h,Tensor & out,Tensor & inverse_indices,Tensor & counts,const Tensor & in,const MemoryMaintainer & maintainer) const
  - 参数
  - enum Mode
class musa::dnn::WeightNorm
- 概览
- 成员
  - public WeightNorm()
  - public ~WeightNorm()
  - public Status SetEpsilon(double epsilon)
  - public Status SetAxis(::std::initializer_list< int > axes)
  - 参数
  - public Status SetAxis(size_t length,const int * axes)
  - 参数
  - public Status Run(Handle & h,Tensor & out,const Tensor & weightV,const Tensor & weightG) const
  - 参数
struct musa::dnn::Convolution::FusedActivationDesc
- 概览
- 成员
  - public Mode mode
  - public ::std::array< double, 3 > params
  - public Status SetMode(Mode m)
  - 参数
  - public Status SetCoef(double activAlpha,double activBeta,double activGamma)
  - 参数
  - enum Mode

namespace musa::dnn​

概览​

成员​

enum Status​

public MUDNN_EXPORT Status SetCallBack(DebugInfo::Severity min, void * udata, CallBack f)​

参数​

返回值​

public MUDNN_EXPORT void PrintVersionInfo(::std::ostream & os)​

参数​

public MUDNN_EXPORT size_t GetVersion()​

返回值​

class musa::dnn::BatchMatMul​

概览​

成员​

public BatchMatMul()​

public ~BatchMatMul()​

public Status SetComputeMode(ComputeMode mode)​

参数​

public Status SetTranspose(bool trans_a,bool trans_b)​

参数​

public Status SetDeterministic(bool is_deterministic)​

参数​

public Status SetAlpha(double alpha)​

参数​

public Status SetBeta(double beta)​

参数​

public Status SetGamma(double gamma)​

参数​

public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const MatMulLtParam & param)​

public Status SetMpCountTarget(int mp_count_target)​

参数​

public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const​

参数​

返回值​

public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const​

public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const​

public Status RunLt(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MatMulLtParam & param,const MemoryMaintainer & maintainer) const​

enum ComputeMode​

class musa::dnn::BatchNorm​

概览​

成员​

public BatchNorm()​

public ~BatchNorm()​

public Status SetMode(Mode m)​

参数​

public Status GetMode(Mode & m) const​

参数​

public Status SetEpsilon(double epsilon)​

public Status GetEpsilon(double & epsilon) const​

参数​

public Status SetTraining(bool is_training)​

public Status GetTraining(bool & is_training) const​

参数​

public Status RunPure(Handle & h,Tensor & out,const Tensor & in,const Tensor & finalMean,const Tensor & finalVariance,const Tensor & scale,const Tensor & bias) const​

public Status RunComposite(Handle & h,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias,double momentum,const MemoryMaintainer & maintainer) const​

public Status RunBwd(Handle & h,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g,const MemoryMaintainer & maintainer) const​

public Status GetWorkspaceSizeComposite(Handle & h,size_t & size_in_byte,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias) const​

public Status GetWorkspaceSizeBwd(Handle & h,size_t & size_in_byte,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g) const​

enum Mode​

class musa::dnn::Binary​

概览​

成员​

public Binary()​

public ~Binary()​

public Status SetMode(Mode m)​

参数​

public Status SetAlpha(double alpha)​

参数​

public Status SetAlpha(int64_t alpha)​

参数​

public Status SetAlpha(const void * alpha)​

参数​

public Status SetBeta(double beta)​

参数​

public Status SetBeta(int64_t beta)​

参数​

public Status SetBeta(const void * beta)​

参数​

public Status Run(Handle & h,Tensor & out,const Tensor & l,const Tensor & r) const​

参数​

namespace `musa::dnn`

概览

成员

`enum Status`

`public MUDNN_EXPORT Status SetCallBack(DebugInfo::Severity min, void * udata, CallBack f)`

参数

返回值

`public MUDNN_EXPORT void PrintVersionInfo(::std::ostream & os)`

参数

`public MUDNN_EXPORT size_t GetVersion()`

返回值

class `musa::dnn::BatchMatMul`

概览

成员

`public BatchMatMul()`

`public ~BatchMatMul()`

`public Status SetComputeMode(ComputeMode mode)`

参数

`public Status SetTranspose(bool trans_a,bool trans_b)`

参数

`public Status SetDeterministic(bool is_deterministic)`

参数

`public Status SetAlpha(double alpha)`

参数

`public Status SetBeta(double beta)`

参数

`public Status SetGamma(double gamma)`

参数

`public Status GetWorkspaceSize(Handle & h,size_t & size_in_bytes,const Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const MatMulLtParam & param)`

`public Status SetMpCountTarget(int mp_count_target)`

参数

`public Status Run(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const MemoryMaintainer & maintainer) const`

参数

返回值

`public Status RunWithBiasAdd(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MemoryMaintainer & maintainer) const`

`public Status RunWithBiasAdd(Handle & h,Tensor & c,const Tensor & a,const Tensor & b,const Tensor & bias,const MemoryMaintainer & maintainer) const`

`public Status RunLt(Handle & h,Tensor & d,const Tensor & a,const Tensor & b,const Tensor & c,const Tensor & bias,const MatMulLtParam & param,const MemoryMaintainer & maintainer) const`

`enum ComputeMode`

class `musa::dnn::BatchNorm`

概览

成员

`public BatchNorm()`

`public ~BatchNorm()`

`public Status SetMode(Mode m)`

参数

`public Status GetMode(Mode & m) const`

参数

`public Status SetEpsilon(double epsilon)`

`public Status GetEpsilon(double & epsilon) const`

参数

`public Status SetTraining(bool is_training)`

`public Status GetTraining(bool & is_training) const`

参数

`public Status RunPure(Handle & h,Tensor & out,const Tensor & in,const Tensor & finalMean,const Tensor & finalVariance,const Tensor & scale,const Tensor & bias) const`

`public Status RunComposite(Handle & h,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias,double momentum,const MemoryMaintainer & maintainer) const`

`public Status RunBwd(Handle & h,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g,const MemoryMaintainer & maintainer) const`

`public Status GetWorkspaceSizeComposite(Handle & h,size_t & size_in_byte,Tensor & out,const Tensor & in,Tensor & accMean,Tensor & accVariance,Tensor & freshMean,Tensor & freshVariance,const Tensor & scale,const Tensor & bias) const`

`public Status GetWorkspaceSizeBwd(Handle & h,size_t & size_in_byte,Tensor & dx,Tensor & dm,Tensor & dv,Tensor & dg,Tensor & db,const Tensor & x,const Tensor & dy,const Tensor & m,const Tensor & v,const Tensor & g) const`

`enum Mode`

class `musa::dnn::Binary`

概览

成员

`public Binary()`

`public ~Binary()`

`public Status SetMode(Mode m)`

参数

`public Status SetAlpha(double alpha)`

参数

`public Status SetAlpha(int64_t alpha)`

参数

`public Status SetAlpha(const void * alpha)`

参数

`public Status SetBeta(double beta)`

参数

`public Status SetBeta(int64_t beta)`

参数

`public Status SetBeta(const void * beta)`

参数

`public Status Run(Handle & h,Tensor & out,const Tensor & l,const Tensor & r) const`

参数