归一化*块可独立归一化指定输入信号维度的每一行、每一列或每一个矢量。
输出信号的尺寸始终与输入信号的尺寸相同。
该代码块将任意维度 U 的输入数据视为一组沿指定维度定向的矢量。该代码块将这些向量归一化为模数或模数平方。
例如,考虑一个三维矩阵 U(i,j,k),假设要沿第二维进行归一化处理。首先,定义一个二维中间量 V(i,k) ,使得 V 的每个元素都是 U 中一个向量的规范:
给定 V 后,块 在 "2-norm "模式下的输出为:
归一化偏移 b 通常选择一个小的正常数(如 1e-10
),以防止潜在的除以零。