Pytorch Utils 总结-CFANZ编程社区

Utils

从torch.nn.utils模块

`clip_grad_norm_`	裁剪参数迭代的梯度范数。
`clip_grad_value_`	在指定值处剪辑可迭代参数的梯度。
`parameters_to_vector`	将参数转换为一个向量
`vector_to_parameters`	将一个向量转换为参数
`prune.BasePruningMethod`	用于创建新修剪技术的抽象基类。

`prune.PruningContainer`	容器包含一系列用于迭代剪枝的剪枝方法。
`prune.Identity`	实用剪枝方法，不剪枝任何单元，但生成带有掩码的剪枝参数化。
`prune.RandomUnstructured`	随机修剪（当前未修剪的）张量中的单元。
`prune.L1Unstructured`	通过将具有最低 L1 范数的单元归零来修剪（当前未修剪）张量中的单元。
`prune.RandomStructured`	随机修剪张量中的整个（当前未修剪的）通道。
`prune.LnStructured`	根据 L`n`范数在张量中修剪整个（当前未修剪的）通道。
`prune.CustomFromMask`
`prune.identity`	将修剪重新参数化应用于与调用的参数对应的张量`name`，`module`而不实际修剪任何单位。
`prune.random_unstructured`	通过删除随机选择的指定的（当前未修剪的）单元来修剪与调用`name`的参数相对应的张量。module``amount
`prune.l1_unstructured`	通过删除具有最低 L1 范数的指定数量的（当前未修剪的）单元来修剪与调用`name`的参数相对应的张量。`module`
`prune.random_structured`	通过沿随机选择的指定删除指定的（当前未修剪的）通道来修剪与调用`name`的参数相对应的张量。module``amount``dim
`prune.ln_structured`	通过沿着具有最低 L范数的指定通道移除指定的（当前未修剪的）通道，修剪与调用`name`的参数相对应的张量。module``amount``dim``n
`prune.global_unstructured`	`parameters`通过应用指定的来全局修剪与所有参数对应的张量`pruning_method`。
`prune.custom_from_mask`	`name`通过在中`module`应用预先计算的掩码来修剪与调用的参数相对应的张量`mask`。
`prune.remove`	从模块中删除修剪重新参数化，从前向钩子中删除修剪方法。
`prune.is_pruned`	`module`通过`forward_pre_hooks`在其继承自`BasePruningMethod`.
`weight_norm`	将权重归一化应用于给定模块中的参数。
`remove_weight_norm`	从模块中删除权重归一化重新参数化。
`spectral_norm`	将光谱归一化应用于给定模块中的参数。
`remove_spectral_norm`	从模块中删除光谱归一化重新参数化。
`skip_init`	给定一个模块类对象和 args / kwargs，在不初始化参数 / 缓冲区的情况下实例化模块。

使用torch.nn.utils.parameterize.register_parametrization().

`parametrizations.orthogonal`	将正交或酉参数化应用于矩阵或一组矩阵。
`parametrizations.spectral_norm`	将光谱归一化应用于给定模块中的参数。

对现有模块上的张量进行参数化的实用函数。请注意，在给定从输入空间映射到参数化空间的特定函数的情况下，这些函数可用于参数化给定的参数或缓冲区。它们不是将对象转换为参数的参数化。有关如何实现自己的参数化的更多信息，请参阅参数化教程。

`parametrize.register_parametrization`	向模块中的张量添加参数化。
`parametrize.remove_parametrizations`	删除模块中张量的参数化。
`parametrize.cached`	上下文管理器，在注册的参数化中启用缓存系统`register_parametrization()`。
`parametrize.is_parametrized`	`True`如果模块具有活动参数化，则返回。

`parametrize.ParametrizationList`	`original`保存和管理or `original0`、、的顺序容器`original1`。

其他模块中的实用功能

`nn.utils.rnn.PackedSequence`	`batch_sizes`保存打包序列的数据和列表。
`nn.utils.rnn.pack_padded_sequence`	打包一个包含可变长度填充序列的张量。
`nn.utils.rnn.pad_packed_sequence`	填充一组打包的可变长度序列。
`nn.utils.rnn.pad_sequence`	填充可变长度张量列表`padding_value`
`nn.utils.rnn.pack_sequence`	打包可变长度张量列表

`nn.Flatten`	将连续的暗淡范围展平为张量。
`nn.Unflatten`	将张量变平展开为所需的形状。

Talk is cheap. Show me the code