一般来说,神经网络模型实验重复多次,但最终结果仍然有较大波动时,应该从三个方面结果:种子、初始点、优化器。
其中种子的固定尤为关键,应在代码中加入下列种子固定代码
def setup_seed(seed):
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
dgl.seed(seed)
setup_seed(seed)