代码 https://github.com/openai/lm-human-preferences

在train_policy.py文件

看出 有一个​​ref_policy​​作为ground-truth

在train_reward.py文件

看出 可以同时用于​​reward_model​​​自身的训练 和 用​​reward_model​​​对​​ref_policy​​打分