0
点赞
收藏
分享

微信扫一扫

GPT-4 / ChatGPT 解读3---没有前置的任务分类模型


没有一个前置的意图识别任务分类小模型,看下论文,

​​Training_language_models_to_follow_instructions_with_human_feedback.pdf​​

里面从26页到30页有真实训练数据示例,看了就懂了:

想办法把训练数据都处理成GPT式的文本生成式的格式,意图分类就‘内置’在prompt里了。

GPT这种decoder-only transformer可以实现pre-train和fine-tune的一致性,

这里一致性就是指的,pre-train时的模型输入输出的数据格式 和 fine-tune时的模型输入输出的数据格式 完全一样,同时pre-train的代码和fine-tune的代码也都几乎一样,

举例pre-train时的伪代码:
​​​sentence_concat_next_sentence.make_labels()​​​​gpt_model.fit(sentence_concat_next_sentence)​

然后fine-tune时的伪代码:
​​​question_concat_answer.make_labels()​​​​gpt_model.fit(question_concat_answer) ​

所以这样最大化利用了大规模预训练的基础“知识库”。


举报

相关推荐

0 条评论