NER问题的验证集,不一定能反映召回率

逸省

关注

阅读 27

2022-10-16


如果 验证集(dev集)从整体数据集 以一定比例 拆分出来的话,

这时,比如两个数据集的整体数据标注情况是

数据集A:同一句话 人工标注 抽取 三个实体
VS
数据集B:同一句话 人工标注 抽取 两个实体

如果同一个BERT-CRF的NER模型在这两个数据集训练的dev集 准确率 召回率为:

模型A:准确率100% 召回率100%
VS
模型B:准确率100% 召回率100%

那么只能说明

两个数据集训练得到的A、B两个模型 抽取时

同一句话 模型A 准确抽取出了 三个实体
VS
同一句话 模型B 准确抽取出了 两个实体


精彩评论(0)

0 0 举报