融合多教师模型的知识蒸馏文本分类AET-电子技术应用-最丰富的电子设计资源平台

融合多教师模型的知识蒸馏文本分类
所属分类：技术论文
上传者：
文档大小：3704 K
标签：文本分类知识蒸馏 BERT-wwm-ext
所需积分：0分积分不够怎么办？
文档介绍：针对简单文本分类模型精度不高，预训练模型结构复杂，在实际环境中难以直接使用的问题，提出多教师知识蒸馏的文本分类方法。该模型使用“教师-学生网络”的训练方法，教师模型为BERT-wwm-ext和XLNet预训练模型，将两个模型输出的概率矩阵通过权重系数融合为软标签。学生模型为BiGRU-CNN网络，使用均方差函数计算软标签误差，使用交叉熵损失函数计算硬标签误差，通过硬标签和软标签训练学生模型使损失函数值达到最小。实验结果表明，提出的方法精度较学生模型有较大的改进，接近预训练模型，在保证分类精度的前提下减少了运行时间，提高了效率。
现在下载
VIP会员，AET专家下载不扣分；重复下载不扣分，本人上传资源不扣分。

活动