基于BERT-CNN的新闻文本分类的知识蒸馏方法研究AET-电子技术应用-最丰富的电子设计资源平台

基于BERT-CNN的新闻文本分类的知识蒸馏方法研究
所属分类：技术论文
上传者：aetmagazine
文档大小：3576 K
标签：新闻文本 BERT CNN
所需积分：0分积分不够怎么办？
文档介绍：近年来，随着大数据时代进入人类的生活之后，人们的生活中出现很多无法识别的文本、语义等其他数据，这些数据的量十分庞大，语义也错综复杂，这使得分类任务更加困难。如何让计算机对这些信息进行准确的分类，已成为当前研究的重要任务。在此过程中，中文新闻文本分类成为这个领域的一个分支，这对国家舆论的控制、用户日常行为了解、用户未来言行的预判都有着至关重要的作用。针对新闻文本分类模型参数量多和训练时间过长的不足，在最大限度保留模型性能的情况下压缩训练时间，力求二者折中，故提出基于BERT-CNN的知识蒸馏。根据模型压缩的技术特点，将BERT作为教师模型，CNN作为学生模型，先将BERT进行预训练后再让学生模型泛化教师模型的能力。实验结果表明，在模型性能损失约2.09%的情况下，模型参数量压缩约为原来的1/82，且时间缩短约为原来的1/670。
现在下载
VIP会员，AET专家下载不扣分；重复下载不扣分，本人上传资源不扣分。

活动