kaiyun官方注册
您所在的位置:首页 > 人工智能 > 设计应用 > 用于主动学习的时序特征融合预测损失网络
用于主动学习的时序特征融合预测损失网络
电子技术应用
王绎翔
宁波大学 信息科学与工程学院
摘要: 通过主动学习模型来选取最有价值的数据点进行标注是深度学习减少标注数据量的一种方式。预测损失模型是一类与任务无关的主动学习模型,该类模型在多个任务中都有不错的表现。但是这类模型均不是端到端的模型,不断变化的输入特征会导致损失预测网络在训练时出现输入偏差。提出了时序特征融合预测损失模型用于解决该模型的输入偏差问题。实验证明,提出的算法在各个任务中的性能与以往最先进的算法相比,平均提升约1.5%,与原预测损失模型相比,平均提升5%。
中图分类号:TP391 文献标志码:A DOI: 10.16157/j.issn.0258-7998.234772
中文引用格式: 王绎翔. 用于主动学习的时序特征融合预测损失网络[J]. 电子技术应用,2024,50(6):10-17.
英文引用格式: Wang Yixiang. Temporal feature fusion learning loss model for active learning[J]. Application of Electronic Technique,2024,50(6):10-17.
Temporal feature fusion learning loss model for active learning
Wang Yixiang
School of Information Science and Engineering, Ningbo University
Abstract: Using active learning models to select the most valuable data points for annotation is one way that deep learning reduces the amount of labeled data required. Prediction loss models are a type of task-agnostic active learning models that perform well across multiple tasks. However, these models are not end-to-end models, and changing input features can lead to input bias during the training of the loss prediction network. This paper proposes a temporal feature fusion prediction loss model to address the issue of input bias in such models. Experiments demonstrate that the method proposed in this paper achieves an average performance improvement of approximately 1.5% across various tasks compared to previous state-of-the-art methods, and an average improvement of 5% compared to the original prediction loss model.
Key words : active learning;deep learning;learning loss;time series

引言

近年来,深度网络在多个任务中取得了许多突破性进展[1]。但是,深度网络的训练需要大量的标注数据,在很多任务中,标注数据的获取需要专家进行标注,成本很高。

主动学习是一种可行的用于减少模型对标注数据量依赖的方法。主动学习模型主要由3个部分组成,即目标任务模块、主动学习模块和标注模块。目标任务模块用于在现有的标注数据集上训练用于目标任务(分类、分割等)的模型。主动学习模块通过主动学习的选择算法来选择合适的样本用于标注。注释模块主要根据主动学习模块选择的样本为其打上标签并放入标注数据集中用于下一轮训练。在一般的任务中,注释模块由专家来完成,专家为选择的样本标注后加入到标注数据集中。因此,设计主动学习的选择算法是主动学习的核心任务。

现有的选择算法主要有三类,即基于样本的不确定性的算法、基于样本的多样性的算法以及不确定性和多样性结合的算法。其中,早期的选择算法在文献[2]中进行描述。基于样本的不确定性的算法选择对于任务模型而言预测最不确定的数据交给专家进行标注[3-4]。基于样本的多样性的算法则选择最具有多样性或代表性的数据交给专家进行标注[5-6]。不确定性和多样性结合的算法则综合以上两点来对样本进行评估和选择[7]。

目前的主动学习模型主要有任务依赖的模型和任务不可知的模型两类。大多数主动学习模型属于任务依赖型主动学习模型[8]。针对某项特定的目标任务进行选择算法的设计,这些算法往往只能适用于某项特定任务,可扩展性和任务泛化性较差。近年来,许多与任务无关的主动学习模型被提出并用于各个任务中,这类模型在多类任务中都有很好的效果。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000006022


作者信息:

王绎翔

(宁波大学 信息科学与工程学院, 浙江 宁波 355211)


Magazine.Subscription.jpg

此内容为AET网站原创,未经授权禁止转载。