kaiyun官方注册
您所在的位置: 首页> 其他> 设计应用> 基于句粒度提示的大语言模型时序知识问答方法
基于句粒度提示的大语言模型时序知识问答方法
网络安全与数据治理
李志东,罗琪彬,乔思龙
华北计算技术研究所大数据研发中心,北京100083
摘要:知识问答是自然语言处理领域的研究热点之一,而时序知识问答还需考虑知识的时序关系,更是研究难点所在。当前时序知识问答方法通常将知识和问题的词向量相似度作为回答的重要依据,忽略了知识所蕴含的句粒度语义信息。对此,提出了一种基于句粒度提示的大语言模型时序知识问答方法,首先通过对句粒度提示的改进,让大语言模型高效学习句粒度语义信息,同时验证大语言模型在Zeroshot、Fewshot及弱监督微调下时序知识问答能力。在ICEWS0515数据集上进行实验,所提方法回答正确准确率得到可观提升,体现了基于句粒度提示的大语言模型时序知识问答方法的有效性。
中图分类号:TP391.1
文献标识码:ADOI:10.19358/j.issn.2097-1788.2023.12.002
引用格式:李志东,罗琪彬,乔思龙.基于句粒度提示的大语言模型时序知识问答方法[J].网络安全与数据治理,2023,42(12):7-13.
Large language model based on sentence granularity prompts for temporal knowledge Q&A approach
Li Zhidong,Luo Qibin,Qiao Silong
Big Data R&D Center, North China Institute of Computing Technology, Beijing 100083, China
Abstract:Knowledge Q&A is one of the hot research topics in the field of natural language processing, and temporal knowledge Q&A is a difficult area of Q&A reasoning because it also needs to consider the temporal relationship of knowledge. Today′s research usually focuses on the word vector similarity between knowledge and questions as an important basis for answering, while ignoring the sentence granularity semantic information embedded in the knowledge. In this paper, we propose a method of temporal knowledge Q&A for large language models based on sentence granularity prompts. Firstly, by improving the sentence granularity prompts, the large language models can learn the sentence granularity semantic information efficiently, and then the temporal knowledge Q&A ability of large language models under Zeroshot, Fewshot and weaklysupervised finetuning is verified. The experiments are conducted on the ICEWS0515 dataset , and the accuracy of answers is significantly improved, which demonstrates the effectiveness of the temporal knowledge Q&A method for large language models based on sentence granularity prompts.
Key words :temporal knowledge graph questionanswering; large language models; prompt learning;natural language processing

引言

业务系统中具有多种不同时间序列的数据信息,将这些数据通过相关性和因果关系相联系形成知识图谱有助于快速深入地掌握时序信息。此外,数据信息在时间维度上的语义表达不同,包括年、月、日等不同粒度,跨时间粒度的语义表达会对问答结果产生影响。由此,时序知识图谱(Temporal Knowledge Graph,TKG)的产生可以对不同的时间序列数据生成一个多层的、多粒度的知识图谱,使得时序之间的关系得以清晰描述。基于知识图谱的问答系统(Question Answering System based on Knowledge Graphs, KGQA)最早被用于提高企业的核心竞争力,由于企业经营过程中沉淀了许多知识但并不能得到很好的利用,KGQA的出现使得知识的完全利用成为了可能。而TKG是在传统的知识图谱上对时间进行延伸,在三元组中加入时间维度,格式为“[头实体 关系 尾实体 时间]”。


作者信息

李志东,罗琪彬,乔思龙

(华北计算技术研究所大数据研发中心,北京100083)


文章下载地址:https://www.chinaaet.com/resource/share/2000005870


weidian.jpg

此内容为AET网站原创,未经授权禁止转载。
Baidu
map