基于RoBERTa-WWM的中文电子病历命名实体识别
关键词:电子病历;命名实体识别;Ro BERTa-WWM;信息抽取
摘 要:电子病历(EMRs)中包含着丰富的信息,如临床症状、诊断结果和药物疗效。命名实体识别(Named Entity Recognition,NER)旨在从非结构化文本中抽取命名实体,这也是从电子病历中抽取有价值信息的初始步骤。本文提出一种基于预训练模型Ro BERTa-WWM(A Robustly Optimized BERT Pre-training Approach-Whole Word Masking)的命名实体识别方法。该方法引入预训练模型Ro BERTa-WWM,利用其生成含有先验知识的语义表示。与BERT(Bidirectional Encoder Representations from Transformers)相比,Ro BERTa-WWM生成的语义表示更适用于中文的命名实体识别任务,因为其在预训练阶段会进行全词掩码。Ro BERTa-WWM生成的语义表示被依次输入双向长短时记忆(Bidirectional Long Short-Term Memory,Bi LSTM)和条件随机场(Conditional Random Field,CRF)模型。实验结果表明,该方法在"2019全国知识图谱与语义计算大会(CCKS 2019)"数据集上可以有效提升F1值,提高中文电子病历中命名实体的识别效果。
内 容:原文可通过湖北省科技信息共享服务平台(http://hbstl.hbstd.gov.cn/webs/homepage.jsp)获取