人工智能NLP技术

在12345智能派单中的应用研究

神州控股

陈武练

1.

12345政务便民服务热线对智能派单的需求

12345政务服务便民热线（简称12345热线）
，，指各地市人民政府设立的由电话12345
、、、市长信箱、
、手机短信、、手机客户端、、、、微博、、微信等方式组成的专门受理热线事项的公共服务平台。。

某市“12345政务服务便民热线”建立了完整的数字化平台，
，，，客服人员通过标记热线信件的类别，，
，将信件分派给对应的部门进行处理。。。在实践中，，这项分派工作存在着信件多、
、工作量极大、、人工分派不及时
、、审核误分类、、误判断处理部门以及引起的重新分派、、、、转发时间延误
，，对各信件的及时处理造成了不同程度的影响
，，，非常需要采取改进措施以便为市民提供更优质的服务。。。。

2.

解决方案

12345的信件数据汇总到数字化平台后表现为文字和图片，，，，客服人员主要通过阅读信件内容来判断应该分派给哪个部门
。。。因此，，
，，采用人工智能中的NLP（NLP
，，Natural Language Processing）自然语言处理技术来对信件进行智能派单是最合适的。。。。我们运用该技术在这方面进行了积极的研究和尝试，，
，并取得了重要的技术验证成果
。。下面将对这一研究过程和成果进行介绍，，主要包括：确定训练目标、、、模型选择、、、、数据清洗
、、、模型训练
、
、、、模型评估、、、、模型预测等
。。

（一）训练目标

我们的目标是通过对优选的深度学习模型进行微调，，，
，让模型能根据12345信件的内容自动判断该信件由哪个部门进行处理最合适
，，并自动分派到该部门，，，，从而提高派单工作的效率。
。

（二）模型选择

BERT的全称是Bidirectional Encoder Representation from Transformers，
，即双向表征的预训练语言模型
。。。该模型由Google在2018年提出，，，获得了计算语言学协会(NAACL)北美分会2019年年度会议最佳长篇论文奖，，，
，在11个NLP任务上的表现刷新了记录，，，是目前在NLP领域最好用的模型之一。。。BERT模型能记忆海量事实并轻松完成诸如文字分类、、
、
、摘要生成、、、
、阅读理解
、、、、人机对话等任务。。。根据训练目标，，，，我们要完成文字分类任务，，，分析后采用基于BERT中文预训练模型“bert-base-chinese”的文本分类模型“Auto Model For Sequence Classification”进行信件分类训练。
。。

（三）数据清洗

本节所用主要工具
：Python3.9、
、、、Numpy1.21.5、、
、、Pandas1.4.1

1. 数据探索

我们初步探索了数据，，对部门信件总数统计如下（部分）：

...

我们发现12345信件数据有如下特点：

(1) 涉及部门极多，，，
，达到1000+个部门；

(2) 市直部门和区直部门数据共存

(3) 出现了部门改革前后新老部门名称共存的数据

(4) 出现了大量处理部门为乡镇府和镇政府的数据

(5) 出现了大量处理部门为第三方平台的数据

(6) 出现了部分处理部门为国有企业的数据

(7) 部分数据的部门名称不规范

(8) 有些处理部门的数据量极少

这些数据要能真正用于模型训练，
，
，，还需要进行清洗。。。。

2. 清洗措施

我们先对原始数据脱敏，，去除个人、、、
、法人敏感信息
，，然后根据12345业务场景对脱敏数据进行有针对性的分析，，，，采取了合并、、
、替换
、、、、部分保留、、、
、抛弃等不同的清洗处理措施，，，并根据需要进行字段抽取和数据重构
，，，
，对目标值重新编码，，，，得到了最终适合训练的数据集。。

抽取部分样例数据显示如下：

（四）模型训练

本节所用主要工具：

i7 9700 32G+NVIDIA 2080Ti 11G+CUDA11.6、
、、
、PyCharmCE 2020.1.1、、Python3.9、
、、
、Numpy1.21.5
、、Pandas1.4.1、、、、Scikit-Learn1.0.1、、、Pytorch1.9.1、、、Transformers4.18.0

我们将数据分为两份，
，，，一份作为训练集，，另一份作为验证集，，
，设置每个batch加载8个记录，
，将预训练模型加载到显卡，，，，按不同参数组配置不同的学习率
，，，
，采用AdamW优化函数及线性学习率预热进行训练：

经过2小时12分，，，，完成全部训练。。。

（五）模型评估

以下是我们从验证集中随机抽取3800条数据对已训练好的模型进行验证
，，，，其评估报告如下：

图：总体分类评估报告

图：查准率（precision）最高的前10名部门名称

图：查全率（recall）最高的前10名部门名称

图
：F1分数（f1-score）最高的前10名部门名称

我们可以看到模型在信件分类中的查准率、、、
、查全率以及F1分数上都有较好的表现，，
，特别是公积金中心、、、教育局、
、、卫健委/局、、、移动公司
、、、公交公司、、
、、公安局
、、市场监管局、、人社局、、、医保局、、交警等重要部门的信件，，，，模型的分类效果均达到或超出预期
。。

（六）模型预测

我们从某市12345平台（https://12345.longyan.gov.cn/）的公开件中随机抽取了20条信件记录，，，，用训练好的模型对其处理部门进行预测，，并对照12345平台的最终处理部门来判断模型的预测是否正确。。。。结果发现模型全部预测正确，
，取得了相当不错的效果。。。
。预测情况部分截图如下所示：

3.

结语

针对12345派单中存在的难题，，我们运用人工智能自然语言处理NLP技术，
，，
，通过对原始数据的脱敏、、清洗、
、、
、重构得到了适合BERT模型的训练数据集
，，，，在此基础上训练出了能对信件进行自动分类的智能模型。。
。经过验证，，该模型在查准率、、查全率、、F1分数综合性能的各项指标上都取得了很好的成绩，，
，，以后将在生产环境中应用起来。
。。
。