灵云智能客服通过AIIA疫情防控在线服务机器人首批测评

2020-02-20 11:18:57

 
目前,新冠肺炎疫情无疑是全社会的焦点,关于疫情的信息更是遍布网络。然而,这些信息可谓是良莠不齐,很多人无法探究消息的来源和准确性,更有人轻信谣言,产生了没有意义的恐慌。民众急需专业、负责任且高效的途径了解疫情防控最新消息,查询防控相关的知识与信息。 

在线服务机器人,可接受用户主动提问,为用户提供咨询、问诊、查询等服务,对接官方渠道,能够为用户传达专业真实的疫情动态,帮助用户轻松快速地获取想要了解的信息。 
 
为了让更多民众获得专业的咨询服务,便于相关单位根据需求选择合适的产品,中国人工智能产业发展联盟(以下简称:AIIA联盟)通过技术测试、材料审查和企业披露等方式,依托中国信息通信研究院和人工智能关键技术和应用评测工业和信息化部重点实验室,开展了面向疫情防控在线服务机器人的评估测试。
捷通华声作为AIIA联盟成员,携新冠肺炎疫情防控智能机器人系统(灵云智能客服)参与此次评选,且在各项指标上均有出色表现。


 

参评企业及产品名单
 


 


 
本轮评测系统测试了疫情防控在线服务机器人的多渠道管理、富媒体消息互动、情绪安抚等六项基础功能指标。
 

基础功能测试结果(来源:AIIA)
 

灵云智能客服对多渠道进行整合,通过构建统一知识库,集成最新权威疫情防控信息。用户通过电话、网页、微信、APP等渠道进行咨询时,智能客服均能在后台进行回复,保证用户的每一次咨询都得到最及时的反馈。

 
为了让用户获得更直观易懂的信息,灵云智能客服可以根据渠道的不同,灵活选择最优形式展现答案。比如,当用户使用移动设备咨询的时候,智能客服可以提供文字、图片、图文、视频等答案形式。当用户使用网页时,系统可提供链接,方便用户直接浏览答案。




 
本轮评测系统测试了疫情防控在线服务机器人的疫情查询、问题咨询、自诊问诊等五项业务功能指标。 
 

业务功能测试结果(来源:AIIA)

 
针对不同疫情防控场景,评测人员选取了不同的测试数据,根据产品对语料的反馈相关度设置了0-4分五级评分标准。通过测试结果得出,多数产品对咨询、问诊和防控业务场景支持能力较好,高效回复率分别达到35.6%、40.9%、45.0%,有效回复率分别达到70.6%、63.4%、60.0%。 
 
灵云智能客服搭载捷通华声自主研发的NLU技术,具备强大的自学习功能。从知识库建设初期,到上线后的知识优化,整个过程中都渗透着机器自学习。自学习能够辅助人工进行便捷快速的知识加工,减少运营人员的投入,这让灵云智能客服能够以最低的人力成本,迅速更新知识,增加新的常见问答对和扩展问。
 


 
智能疫情防控在线服务机器人的核心技术是自然语言处理和对话系统,产品能否准确识别对话中的关键词,并理解用户意图成为服务效果的关键,因此本次评测选取意图理解和关键词识别作为核心性能指标。

 

性能指标测试结果(来源:AIIA)

 
总体来看,各家参评产品在关键词识别和意图理解能力上参差不齐,准确率最高值与最低值相差都超过了50个百分点。在关键词识别能力上,有6款产品的准确率超过60%,基本可以识别出“新型冠状病毒”、“N95口罩”、“发烧干咳”、“密切接触者”等疫情强相关词汇,以进行关键词匹配和扩展,确保答复的准确性和丰富性。在意图理解能力上,有7款产品的准确率超过50%,可对用户提出的问题有针对性的进行答复、相关问题推送和情绪安抚,从而提供精确、及时、有效的服务。

 

用户进行咨询时,经常有口语化、信息零散的问法,提问方式也比较随意。为了更大限度地理解用户要询问的问题,灵云智能客服研发了逐字联想功能,即根据用户输入的每一个字推荐他可能想要询问的问题。比如,用户只需要输入“疫情”两个字,输入栏上方就会出现与“疫情“相关的完整问题,比如”当地肺炎疫情实时动态“,用户只需点击即可获取答案。
 

其次,用户提问后,灵云智能客服在给出答案后,还会为用户推荐相关问题,方便用户快速了解更多相关信息。
 

咨询时字写错了,也不用担心。智能纠错功能会直接为用户匹配正确问题的答案。如用户问“怡情防控知识”,系统会自动将问题纠正为“疫情防控知识”,并给出回答。
 

即便在用户问题模糊的情况下,灵云智能客服也能根据关键字初步判断用户意图,并引导用户明确问题,最终给出答案。




 
在本轮评测中,除上述功能和性能指标外,还统计了截至2月12日各参评产品的访问量、交互量以及用户平均在线时长情况。

 

参评产品运营情况(来源:AIIA)
 

如图所示,从访问量上看,超七成产品的总访问量达到了百万级,其中总访问量超过二百万和三百万的产品约占三成;从日均访问量上看,约70%的产品日均访问量在一万到二十万之间,仅有10%的产品突破了二十万大关;从交互量上看,约75%的产品总交互量超过了百万条,约78%的产品日均交互量超过一万条;从用户平均在线时长上来看,超五成产品达到了2分钟以上,约37%的产品用户平均在线时长不足1分钟,另外平均在线时长超过3分钟的产品数约占36%。

 
目前,捷通华声已帮助多地区上线新冠病毒肺炎疫情防控智能机器人系统,帮助各地居民了解最新权威疫情防控信息。在未来工作中,我们将继续完善富媒体交互形式,以更加清晰易懂且多样化的形式向用户宣传防疫知识。

 

关注捷通华声微信公众号,了解更多资讯