知言科技AI团队更新了CommSenseQA排行榜
浏览:125 时间:2023-12-9

近日,智言科技的AI团队刷新了CommonsenseQA数据集的世界排名,排名榜单第一,比第二名高出3个百分点。参与该榜单的团队包括微软亚洲研究院、阿里达摩院, FacebookAI、CMU等。应用常识问答是NLp最重要的方向之一。其目的是帮助计算机通过已有的知识对未知的输入信息进行推理和判断,使计算机更好地理解人的意思。

以色列, 特拉维夫大学建立的CommonsenseQA任务是一个新的多项选择题答案数据集。预测正确答案需要不同类型的常识,是一个非常具有挑战性的数据集。数据集中有12102道题,包括1道正确答案和4道干扰因子答案,测试结果每两周评估一次。目前排名第一的智言科技团队已经取得了76.5%的准确率,在排名上超越了第二名3个百分点,在NLp领域取得了长足的进步和超越,但仍然低于人类88.9%的水平,这说明NLp在常识推理方向上还有很大的挑战和提升空间。

常识排行榜,智言科技目前排名第一

当人类回答问题时,他们会根据常识、背景知识、空间关系、原因、结果、科学事实和社会实践来判断答案。例如,有人问:“当李蒙听到割草机的声音时,他在哪里?”可以推断,当割草机靠近李蒙,时,它可能在室外,并且位于街道上。这些知识对人类来说似乎微不足道,但仍然超过了目前的NLU体系。

目前,阅读理解模式主要关注的是事实问题,这些问题的答案往往可以直接在原文中找到。然而,基于常识和背景知识进行推理以获得答案仍然是一个巨大的挑战。CommonsenseQA、CosmosQA等。为了促进这个方向的发展,人们纷纷提出。在这些数据集中,机器需要结合常识知识来回答诸如“我站在河面上看水流,哪里能不把自己弄湿?”因此,此类问题更具挑战性。

如果人工智能是为了更好地服务人类,参与人类的日常生活,那么人工智能机器人就需要理解人类自然语言的含义,提前学习,相应地掌握常识和道理。大家已经充分认识到,在人工智能的下一步发展和实际应用中,必须突破语义理解和常识推理的瓶颈。我们认为语义理解和常识推理的发展依赖于全新的自然语言处理技术和概念。

在商业应用中,人工智能首先要带来商业模式的转变,其次才是应用效率的转变。智言科技的AI团队一直专注于自然语言处理领域的技术突破,同时将知识图谱融入其中,帮助传统企业进行数字化转型。基于多个垂直行业的大量对话应用场景,智言科技在自然语言理解、意图识别和逻辑推理方面取得了良好的效果。

对于企业员工来说,客户提出的问题相似度很高,使得工作重复、繁琐。这部分工作实现了人工智能技术的部分替代,有效提高了工作效率,降低了企业运营成本。此外,在常规问答中,为了提高机器人的问答能力边界,以知识图谱形式应用的非结构化数据和会话数据不断积累,从而优化语料库,提高准确率。这些数据也是企业未来数字化转型的新燃料。

目前市场上大多数商业项目主要采用深度学习技术来提高模型的识别率和对话准确率,这需要大量的数据。到了一定阶段后,即使增加数据量,模型的精度也无法提高,过程也无法解释。开放领域的多轮对话还处于人工智能薄弱阶段。智言科技知识图谱深度学习的优势在于数据量小、过程可解释性强、准确率高,两者结合为强大的人工智能奠定基础。比如在金融领域,智言科技构建了数十万条非结构化文档的知识图谱,成为落地应用中支撑数据源的驱动力。同时,为了更好地完成企业智能应用的闭环,智言科技AI团队正在图像识别、语音识别、语音合成等领域不断探索,从而为用户带来更好的智能体验。

智言科技构建的非结构化文档被形成知识地图

人工智能必将对人们的工作产生深远的影响,因此建立新的内部商业模式比以往任何时候都更加迫切。一些龙头企业意识到,人工智能将对商业模式、员工结果以及客户和员工期望的体验产生巨大影响。智言科技的AI团队正在不断探索和发展自然语言处理技术和知识图谱技术。智言科技也希望通过搜索、推荐、语音、语义识别等人工智能算法,满足业务量快速增长的目标,帮助企业完成新业务模式与传统系统的平稳过渡。