目前自然语言处理(Natural Language
Processing,NLP)已成为机器学习的研究热点之一,本文将介绍自然语言处理的概念、工作原理及发展历程,助您初步了解自然语言处理技术。
![自然语言处理 自然语言处理](//ziboxinyan.com/FileUpload/ueditor_s/upload/2022-7/7/63792831555114.jpg)
1.自然语言处理
自然语言处理技术是指将人与人之间的交流,人与计算机之间的交流抽象成数学语言模型,通过计算机方法处理这些被抽象化定义的问题。用一句话概括,就是通过自然语言处理,能够让计算机像人一样理解人类世界中的自然语言。
2.自然语言处理技术工作原理
自然语言处理通过机器学习(ML)进行。机器学习系统像其他任何形式的数据一样存储单词及其组合方式。将短语、句子,有时甚至整本书的内容都输入机器学习引擎,并根据语法规则和人们的现实语言习惯(或两者兼而有之)进行处理。然后,计算机使用这些数据来查找模式并推断出下一步的工作。以翻译软件为例:在法语中,“我要去公园”是“Jevaisauparc”,因此机器学习预测“我要去商店”也将以“Jevaisau”开头。
3.自然语言处理技术发展历程
(1)萌芽期
20世纪40年代到20世纪50年代是自然语言处理的萌芽期,在这个时期的三项研究:图灵算法计算模型,乔姆斯基关于形式语言的研究,香农的信息论与编码,为自然语言处理打下了坚实的基础。此后机器翻译在各个国家流行起来,机器翻译中用到的一些技术反过来也促进了自然语言处理的发展。
(2)发展期
20世纪60年代到20世纪80年代是自然语言处理的发展期。
这一时期的主要特点是各个科学领域之间广泛合作,在自然语言处理领域取得令人振奋的成绩。
这一时期的另一个突破进展是 Hidden Markov Model 和 Noisy channel model and decoding model
这些统计学方法在自然语言处理中的应用。自然语言处理方法不再单纯基于语法规则、句子间关系分析以及逻辑分析。
这一时期主流研究倾向于重新评价之前被否定的有限状态模型,这种模型重新被主流学者所重视。此外相关概率模型还被应用于词性标注,句法剖析,语音识别,关联分析。
(3)繁荣期
20世纪90年代初期,NLP领域研究进入了繁荣期。进入这一时期的里程碑是在基于规则的技术中引入语料库方法,通过将语料预处理,变成结构化数据,将其转化为语料知识库,将语料之间的关系转化为知识图谱。这种方法极大地提高机器翻译的准确率。
以上梳理了自然语言处理技术的定义、原理及发展历程,希望对你有所帮助,如果你想了解更多相关内容,敬请关注三个皮匠报告的行业知识栏目。
本文由@2200 发布于三个皮匠报告网站,未经授权禁止转载。
推荐阅读:
9-4NLP技术在短视频场景中的应用实践.pdf
字母点评:2021年中国人工智能产品采购指南:机器学习平台(21页).pdf
机器学习是指什么?分类有哪些?应用场景一览
什么是深度学习?与机器学习是何关系?常用的技术有哪些?