0833-2303365
當(dāng)前位置：
· 自然語言處理
來源:
|
作者:tpl-c50633d
|
發(fā)布時(shí)間: 2020-10-23
|
317 次瀏覽
|
?? 點(diǎn)擊朗讀正文
??
?
|
分享到:
（以下為臨時(shí)文案，您可自由進(jìn)行更換）自然語言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法。自然語言處理是一門融語言學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)于一體的科學(xué)。因此，這一領(lǐng)域的研究將涉及自然語言，即人們?nèi)粘Ｊ褂玫恼Z言，所以它與語言學(xué)的研究有著密切的聯(lián)系，但又有重要的區(qū)別。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實(shí)現(xiàn)自然語言通信的計(jì)算機(jī)系統(tǒng)，特別是其中的軟件系統(tǒng)。因而它是計(jì)算機(jī)科學(xué)的一部分。
自然語言處理（NLP）是計(jì)算機(jī)科學(xué)，人工智能，語言學(xué)關(guān)注計(jì)算機(jī)和人類（自然）語言之間的相互作用的領(lǐng)域。
語言是人類區(qū)別其他動(dòng)物的本質(zhì)特性。在所有生物中，只有人類才具有語言能力。人類的多種智能都與語言有著密切的關(guān)系。人類的邏輯思維以語言為形式，人類的絕大部分知識也是以語言文字的形式記載和流傳下來的。因而，它也是人工智能的一個(gè)重要，甚至核心部分。
用自然語言與計(jì)算機(jī)進(jìn)行通信，這是人們長期以來所追求的。因?yàn)樗扔忻黠@的實(shí)際意義，同時(shí)也有重要的理論意義：人們可以用自己較習(xí)慣的語言來使用計(jì)算機(jī)，而無需再花大量的時(shí)間和精力去學(xué)習(xí)不很自然和習(xí)慣的各種計(jì)算機(jī)語言；人們也可通過它進(jìn)一步了解人類的語言能力和智能的機(jī)制。
實(shí)現(xiàn)人機(jī)間自然語言通信意味著要使計(jì)算機(jī)既能理解自然語言文本的意義，也能以自然語言文本來表達(dá)給定的意圖、思想等。前者稱為自然語言理解，后者稱為自然語言生成。因此，自然語言處理大體包括了自然語言理解和自然語言生成兩個(gè)部分。歷史上對自然語言理解研究得較多，而對自然語言生成研究得較少。但這種狀況已有所改變。
無論實(shí)現(xiàn)自然語言理解，還是自然語言生成，都遠(yuǎn)不如人們原來想象的那么簡單，而是**困難的。從現(xiàn)有的理論和技術(shù)現(xiàn)狀看，通用的、高質(zhì)量的自然語言處理系統(tǒng)，仍然是較長期的努力目標(biāo)，但是針對一定應(yīng)用，具有相當(dāng)自然語言處理能力的實(shí)用系統(tǒng)已經(jīng)出現(xiàn)，有些已商品化，甚至開始產(chǎn)業(yè)化。典型的例子有：多語種數(shù)據(jù)庫和專家系統(tǒng)的自然語言接口、各種機(jī)器翻譯系統(tǒng)、全文信息檢索系統(tǒng)、自動(dòng)文摘系統(tǒng)等。
自然語言處理，即實(shí)現(xiàn)人機(jī)間自然語言通信，或?qū)崿F(xiàn)自然語言理解和自然語言生成是**困難的。造成困難的根本原因是自然語言文本和對話的各個(gè)層次上廣泛存在的各種各樣的歧義性或多義性（ambiguity）。
一個(gè)中文文本從形式上看是由漢字（包括標(biāo)點(diǎn)符號等）組成的一個(gè)字符串。由字可組成詞，由詞可組成詞組，由詞組可組成句子，進(jìn)而由一些句子組成段、節(jié)、章、篇。無論在上述的各種層次：字（符）、詞、詞組、句子、段，……還是在下一層次向上一層次轉(zhuǎn)變中都存在著歧義和多義現(xiàn)象，即形式上一樣的一段字符串，在不同的場景或不同的語境下，可以理解成不同的詞串、詞組串等，并有不同的意義。一般情況下，它們中的大多數(shù)都是可以根據(jù)相應(yīng)的語境和場景的規(guī)定而得到解決的。也就是說，從總體上說，并不存在歧義。這也就是我們平時(shí)并不感到自然語言歧義，和能用自然語言進(jìn)行正確交流的原因。但是一方面，我們也看到，為了消解歧義，是需要極其大量的知識和進(jìn)行推理的。如何將這些知識較完整地加以收集和整理出來；又如何找到合適的形式，將它們存入計(jì)算機(jī)系統(tǒng)中去；以及如何有效地利用它們來消除歧義，都是工作量極大且**困難的工作。這不是少數(shù)人短時(shí)期內(nèi)可以完成的，還有待長期的、系統(tǒng)的工作。
以上說的是，一個(gè)中文文本或一個(gè)漢字（含標(biāo)點(diǎn)符號等）串可能有多個(gè)含義。它是自然語言理解中的主要困難和障礙。反過來，一個(gè)相同或相近的意義同樣可以用多個(gè)中文文本或多個(gè)漢字串來表示。
因此，自然語言的形式（字符串）與其意義之間是一種多對多的關(guān)系。其實(shí)這也正是自然語言的魅力所在。但從計(jì)算機(jī)處理的角度看，我們必須消除歧義，而且有人認(rèn)為它正是自然語言理解中的中心問題，即要把帶有潛在歧義的自然語言輸入轉(zhuǎn)換成某種無歧義的計(jì)算機(jī)內(nèi)部表示。
歧義現(xiàn)象的廣泛存在使得消除它們需要大量的知識和推理，這就給基于語言學(xué)的方法、基于知識的方法帶來了巨大的困難，因而以這些方法為主流的自然語言處理研究幾十年來一方面在理論和方法方面取得了很多成就，但在能處理大規(guī)模真實(shí)文本的系統(tǒng)研制方面，成績并不顯著。研制的一些系統(tǒng)大多數(shù)是小規(guī)模的、研究性的演示系統(tǒng)。
目前存在的問題有兩個(gè)方面：一方面，迄今為止的語法都限于分析一個(gè)孤立的句子，上下文關(guān)系和談話環(huán)境對本句的約束和影響還缺乏系統(tǒng)的研究，因此分析歧義、詞語省略、代詞所指、同一句話在不同場合或由不同的人說出來所具有的不同含義等問題，尚無明確規(guī)律可循，需要加強(qiáng)語用學(xué)的研究才能逐步解決。另一方面，人理解一個(gè)句子不是單憑語法，還運(yùn)用了大量的有關(guān)知識，包括生活知識和專門知識，這些知識無法全部貯存在計(jì)算機(jī)里。因此一個(gè)書面理解系統(tǒng)只能建立在有限的詞匯、句型和特定的主題范圍內(nèi)；計(jì)算機(jī)的貯存量和運(yùn)轉(zhuǎn)速度大大提高之后，才有可能適當(dāng)擴(kuò)大范圍.
以上存在的問題成為自然語言理解在機(jī)器翻譯應(yīng)用中的主要難題，這也就是當(dāng)今機(jī)器翻譯系統(tǒng)的譯文質(zhì)量離理想目標(biāo)仍相差甚遠(yuǎn)的原因之一；而譯文質(zhì)量是機(jī)譯系統(tǒng)成敗的關(guān)鍵。中國數(shù)學(xué)家、語言學(xué)家周海中教授曾在**論文《機(jī)器翻譯五十年》中指出：要提高機(jī)譯的質(zhì)量，首先要解決的是語言本身問題而不是程序設(shè)計(jì)問題；單靠若干程序來做機(jī)譯系統(tǒng)，肯定是無法提高機(jī)譯質(zhì)量的；另外在人類尚未明了大腦是如何進(jìn)行語言的模糊識別和邏輯判斷的情況下，機(jī)譯要想達(dá)到“信、達(dá)、雅”的程度是不可能的。
自然語言處理（NLP）是計(jì)算機(jī)科學(xué)，人工智能，語言學(xué)關(guān)注計(jì)算機(jī)和人類（自然）語言之間的相互作用的領(lǐng)域。
語言是人類區(qū)別其他動(dòng)物的本質(zhì)特性。在所有生物中，只有人類才具有語言能力。人類的多種智能都與語言有著密切的關(guān)系。人類的邏輯思維以語言為形式，人類的絕大部分知識也是以語言文字的形式記載和流傳下來的。因而，它也是人工智能的一個(gè)重要，甚至核心部分。
用自然語言與計(jì)算機(jī)進(jìn)行通信，這是人們長期以來所追求的。因?yàn)樗扔忻黠@的實(shí)際意義，同時(shí)也有重要的理論意義：人們可以用自己較習(xí)慣的語言來使用計(jì)算機(jī)，而無需再花大量的時(shí)間和精力去學(xué)習(xí)不很自然和習(xí)慣的各種計(jì)算機(jī)語言；人們也可通過它進(jìn)一步了解人類的語言能力和智能的機(jī)制。
實(shí)現(xiàn)人機(jī)間自然語言通信意味著要使計(jì)算機(jī)既能理解自然語言文本的意義，也能以自然語言文本來表達(dá)給定的意圖、思想等。前者稱為自然語言理解，后者稱為自然語言生成。因此，自然語言處理大體包括了自然語言理解和自然語言生成兩個(gè)部分。歷史上對自然語言理解研究得較多，而對自然語言生成研究得較少。但這種狀況已有所改變。
無論實(shí)現(xiàn)自然語言理解，還是自然語言生成，都遠(yuǎn)不如人們原來想象的那么簡單，而是**困難的。從現(xiàn)有的理論和技術(shù)現(xiàn)狀看，通用的、高質(zhì)量的自然語言處理系統(tǒng)，仍然是較長期的努力目標(biāo)，但是針對一定應(yīng)用，具有相當(dāng)自然語言處理能力的實(shí)用系統(tǒng)已經(jīng)出現(xiàn)，有些已商品化，甚至開始產(chǎn)業(yè)化。典型的例子有：多語種數(shù)據(jù)庫和專家系統(tǒng)的自然語言接口、各種機(jī)器翻譯系統(tǒng)、全文信息檢索系統(tǒng)、自動(dòng)文摘系統(tǒng)等。
自然語言處理，即實(shí)現(xiàn)人機(jī)間自然語言通信，或?qū)崿F(xiàn)自然語言理解和自然語言生成是**困難的。造成困難的根本原因是自然語言文本和對話的各個(gè)層次上廣泛存在的各種各樣的歧義性或多義性（ambiguity）。
一個(gè)中文文本從形式上看是由漢字（包括標(biāo)點(diǎn)符號等）組成的一個(gè)字符串。由字可組成詞，由詞可組成詞組，由詞組可組成句子，進(jìn)而由一些句子組成段、節(jié)、章、篇。無論在上述的各種層次：字（符）、詞、詞組、句子、段，……還是在下一層次向上一層次轉(zhuǎn)變中都存在著歧義和多義現(xiàn)象，即形式上一樣的一段字符串，在不同的場景或不同的語境下，可以理解成不同的詞串、詞組串等，并有不同的意義。一般情況下，它們中的大多數(shù)都是可以根據(jù)相應(yīng)的語境和場景的規(guī)定而得到解決的。也就是說，從總體上說，并不存在歧義。這也就是我們平時(shí)并不感到自然語言歧義，和能用自然語言進(jìn)行正確交流的原因。但是一方面，我們也看到，為了消解歧義，是需要極其大量的知識和進(jìn)行推理的。如何將這些知識較完整地加以收集和整理出來；又如何找到合適的形式，將它們存入計(jì)算機(jī)系統(tǒng)中去；以及如何有效地利用它們來消除歧義，都是工作量極大且**困難的工作。這不是少數(shù)人短時(shí)期內(nèi)可以完成的，還有待長期的、系統(tǒng)的工作。
以上說的是，一個(gè)中文文本或一個(gè)漢字（含標(biāo)點(diǎn)符號等）串可能有多個(gè)含義。它是自然語言理解中的主要困難和障礙。反過來，一個(gè)相同或相近的意義同樣可以用多個(gè)中文文本或多個(gè)漢字串來表示。
因此，自然語言的形式（字符串）與其意義之間是一種多對多的關(guān)系。其實(shí)這也正是自然語言的魅力所在。但從計(jì)算機(jī)處理的角度看，我們必須消除歧義，而且有人認(rèn)為它正是自然語言理解中的中心問題，即要把帶有潛在歧義的自然語言輸入轉(zhuǎn)換成某種無歧義的計(jì)算機(jī)內(nèi)部表示。
歧義現(xiàn)象的廣泛存在使得消除它們需要大量的知識和推理，這就給基于語言學(xué)的方法、基于知識的方法帶來了巨大的困難，因而以這些方法為主流的自然語言處理研究幾十年來一方面在理論和方法方面取得了很多成就，但在能處理大規(guī)模真實(shí)文本的系統(tǒng)研制方面，成績并不顯著。研制的一些系統(tǒng)大多數(shù)是小規(guī)模的、研究性的演示系統(tǒng)。
目前存在的問題有兩個(gè)方面：一方面，迄今為止的語法都限于分析一個(gè)孤立的句子，上下文關(guān)系和談話環(huán)境對本句的約束和影響還缺乏系統(tǒng)的研究，因此分析歧義、詞語省略、代詞所指、同一句話在不同場合或由不同的人說出來所具有的不同含義等問題，尚無明確規(guī)律可循，需要加強(qiáng)語用學(xué)的研究才能逐步解決。另一方面，人理解一個(gè)句子不是單憑語法，還運(yùn)用了大量的有關(guān)知識，包括生活知識和專門知識，這些知識無法全部貯存在計(jì)算機(jī)里。因此一個(gè)書面理解系統(tǒng)只能建立在有限的詞匯、句型和特定的主題范圍內(nèi)；計(jì)算機(jī)的貯存量和運(yùn)轉(zhuǎn)速度大大提高之后，才有可能適當(dāng)擴(kuò)大范圍.
以上存在的問題成為自然語言理解在機(jī)器翻譯應(yīng)用中的主要難題，這也就是當(dāng)今機(jī)器翻譯系統(tǒng)的譯文質(zhì)量離理想目標(biāo)仍相差甚遠(yuǎn)的原因之一；而譯文質(zhì)量是機(jī)譯系統(tǒng)成敗的關(guān)鍵。中國數(shù)學(xué)家、語言學(xué)家周海中教授曾在**論文《機(jī)器翻譯五十年》中指出：要提高機(jī)譯的質(zhì)量，首先要解決的是語言本身問題而不是程序設(shè)計(jì)問題；單靠若干程序來做機(jī)譯系統(tǒng)，肯定是無法提高機(jī)譯質(zhì)量的；另外在人類尚未明了大腦是如何進(jìn)行語言的模糊識別和邏輯判斷的情況下，機(jī)譯要想達(dá)到“信、達(dá)、雅”的程度是不可能的。