摘要:文章簡要介紹了自動術(shù)語提取任務(wù)的定義、主要方法和評價指標。針對傳統(tǒng)的自動術(shù)語提取方法，以互信息、t值、tf-idf、C/NC-value為例介紹了單元度和術(shù)語度的概念;針對自動術(shù)語標注方法，主要介紹了基于序列標注的建模思想。從提取效果來看，現(xiàn)有自動術(shù)語提取技術(shù)距離期望仍有差距，文章也嘗試給出了一些值得探索的方向。

　　關(guān)鍵詞:自動術(shù)語提取;自動術(shù)語標注;單元度;術(shù)語度;機器學(xué)習(xí)

　　引言

　　術(shù)語(term)是“各門學(xué)科的專門用語，在專業(yè)范圍內(nèi)表示單一的專門概念”[1]。術(shù)語處在專業(yè)知識體系構(gòu)建的基石位置，術(shù)語的獲取、整理和規(guī)范不僅對專業(yè)知識體系的構(gòu)建和發(fā)展有重要作用，也會對專業(yè)領(lǐng)域之外的其他許多行業(yè)產(chǎn)生影響。傳統(tǒng)上，術(shù)語的收集整理主要依靠領(lǐng)域?qū)＜疫M行，這種工作方式的優(yōu)點是高質(zhì)量，缺點也很明顯，成本高，速度慢，難以適應(yīng)當今科技高速發(fā)展中術(shù)語大量急速涌現(xiàn)的現(xiàn)狀。

　　20世紀90年代前后，伴隨著語料庫建設(shè)的進步，利用信息技術(shù)和自然語言處理技術(shù)進行術(shù)語快速獲取———自動術(shù)語提取(automatictermextraction，ATE)的想法就應(yīng)運而生并成為一個重要的研究議題[2]。術(shù)語自動提取有著不言而喻的重要意義。如 果擁有可靠的術(shù)語自動提取技術(shù)，科技術(shù)語整理、審定與專業(yè)詞典編纂的工作效率和質(zhì)量就會得到極大提高。

　　術(shù)語作為一種特殊詞匯，在語言實踐中，也常有與普通語言詞匯不同的處理策略和規(guī)律，可靠的術(shù)語自動提取技術(shù)也會對許多語言文字工作帶來積極影響，例如，在翻譯、教育等很多行業(yè)，及時、規(guī)范、全面的術(shù)語資源都是非常寶貴的資源。術(shù)語提取和識別還是專業(yè)自然語言理解的基礎(chǔ)技術(shù)，對于自然語言處理而言，術(shù)語通常都是未登錄詞(outofvocabulary，OOV)，術(shù)語自動提取技術(shù)的進步有助于改善自然語言處理系統(tǒng)未登錄詞的處理能力，有助于推動專業(yè)文本機器理解技術(shù)的發(fā)展。經(jīng)過研究人員近三十年的努力，自動術(shù)語提取技術(shù)取得了許多進展，也出現(xiàn)了一些術(shù)語提取工具。

　　例如，在許多機器輔助翻譯平臺中都有相應(yīng)的自動術(shù)語管理和提取工具，譬如在著名的機器輔助翻譯平臺SDL-Trados中就配備了術(shù)語提取組件SDLMultiTermExtract，可用于輔助翻譯工作者定位專業(yè)文檔及翻譯記憶庫中潛在的單語或者雙語術(shù)語，從而輔助翻譯工作者改進術(shù)語翻譯質(zhì)量。不過，自動術(shù)語提取也是一個有挑戰(zhàn)性的研究任務(wù)，總的看來，自動術(shù)語提取技術(shù)的性能還不能令人滿意，還需要研究人員的持續(xù)攻關(guān)和努力。

　　1自動術(shù)語提取的任務(wù)定義

　　自動術(shù)語提取研究從特定專業(yè)文本中提取術(shù)語的自動技術(shù)和方法。自動術(shù)語提取系統(tǒng)的輸入是特定領(lǐng)域的專業(yè)文本，任務(wù)是通過對這些文本的自動分析和處理，提取其中的術(shù)語條目并以列表的形式輸出。例如，從給定計算語言學(xué)文本中，提取其中的計算語言學(xué)術(shù)語。盡管自動術(shù)語提取系統(tǒng)在應(yīng)用時面向特定的目標領(lǐng)域，但現(xiàn)有自動提取技術(shù)基本上是通用的，并不因為所處理的領(lǐng)域不同采用不同的方法。為了指稱的統(tǒng)一，在本文中，我們把自動術(shù)語提取所處理的特定領(lǐng)域文本統(tǒng)稱為目標領(lǐng)域文本，即自動術(shù)語提取系統(tǒng)的輸入是目標領(lǐng)域文本，輸出是目標領(lǐng)域文本中所使用的目標領(lǐng)域術(shù)語條目。

　　文獻中，除了術(shù)語自動提取這個名稱外，還有一些其他說法也指向術(shù)語提取或相關(guān)研究，例如，自動術(shù)語識別(automatictermrecognition或automatictermidentification)、自動術(shù)語檢測(automatictermdetection)、自動術(shù)語挖掘(automatictermmining)等。許多文獻不加區(qū)別地使用這些術(shù)語，含義都是從目標領(lǐng)域文本中提取相應(yīng)的術(shù)語條目。不過，這里也想特別指出，針對目標領(lǐng)域文本中的術(shù)語，從語型(type)和語例(token)兩個處理角度，實際上可以構(gòu)思出兩種既相互聯(lián)系又相互區(qū)別的處理任務(wù)。在語型處理層面，旨在提取目標領(lǐng)域文本中的術(shù)語條目，而不關(guān)心精確標記術(shù)語條目在目標領(lǐng)域文本中的每個使用實例。

　　與之不同，我們還可以界定一種語例層面的自動術(shù)語處理任務(wù)，即在目標領(lǐng)域文本中精確標記所有的術(shù)語實例。傳統(tǒng)上所說的自動術(shù)語提取主要指語型層面的處理，我們在本文中稱之為自動術(shù)語提取。為了與之區(qū)別，在本文中，我們把上述語例層面的術(shù)語處理任務(wù)統(tǒng)一稱作自動術(shù)語標注(automatictermlabelling，ATL)任務(wù)。自動術(shù)語標注和提取可以獨立研究，但也可以結(jié)合進行。

　　事實上，可以將自動術(shù)語標注看作自動術(shù)語提取的前驅(qū)任務(wù)，如果可以成功識別并標記目標領(lǐng)域文本中的術(shù)語，那么只要將這些標記好的術(shù)語提取出來并進行去重操作就可以得到相應(yīng)的術(shù)語條目列表，從而實現(xiàn)術(shù)語提取的目的。這里之所以對自動術(shù)語提取和自動術(shù)語標注區(qū)別對待，除了自動術(shù)語標注可以作為術(shù)語提取的實現(xiàn)技術(shù)之外，更為重要的是，從專業(yè)文本機器理解這個更為一般的角度出發(fā)，自動術(shù)語標注更具基礎(chǔ)意義，在許多專業(yè)文本的機器理解任務(wù)中，更加需要語例層級的術(shù)語標注處理，因此自動術(shù)語標注技術(shù)除可以用以支持術(shù)語提取外，也是專業(yè)文本機器理解的基礎(chǔ)技術(shù)。

　　2術(shù)語的組成和統(tǒng)計特性

　　要想利用計算機自動標注或提取目標領(lǐng)域文本中的術(shù)語，就需要研究和總結(jié)術(shù)語在組成和分布方面的形式特征。作為一種特殊的語言表達，術(shù)語有著與普通詞語和短語不同的區(qū)別性特征。從術(shù)語的組成來看，術(shù)語通常由一個或多個單詞組成。

　　由一個單詞組成的術(shù)語通常稱作簡單術(shù)語(simpleterm)或單詞術(shù)語(single-wordterm)，由不止一個單詞組成的術(shù)語通常稱作復(fù)雜術(shù)語(complexterm)或多詞術(shù)語(multi-wordterm)。僅從組成單詞的數(shù)量上看，術(shù)語與普通短語并沒有區(qū)別。但術(shù)語與普通短語具有性質(zhì)上的差異，術(shù)語是指稱領(lǐng)域概念的，所指通常固定明確。即便是復(fù)雜術(shù)語，本質(zhì)上仍是詞匯層面的語言單位[3]。術(shù)語與普通短語在性質(zhì)上的不同決定了術(shù)語必然具有不同于普通短語的特殊組成模式和特殊統(tǒng)計特性。

　　(1)從語言學(xué)角度看，術(shù)語大多是名詞或者名詞短語，這是由術(shù)語是對概念的指稱這一特點決定的。例如，根據(jù)文獻[3]對四個領(lǐng)域術(shù)語的抽樣調(diào)查，名詞短語在英語術(shù)語中所占比例很高，在所調(diào)查的四個領(lǐng)域中比例介于92.5%和99.0%之間。

　　(2)術(shù)語意義一般不是其組成單詞意義的簡單疊加，在使用中，變化有限。不具有一般短語所具有的(修飾詞)省略、變化、替換甚至增添等靈活變化現(xiàn)象[3]。術(shù)語形式變化，通常會導(dǎo)致所指的變化，也會造成歧義，所以同一術(shù)語在使用中形式基本不發(fā)生變化。(3)術(shù)語組成模式相對有限。例如，根據(jù)文獻[3]對四個領(lǐng)域中多詞術(shù)語的調(diào)查，僅由名詞、形容詞和介詞組成的名詞短語型術(shù)語占比在99%以上，僅由名詞和形容詞組成的名詞短語型術(shù)語占比可達97%。

　　(4)在目標領(lǐng)域文本中，術(shù)語通常具有較高的出現(xiàn)頻率。而且與普通短語不同，術(shù)語在領(lǐng)域文本和一般文本中有較大的分布差異，集中出現(xiàn)在所屬領(lǐng)域的文本中，而在其他領(lǐng)域文本中則較少出現(xiàn)。

　　(5)復(fù)雜術(shù)語的組成單詞之間結(jié)合緊密穩(wěn)定，形成領(lǐng)域文本中的特有固定搭配。從統(tǒng)計學(xué)的角度看，復(fù)雜術(shù)語各組件的共現(xiàn)頻度通常會顯著超過一般預(yù)期。

　　(6)在專業(yè)文本中，術(shù)語的上下文語境也有一定封閉性，尤其是與術(shù)語共現(xiàn)的實詞往往因領(lǐng)域不同而不同。術(shù)語的組成和統(tǒng)計特性是利用計算機識別和提取術(shù)語的主要依據(jù)，大多數(shù)術(shù)語自動提取方法是根據(jù)和利用上述術(shù)語特點而設(shè)計的。例如，利用術(shù)語的語言學(xué)特點，將目標領(lǐng)域文本中符合特定模式的名詞短語視作潛在的術(shù)語候選，或者利用術(shù)語的統(tǒng)計特性設(shè)計不同的度量指標衡量單詞和多詞組合作為術(shù)語的可能性。

　　3單元度和術(shù)語度

　　從計算機的角度出發(fā)，目標領(lǐng)域文本中任何一個單詞或者連續(xù)幾個單詞的組合都有成為術(shù)語的可能。在本文中，我們把目標領(lǐng)域文本中任意一個由n個單詞組成的連續(xù)片段稱作n元組(n≥1)。

　　理論上，任何一個長度小于術(shù)語最大長度的n元組都有成為術(shù)語的可能，我們把這些n元組稱作術(shù)語候選(termcandidate)，計算機需要逐一評價這些術(shù)語候選，計算它們作為術(shù)語的可能性。衡量一個n元組是否構(gòu)成術(shù)語通常被歸結(jié)為計算兩個指標的問題，即計算單元度和術(shù)語度[4]的問題。單元度(unithood)是針對復(fù)雜術(shù)語而言的，一個包含多個單詞的n元組要成為一個術(shù)語，前提是它們需要構(gòu)成一個固定搭配，組成單詞間需要結(jié)合緊密并整體構(gòu)成一個語言單位。

　　單元度就是衡量一個多詞n元組中詞與詞之間關(guān)聯(lián)強度的指標。但組合緊密穩(wěn)定的多詞組合未必就是術(shù)語，術(shù)語需要具有領(lǐng)域性，術(shù)語度(termhood)就是用來衡量一個n元組與特定領(lǐng)域關(guān)聯(lián)程度的度量指標。因此，對于目標領(lǐng)域文本中的某個n元組是否構(gòu)成術(shù)語，可以分別計算該n元組的單元度和術(shù)語度分值，如果單元度和術(shù)語度得分都高的話，那么這個n元組很可能是一個術(shù)語。多年來，研究人員先后設(shè)計和使用了很多計算單元度和術(shù)語度的具體方法，這些方法形式各不相同，但原理上都是利用術(shù)語的形式和分布特點。

　　3.1單元度計算

　　常見的單元度計算方法包括t值、χ2值、對數(shù)似然比、點式互信息、Dice系數(shù)等多種方法。一一羅列和介紹這些方法并無必要，我們這里只介紹其中兩個計算指標，分別是點式互信息和t值。選擇這兩個指標，主要是因為點式互信息比較常見，而t值可以作為一類方法的代表。假設(shè)-檢驗法采用一種類似反證法的邏輯來論證n元組組成單詞之間結(jié)合是否緊密。

　　首先假定原假設(shè)成立，那么基于原假設(shè)，可根據(jù)統(tǒng)計學(xué)知識推斷該n元組在目標領(lǐng)域文本中應(yīng)該具有的統(tǒng)計特性，然后與目標領(lǐng)域文本中觀察到的真實統(tǒng)計特性做比對，如果推斷得到的統(tǒng)計特性和真實統(tǒng)計特性有較大差異，以至于大到在假定原假設(shè)成立的前提下不大可能發(fā)生的程度，那么我們就可以有較大的信心確定作為推斷基礎(chǔ)的原假設(shè)不成立，而轉(zhuǎn)向承認認為單詞間結(jié)合穩(wěn)定緊密的備擇假設(shè)成立;反過來，如果根據(jù)原假設(shè)推斷得到的統(tǒng)計特性和真實統(tǒng)計特性差異較小，在原假設(shè)成立的前提下發(fā)生的概率很大，那此時就需要承認認為單詞之間結(jié)合不緊密的原假設(shè)。

　　不同的假設(shè)-檢驗方法對數(shù)據(jù)分布和差異度量有不同的規(guī)定，但道理基本一樣。在利用假設(shè)-檢驗方法計算單元度時，通常并不完整使用假設(shè)-檢驗的完整流程，而只關(guān)心統(tǒng)計特性的差異值，差異值越大，則認為單詞間結(jié)合越緊密，t值就是一種這樣的差異值。

　　3.2術(shù)語度計算

　　術(shù)語度計算術(shù)語候選和領(lǐng)域的關(guān)聯(lián)程度。術(shù)語度計算的出發(fā)點依然是充分利用術(shù)語的統(tǒng)計特性。術(shù)語具有領(lǐng)域分布不平衡的特點，在計算術(shù)語度時要利用這一特點，單純使用目標領(lǐng)域文本是不夠的，需要引入目標領(lǐng)域文本之外的其他領(lǐng)域文本或不具備領(lǐng)域色彩的普通文本作為比對參照，這樣的文本稱作參照文本(referencetext)。

　　4術(shù)語提取的一般流程

　　提取術(shù)語候選的目的是從目標領(lǐng)域文本中選擇可能是術(shù)語的單詞或者多詞組合，這些選擇出的單詞或者多詞組合未必是術(shù)語，它們是否為術(shù)語需要交給后續(xù)階段進一步評估。從這一階段的目的和在整個提取流程中的作用來看，理想的結(jié)果應(yīng)該是既不漏掉真正的術(shù)語也不應(yīng)該生成太多的術(shù)語候選。生成太多的術(shù)語候選會增加第二階段的工作負擔，降低效率，但漏掉真正術(shù)語會影響術(shù)語提取任務(wù)的準確率，造成提取質(zhì)量下降。

　　引入語言學(xué)知識，如前文所述，多詞術(shù)語絕大多數(shù)由名詞、形容詞按照一定的模式構(gòu)成，可以利用預(yù)定義的詞類模式對術(shù)語候選進行過濾篩選，如可把能與第2節(jié)中正則表達式成功匹配的n元組作為術(shù)語候選。這種策略是一種常見的將語言學(xué)知識引入術(shù)語提取過程中的做法。不過，由于模式匹配建立在詞類模式的基礎(chǔ)上，需要事先對目標領(lǐng)域文本進行詞類標注處理，由于現(xiàn)有詞類標注程序并不完美，存在錯誤標注的情況，也會對術(shù)語候選生成產(chǎn)生一定的影響。

　　鑒于術(shù)語多為名詞短語，也有研究限定只處理名詞短語，規(guī)定術(shù)語候選需要是名詞短語。這會對目標領(lǐng)域文本處理提出更高的要求，需要對目標領(lǐng)域文本進行句法或者名詞組塊分析處理。同樣自動句法或組塊分析的效果也會對術(shù)語候選質(zhì)量產(chǎn)生影響。

　　5自動術(shù)語標注和機器學(xué)習(xí)

　　在本文第1節(jié)，我們對自動術(shù)語提取和自動術(shù)語標注兩個任務(wù)進行了區(qū)分，也指出自動術(shù)語標注可作為自動術(shù)語提取的實現(xiàn)技術(shù)。例如，對于下面的文本片段:進行詞法分析的程序或者函數(shù)叫作詞法分析器自動術(shù)語標注的結(jié)果是:進行[詞法分析]的[程序]或者[函數(shù)]叫作[詞法分析器]自動術(shù)語標注程序需要把文本中的術(shù)語實例標記出來(方括號括起來的部分)。經(jīng)過自動術(shù)語標注處理目標領(lǐng)域文本，其中出現(xiàn)的術(shù)語實例均已明確標記，提取匯集這些術(shù)語即可實現(xiàn)術(shù)語提取的目的。例如，根據(jù)標注結(jié)果，從上面的例子中，可以提取得到“程序”“詞法分析”“詞法分析器”和“函數(shù)”四個術(shù)語條目。

　　6自動術(shù)語提取與標注的評價

　　與其他很多研究一樣，方法的好和壞、改進方向、應(yīng)用意義都需要通過評價來體現(xiàn)和基于評價來做出判斷，自動術(shù)語提取研究也不例外。與很多自然語言處理任務(wù)評價類似，在自動術(shù)語標注和提取任務(wù)中，最常用的評價指標是F值。測試術(shù)語提取系統(tǒng)的性能，需要引入目標領(lǐng)域的測試文本。對于給定目標語料測試文本，其中包含的術(shù)語條目理論上是確定的，如果由領(lǐng)域?qū)＜野堰@些術(shù)語條目提取出來，就可以作為自動方法評判的標準答案。通過比對術(shù)語提取系統(tǒng)返回的術(shù)語條目和標準答案，會有三種情況出現(xiàn)：

　　(1)正確提取，也就是在標準答案中的術(shù)語被術(shù)語提取系統(tǒng)正確提取的情況。這里用nA代表術(shù)語自動提取系統(tǒng)正確提取的術(shù)語的數(shù)量。(2)漏提，也就是正確答案中有但未能被術(shù)語提取系統(tǒng)提取的情況。這里用nB代表被術(shù)語自動提取系統(tǒng)漏提的術(shù)語的數(shù)量。(3)錯提，也就是不是術(shù)語但被自動術(shù)語提取系統(tǒng)誤認作術(shù)語的情況。這里用nC代表自動提取結(jié)果中這種被錯認的術(shù)語數(shù)量。

　　基于上述三種不同情況和對應(yīng)的統(tǒng)計數(shù)據(jù)，可以分別定義精確率(precision)和召回率(recall)兩個評價指標。其中精確率用來評判自動提取系統(tǒng)提取結(jié)果的準確程度。

　　7結(jié)語

　　自動術(shù)語提取研究取得了不少進展，但距離人們的期望還有不小的差距。這表現(xiàn)在，現(xiàn)有術(shù)語提取結(jié)果中存在大量的噪聲，人工核校剔除需要花費大量成本;術(shù)語漏提現(xiàn)象也普遍存在，尤其是現(xiàn)有術(shù)語提取技術(shù)大多基于統(tǒng)計技術(shù)，限于長尾效應(yīng)，一些低頻術(shù)語很難被識別和提取。

　　如何減少噪聲和漏提現(xiàn)象仍是術(shù)語提取研究要解決的核心問題。從方法層面而言，形成了基于術(shù)語評分統(tǒng)計量的提取策略和基于機器學(xué)習(xí)的術(shù)語標注策略兩大類方法。基于術(shù)語評分統(tǒng)計量的辦法無需大規(guī)模術(shù)語標注語料庫，因而得到了較多的關(guān)注和研究。基于機器學(xué)習(xí)的術(shù)語標注技術(shù)由于需要大規(guī)模術(shù)語標注語料庫，限于缺乏這樣的標注數(shù)據(jù)，效果和潛力仍未充分體現(xiàn)。

　　尤其值得指出的是，近年來深度學(xué)習(xí)技術(shù)在自然語言處理的許多任務(wù)中有突出表現(xiàn)，但在自動術(shù)語提取和標注任務(wù)上的深入探索仍不多見。在基于深度學(xué)習(xí)技術(shù)的自動術(shù)語提取和標注研究中，至少有兩個方面值得進一步關(guān)注:一是許多神經(jīng)網(wǎng)絡(luò)架構(gòu)已被證實在自然語言處理的許多任務(wù)中可以帶來效果提升，諸如CNN、LSTM、Transformer等，這些模型可為術(shù)語提取技術(shù)帶來何種影響需要實踐驗證，研究人員也需要在此基礎(chǔ)上探索并提出適于自動術(shù)語提取問題的新型模型架構(gòu);二是大規(guī)模預(yù)訓(xùn)練語言模型發(fā)展如火如荼，BERT、GPT、XLNet、T5等眾多大規(guī)模預(yù)訓(xùn)練語言模型在許多自然語言處理任務(wù)中的價值已得到證實，但在自動術(shù)語提取方面的價值仍有待探索和關(guān)注。

　　術(shù)語提取和標注主流技術(shù)仍是數(shù)據(jù)驅(qū)動的技術(shù)，術(shù)語標注資源的建設(shè)至關(guān)重要。但術(shù)語標注語料構(gòu)建耗時費力，在這種情況下，有效利用遠程指導(dǎo)等弱指導(dǎo)技術(shù)和有效應(yīng)對遠程指導(dǎo)技術(shù)的噪聲問題值得研究和探索。術(shù)語標注資源的建設(shè)還有利于形成統(tǒng)一基準評測語料，為準確有效評價不同術(shù)語提取或標注方法提供基礎(chǔ)資源，有利于術(shù)語提取和標注技術(shù)的持續(xù)發(fā)展。隨著科學(xué)技術(shù)的進步，新術(shù)語層出不窮，從術(shù)語整理和審定的角度看，新術(shù)語提取效果更具應(yīng)用價值，如何在方法、評價層面考慮新術(shù)語提取能力也是有待關(guān)注的問題。

　　參考文獻：

　　[1]語言學(xué)名詞審定委員會.語言學(xué)名詞[M].北京:商務(wù)印書館，2011.

　　[2]CABR�ICASTELLV�PMT，BAGOTRE，PALATRESIJV.Automatictermdetection:areviewofcurrentsystems[M]//BOURIGAULTD，JACQUEMINC，L’HOMMEM-C.RecentAdvancesinComputationalTerminology.Amsterdam:JohnBenjaminsPublishingCompany，2001:53-88.

　　[3]JUSTESONJ，KATZS.TechnicalTerminology:SomeLinguisticPropertiesandanAlgorithmforIdentificationinText[J].NaturalLanguageEngineering，1995，1(1):9-27.

　　[4]KYOK，BINU.Methodsofautomatictermrecognition:areview[J].Terminology，1996，3(2):1-23.

　　作者：常寶寶