自然語言處理技術是所有與自然語言的計算機處理有關的技術的統稱,其目的是使計算機理解和接受人類用自然語言輸入的指令,完成從一種語言到另一種語言的翻譯功能。自然語言處理技術的研究,可以豐富計算機知識處理的研究內容,推動人工智能技術的發展。自然語言處理中的主要任務 :
1. 詞性標注與(中文)分詞:詞性標注是自然語言處理中**基礎的研究領域之一。分詞則是中文自然語言處理里的重要任務。當前詞性標注任務已經較為成熟,發展空間已經不是很大,而中文分詞則基本不被外國高校所關注。
2. 語法解析:語法解析長久以來是自然語言理解的核心方法,旨在通過解析語言的語法結構來理解語義。語法解析的研究已持續數十年,做出突破難度較大,國內高校對于這一方向的努力一直不是很多。如何科學地把語法解析結果應用在其它任務中,是當前NLP和計算語言學領域所有研究者共同感興趣的話題。
3. 語言模型:語言模型的基本任務是通過上文預測下文。預測準確率越高,語言模型性能越好,標志著模型對于該語言的學習/擬合能力越強。從應用的角度上說,有利于文本表示學習的性能。
4. 信息檢索:信息檢索包括文本檢索和多媒體檢索,是搜索引擎的核心技術,也是自然語言處理領域的重要應用。NLP領域關注的信息檢索主要是通過短文本檢索長文檔的任務,也有通過文本檢索圖片的任務。信息檢索目前主要關注的問題是搜索結果的排序和個性化推薦。
5. 信息抽取:信息抽取旨在從非結構化的文本數據中抽取結構化的目標信息。這是一個熱點的任務,但是當前模型大多只能進行單一任務的信息抽取,效果也不是特別好。因此將來一段時間,信息抽取還會是一個熱門話題。該任務也是其它行業對人工智能**熱切的期待之一。行業外的人經常問自然語言處理能不能做這個做那個,大多數是在問能不能從非結構化的海量文本中提取特定的某些信息。
6. 語義表示:語義表示是當前諸多NLP任務的基礎之一,目標是將字,詞,句,文章的語義表示在合適的向量空間中,以此為基礎提高各項任務中模型的性能。隨著機器學習的發展,語義表示已成為自然語言處理的一大核心。尤其**近深度學習很火,這一領域也是火得不行。
7. 文本分類:文本分類旨在將不同的文本進行分類,以進行進一步的處理。例如百度曾通過文本分類結果作為廣告推薦的依據。目前大多數關于文本分類的研究主要目的是證明文本表示模型的優越性。
8. 機器翻譯:有關機器翻譯這一任務的研究已延續數十年。與詞性標注,語法解析任務不同,機器翻譯模型的性能依然不夠強。當前流行的方法是應用深度學習實現高性能的機器翻譯。
9. 對話系統:對話系統的目標是實現能和人類對話的機器人,這是一個難以實現,難以評測的任務。近年來學術界和工業界對深度學習在對話系統中的應用很感興趣。該任務會一直是一個熱門話題。
10. 問答系統:問答系統可以說是一個簡單版的對話系統,通常是在進行關于特定領域內知識的問答。近年來也有人提出閱讀理解式的問答(類似高考英語閱讀理解),以及關于給定圖像進行問答的任務。問答系統比對話系統更容易實現和評測,但也存在問答系統面臨的諸多問題。
11. 情感計算:情感計算旨在分析社交網絡發言、電商平臺評論等文本的情感傾向,有較為廣闊的應用前景,也受到了廣泛關注。目前的情感計算主要是建立在強大的語義表示模型上。
NLPIR大數據語義智能分析平臺是根據中文數據挖掘的綜合需求,融合了網絡精準采集、自然語言理解、文本挖掘和語義搜索的研究成果,并針對互聯網內容處理的全技術鏈條的共享開發平臺。
NLPIR大數據語義智能分析平臺主要有精準采集、文檔轉化、新詞發現、批量分詞、語言統計、文本聚類、文本分類、摘要實體、智能過濾、情感分析、文檔去重、全文檢索、編碼轉換等十余項功能模塊,平臺提供了客戶端工具,云服務與二次開發接口等多種產品使用形式。
隨著信息技術在我國社會生活各個領域應用的深入,中文信息處理正在成為人們工作和生活中不可或缺的手段,中文信息處理將具有更加廣闊的市場。
|