給聊天機器人的訓練重點提示 – 讓機器人讀懂我們的語言

Photo by Snapwire on Pexels

淺談標注

前面講完了「斷詞」,現在來談談與斷詞極相關的「標注」。電腦利用透過標注資料,才能利用斷詞後的詞彙回答出正確的回覆。

對語句的標注有非常多種方式,其中我們最普遍使用到的就是詞性的標注。詞性包含表示人物、地點或事物的名詞;表示動作或事件發生的動詞;描述狀態、修飾名詞的形容詞等等。

詞性的類別(Photo by PlayMonster on Pinterest)

詞性標注

詞性必須根據句子的上下文來判斷,我們來看看以下例子:

兩句中的「制服」具有不同的詞性

以上舉例,可以看到「警方將歹徒制服」的「制服」為動詞,是指制裁、被迫屈服;而「公立高中不用穿制服」的「制服」是名詞,是指同一個機構或團體穿的服裝。像這樣,如果電腦知道這兩個詞是屬於不一樣的詞性,就知道它們兩個含有不同的意義。

詞性標注就是幫句子中的每個詞彙,找出自己的語言特徵(詞性)並加上標籤的過程,是自然語言處理(Natural Language Processing, NLP)中十分基礎、但重要的過程。

一般需要先將語句進行斷詞,再進行詞性標注,因此斷詞與標注是息息相關的。不過,詞性的標注也存在著許多困難,例如,一詞多義性、未知詞處理等等。

  • 一詞多義性:一詞多義性是很常見的一項難點,電腦不可能知道所有一詞多義的詞彙。舉例來說,如同上面例子的「制服」一樣;或是「研究」這個詞可以當作名詞,例如:自然科學研究,不過「研究」也可以當成動詞,例如:研究自然語言處理。
  • 未知詞處理:未知詞即表示某字詞沒有收錄在字典中,無法查詢該詞性,例如:「人名」像「Tim Cook」、或是「公司名稱」如「Apple」、「產品名稱」如「iPhone」等等。

而通常這些問題會利用一些統計的演算法來解決。

詞性標注的方法

  • 首先,詞性作為詞語的基本語法屬性,是字詞和句子的關鍵性特徵。然而,中文有各式各樣的標注系統,每個系統所標注的詞性種類也有所不同。
  • 我們以中央研究院的中文斷詞系統為例,來看看系統分析出「Juska,創造更便利、更智慧、更人性化的用戶服務體驗。」的結果會呈現出什麼樣子。
斷詞標注結果
  • 系統首先進行斷詞,變成「Juska|,|創造|更|便利|、|更|智慧|、|更|人性化|的|用戶|服務|體驗|。」
  • 接著再進行詞性標注,例如「Juska」是英文,所以被標注成「FW」(外文標記);「創造」被標注成「VC」(動作及物動詞);標點符號也有所屬的標注名稱,每一個標注的名稱都有其代表的詞性。

我們雖然教了電腦去斷詞及標注,但當然電腦的標注不是100%準確的,需要透過人類不斷地改良,讓電腦分析的效果越來越好。

標注語句有何意義呢?標注句子的重點可以讓電腦面對大量輸入的語句時,能夠透過已被重點標示出來的字詞快速地進行演算,並為句子做出適當的分類。而下一篇我們就要來看看詞彙之間有什麼關聯性。

參考資料:中央研究院中文斷詞系統

你也可以在這裡找到Justka的文章!

相關文章
Photo by Glen Carrie on Unsplash

AI 斷詞大解密 – 聊天機器人如何知道我們在說什麼?

現在隨處可見的聊天機器人(chatbot)是如何理解人類的語言呢?想必這是一個大家都有的疑問吧! 我們先回想一下在之前的文章中,像圖書管理員一樣,把堆疊成山的書分類成小說、散文或是詩集;或是英

詞彙與它們之間的關聯

聊天機器人如何抓取關鍵字 我們在討論聊天機器人是如何抓取關鍵字之前,得先來聊聊電腦是如何判斷詞彙之間的相關性。 還記得斷詞是什麼嗎?斷詞是電腦盡可能地正確辨識出最小且有意義的字詞。這時候我們就

艾斯AI研究室
艾斯AI研究室
以白話文來解釋人工智慧為一生志業
回到頂端

訂閱JustKa

獲得我們的即時公告與最新資訊