Language model หัวใจแห่ง NLP (Natural Language Processing)

Language model คืออะไร

คือ การใช้เทคนิคทางสถิติและความน่าจะเป็น เพื่อกำหนดความน่าจะเป็นของลำดับคำที่เกิดขึ้นในประโยค โดยวิเคราะห์จากเนื้อความของบริบทเพื่อการทำนายคำถัดไป

 

แล้ว Language model ทำงานอย่างไร ?

อย่างที่ได้กล่าวไปข้างต้น Language model เป็นการรวมเทคนิคทางสถิติ ความน่าจะเป็น การคาดเดาคำจากบริบทรอบ ๆ โดยอ้างอิงจากสิ่งที่เรียนรู้มา  Language model จะแบ่งประเภทหลัก ๆ ได้ 2 ประเภท

1.Count-based คือการนับความถี่ของคำ เพื่อหาค่าความเป็นไปได้ของคำต่อไป

ตัวอย่าง
ประโยค “ ฉันเป็น__ ”
data

         ฉัน เป็น โปรแกรมเมอร์
         คุณ เป็น เทสเตอร์
         เธอ เป็น โปรแกรมเมอร์
         ฉัน เป็น โปรแกรมเมอร์
         ฉัน เป็น คนดี

หาความน่าจะเป็น

             p(“โปรแกรมเมอร์” | “ฉันเป็น”) = c(“ฉันเป็นโปรแกรมเมอร์” ) / c(“ฉันเป็น”) = 2ส่วน3
             p(“คนดี” | “ฉันเป็น”) = c(“ฉันเป็นคนดี” ) / c(“ฉันเป็น”) = 1ส่วน3

เพราะฉะนั้นมีความน่าจะเป็นไปได้ที่จะได้คำต่อไปคือ “ ฉันเป็นโปรแกรมเมอร์ ”

 

2.Continuous-space คือการนำ Neural network มาช่วยคำนวนเพื่อหาคำต่อไป โดยดูจากบริบทรอบข้าง

ตัวอย่าง
WangchanBerta  (Language model ของไทย)

Image by huggingface.co from airesearch

จากตัวอย่างจะเรียกว่า masking language คือการมาสกิ้งจุดที่จะให้ Language model สร้างคำ (หรือการเติมคำในช่องว่าง)

จุดเด่นของ Count-based คือ language model จะมีความเบาและเร็วกว่า แบบ Continuous-space ที่มีเบื้องหลังเป็น  Neural network เลยทำให้มีขนาดที่ใหญ่และประมวลผลได้ช้ากว่า 

จุดเด่นของ Continuous-space จะมีความสมบูรณ์ของประโยคมากกว่าเนื่องจากมีการดูบริบทของประโยคด้วย

 

ประโยชน์ของ Language model 

Language model เป็นเบื้องหลังของเทคโนโลยี NLP (Natural Language Processing) อยู่หลายตัว

ตัวอย่างเทคโนโลยีที่ใช้ Language modeling

1.ASR (Automatic Speech Recognition)
ASR หรืออีกชื่อคือ Speech to text เป็นเทคโนโลยีเปลี่ยนเสียงพูดให้กลายเป็น Text
โดย architecture จะประกอบด้วย Acoustic Model, Lexicon, Language Model

• Acoustic Model ทำหน้าที่จดจำเสียงกับ Text

• Lexicon ทำหน้าที่จดจำคลังศัพท์

• Language Model ทำหน้าที่เรียบเรียงคำศัพท์ให้เป็นประโยค

ตัวอย่างการทำงาน
ส่งเสียงเข้าไป “ฉันอยากกินข้าว”
Acoustic Model : ชันนนนนนนนยยยยยากกกกกกินนนข่าาาาววววว
Lexicon : ชั้นอยากกินข่าว
Language Model : ฉันอยากกินข้าว
.
ตัวอย่าง Product : Siri, Google assistant, voice search
.

2.Spelling Correction
Spelling correction เป็นการตรวจสอบคำที่ผิดแล้วเปลี่ยนให้เป็นคำที่ถูก โดยใช้หลักทางสถิติเข้ามาช่วย ซึ่งเบื้องหลังการทำงานก็คือ Language Model

ตัวอย่างการทำงาน

• ข้อความ “ฉันอยากกินข้าk”

• เช็คคำในข้อความ “ ฉัน | อยาก | กิน | ข้าk ” ถ้าเจอคำที่ผิดจะถูกเรียกว่า OOV (Out of Vocab) 

• เมื่อเจอ OOV แล้วให้นำคำนั้น (“ข้าk”) มาหาคำที่ใกล้เคียงของคำที่อยู่ใน Language Model

• แล้วแทนที่คำให้ถูกต้อง ( ฉัน | อยาก | กิน | ข้าว)
  

.
ตัวอย่าง Product : การแก้คำผิดในแป้นพิมพ์ของสมาร์ทโฟน
.

3.Machine translation
Machine translation คือการแปลภาษาหนึ่งไปอีกภาษาหนึ่ง ถ้าจะพูดคุ้นหูหน่อยก็คือ Google translation (เป็น Machine translation ที่พัฒนาโดย Google) เรียกได้ว่า Language model เป็นหัวใจสำคัญของการทำ Machine translation เลยเนื่องจากแต่ละภาษามีโครงสร้างภาษาที่แตกต่างกัน เลยต้องให้ Language Model มาช่วยจัดลำดับโครงสร้างของภาษานั้น

ตัวอย่างการทำงาน
Translate English to Thai
English : I want to be a programmer
Thai : ฉันอยากเป็นโปรแกรมเมอร์
.
ตัวอย่าง Product : Google translation
.

4.OCR (Optical Character Recognition)
OCR คือ เทคโนโลยีเปลี่ยนข้อความที่อยู่ในภาพให้อยู่ในรูปแบบของ Text เป็นการรวมสองเทคโนโลยีคือ Image processing กับ Natural Language Processing มาใช้งานร่วมกัน โดยหน้าที่ของ Language Model คือการเรียบเรียงคำ (จะคล้าย ๆ กับ ASR เพียงแค่เปลี่ยนจากเสียงเป็นรูปภาพแทน)
.
ตัวอย่าง Product : Line OCR
.

5.Text generation|
Text generation คือการสร้างคำหรือประโยคโดยเบื้องหลังการทำงานก็คือ Language Model จตัวอย่างง่าย ๆ ของ Text generation ใกล้ ๆ ตัวเราก็คือ แป้นพิมพ์ในสมาร์ทโฟน จะสังเกตมั้ยว่า ตัวแป้นพิมพ์จะพยายามทำนายคำที่เราพิมพ์ต่อ 

ตัวอย่าง

        Text generation ไม่ได้มีแค่นี้ มันสามารถนำไปประยุกต์ได้กับอีกงานหลายงานไม่ว่าจะเป็น Text summarization, Response generation, Question generation, Answer generation และอื่น ๆ
.
ตัวอย่าง Product : Google search, แป้นพิมพ์ในสมาร์ทโฟน
.

 

สรุป

นอกจากเทคโนโลยีที่กล่าวมาข้างต้น ก็ยังมีเทคโนโลยีอีกมากมาย ไม่ว่าจะเป็น Sentiment analysis, Text classification, Named entity recognition ที่ Language model อยู่เบื้องหลัง จะเห็นได้ว่าที่พูดมากทั้งหมดเป็นเพียงแค่ส่วนนึ่งของงานด้าน NLP ยังมีเทคโนโลยีด้าน NLP ที่อยู่ใกล้ๆ ตัวเราอีกมากมายฝากติดตามด้วยนะครับ #Devกล้วย

 

อ้างอิงจาก

1. language modeling, สืบค้นเมื่อ 11 ก.ค. 2565 จาก: https://www.techtarget.com/searchenterpriseai/definition/language-modeling

2. Language modeling มาสร้างประโยคกันเถอะ, สืบค้นเมื่อ 11 ก.ค. 2565 จาก: https://bit.ly/3AMY5I2