Raqamli Transformatsiya va Sun’iy Intellekt
TABIIY TILNING STATISTIK MODELLARI
1 Alisher Navoiy nomidagi Toshkent davlat oʻzbek tili va adabiyoti universiteti.
2 Mirzo Ulugʻbek nomidagi O‘zbekiston Milliy universiteti.
3 Urganch innovatsion university.
Abstract
Tabiiy tilning statistik modeli (Statistical Language Model, SLM) – tabiiy tilni qayta ishlashda qo‘llaniladigan zamonaviy vosita bo‘lib, u ma’lum tildagi so‘zlar ketma-ketligi ehtimolini bashorat qilishga qaratilgan. SLM asosida gapdagi muayyan ketma-ketlikdan keyingi so‘z bashorat qilinadi. SLM so‘zlarning tabiiy til ma’lumotlari korpusida paydo bo‘lishiga asoslangan ketma-ketlik ehtimolini hisobga oladi. Katta hajmdagi matn ma’lumotlarini tahlil qilish orqali model so‘zlarning tilda qanday qo‘llanilishi qoliplarini o‘rganishi va ushbu qoliplar asosida keyingi ehtimoli yuqori so‘zni bashorat qilishi mumkin. NLP sohasi rivojlanishda davom etar ekan, statistik til modellari tilni tushunish va qayta ishlash uchun asosiy vosita bo‘lib hisoblanadi. SLMlar yordamida tabiiy til texnologiyasida mumkin bo‘lgan chegaralarni kengaytirishni davom ettirishimiz va yanada innovatsion va kuchli NLP ilovalarni yaratishimiz mumkin. Ushbu maqolada tabiiy tilning statistik modellaridan hiosblangan N-gram modelini o‘zbek tili korpusi asosida ishlab chiqish usullari keltiriladi. Shuningdek, N-gram modellarining matematik tavsifi va baholash usullari hamda umumlashtirish, sezgirlik, OOV (noma’lum so‘zlar), maxsus kontekst muammolari va ularni bartaraf qilish yo‘llari keltiriladi.
References
No references listed for this article.