Raqamli Transformatsiya va Sun’iy Intellekt
TABIIY TIL QOLIPLARINI N-GRAM METODI VOSITASIDA ANIQLASH
1 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti .
Abstract
N-gram metodi – matn ma'lumotlaridagi qolip va munosabatlarni aniqlash uchun tabiiy tilni qayta ishlash (Natural Language Processing, NLP)da qo'llaniladigan matnni tahlil qilish usuli. Ushbu metod matnni n-gram deb ataladigan kichikroq birliklarga bo'lish va matn ma'lumotlari haqida tushunchaga ega bo'lish uchun ushbu n-grammlarning chastotasi va ularning korpusda tarqalishini tahlil qilishni o'z ichiga oladi. N-gramlar so'zlar, belgilar yoki boshqa har qanday mazmunli matn birliklaridan iborat bo'lishi mumkin. Til korpusidahi N-gramlar tahlili muhim ahamiyatga ega bo`lib, u matn ma'lumotlarini tahlil qilish va ma'lumotlar ichidagi qolip va munosabatlarni aniqlashning sodda, ammo samarali usulini taklif qiladi. N-gram metodi tilni modellashtirish, matnni tasniflash va his-tuyg`ularni tahlil qilish kabi turli xil NLP ilovalarini ishlab chiqish uchun foydali bo'lishi mumkin. N-gram tahlili tilni modellashtirishda matn ma'lumotlaridagi qolip va munosabatlarni aniqlash hamda tabiiy tilni qayta ishlash vazifalari uchun bashoratli modellarni yaratish uchun qo`llaniladi. Shungdek, N-gram tahlili matnni tasniflashda matnning asosiy xususiyatlarini aniqlash va matnni oldindan belgilangan toifalarga ajratish uchun ishlatiladi.
References
No references listed for this article.