Raqamli Transformatsiya va Sun’iy Intellekt
YASHIRIN DIRIXLE TAQSIMOTI USULI YORDAMIDA TIL KORPUSI MATNLARINI TEMATIK MODELLASHTIRISH
1 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti.
2 Mirzo Ulug‘bek nomidagi O‘zbekiston Milliy universiteti.
Abstract
Tematik modellashtirish nazoratsiz ma’lumotlarda amalga oshiriladi va matnni tasniflash hamda klasterlash vazifalaridan aniq farq qiladi. Ma’lumotni qidirishni osonlashtirish va hujjatlar klasterlarini yaratishni maqsad qilgan matn tasnifi yoki klasterlashdan farqli o‘laroq, tematik modellashtirish hujjatlardagi o‘xshashliklarni topishni maqsad qilmaydi. Tematik modellashtirish odatda katta hajmdagi til korpusiga qo‘llaniladi. Tematik modellashtirish uchta turdagi so‘zlarning klasterlarini hosil qiladi – birgalikda keladigan so‘zlar; so‘zlarning taqsimlanishi va mavzu bo‘yicha so‘zlarning gistogrammasi. Tematik modellashtirishning bir nechta modellari mavjud: masalan, so‘zlar sumkasi (bag-of-words), unigram modeli, generativ model. Bugungi kunda tematik modellashtirish vazifalari uchun ishlatiladigan algoritmlar sifatida Yashirin Dirixle taqsimoti (Latent Dirichlet Allocation,LDA), yashirin semantik tahlil (Latent Semantic Analysis,LSA), korrelyatsiya qilingan tematik modellashtirish (Correlated Topic Modeling) va ehtimollik yashirin semantik tahlili (Probabilistic Latent Semantic Analysis,PLSA). Ushbu maqolada LDA usuli yordamida til korpusi matnlarini tematik modellashtirish usuli tahlil qilinadi.
References
No references listed for this article.