JBT Journal
Advanced

Raqamli Transformatsiya va Sun’iy Intellekt

YASHIRIN DIRIXLE TAQSIMOTI USULI YORDAMIDA TIL KORPUSI MATNLARINI TEMATIK MODELLASHTIRISH

Botir Elov1, Ruhillo Alayev2, Narzillo Aloyev1

1 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti.

2 Mirzo Ulug‘bek nomidagi O‘zbekiston Milliy universiteti.

Abstract

Tematik modellashtirish nazoratsiz ma’lumotlarda amalga oshiriladi va matnni tasniflash hamda klasterlash vazifalaridan aniq farq qiladi. Ma’lumotni qidirishni osonlashtirish va hujjatlar klasterlarini yaratishni maqsad qilgan matn tasnifi yoki klasterlashdan farqli o‘laroq, tematik modellashtirish hujjatlardagi o‘xshashliklarni topishni maqsad qilmaydi. Tematik modellashtirish odatda katta hajmdagi til korpusiga qo‘llaniladi. Tematik modellashtirish uchta turdagi so‘zlarning klasterlarini hosil qiladi – birgalikda keladigan so‘zlar; so‘zlarning taqsimlanishi va mavzu bo‘yicha so‘zlarning gistogrammasi. Tematik modellashtirishning bir nechta modellari mavjud: masalan, so‘zlar sumkasi (bag-of-words), unigram modeli, generativ model. Bugungi kunda tematik modellashtirish vazifalari uchun ishlatiladigan algoritmlar sifatida Yashirin Dirixle taqsimoti (Latent Dirichlet Allocation,LDA), yashirin semantik tahlil (Latent Semantic Analysis,LSA), korrelyatsiya qilingan tematik modellashtirish (Correlated Topic Modeling) va ehtimollik yashirin semantik tahlili (Probabilistic Latent Semantic Analysis,PLSA). Ushbu maqolada LDA usuli yordamida til korpusi matnlarini tematik modellashtirish usuli tahlil qilinadi.

Views: 136 Published: 2024-04-27 Pages: 7-18 Volume: 2 Issue: 2

References

No references listed for this article.