JBT Journal
Advanced

Raqamli Transformatsiya va Sun’iy Intellekt

TEMATIK MODELLASHTIRISHNING ZAMONAVIY USULLARI

Botir Elov1, Ruhillo Alayev2, Narzillo Aloyev3

1 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti.

2 National University of Uzbekistan after Mirzo Ulugbek.

3 Tashkent State of University of Uzbek language and literature.

Abstract

Tematik modellashtirish – tabiiy tilni qayta ishlash (Natural Language Processing, NLP) vazifalarining muhim komponenti bo`lib, turli sohalarda ishlatilishi mumkin. Tematik modellarida ikkita asosiy muammo mavjud: natijani bashorat qilish uchun ishlatilishi mumkin bo'lgan mavzularni aniqlash va allaqachon topilgan mavzularni tushunishni osonlashtirish. Ushbu maqolada, tematik modellashtirishning zamonaviy usullari hisoblangan manfiy bo'lmagan matritsa faktorizatsiyasi (Non-negative Matrix Factorization), yashirin semantik taqsimot (Latent Semantic Allocation, LSA), ehtimoliy yashirin semantik tahlil (Probabilistic Latent Semantic Analysis,PLSA), lda2vec chuqur o'rganish modeli va tBERT haqida fikr-mulohaza yuritiladi. Tematik modellashtirish odatda katta hajmdagi til korpusiga qo‘llaniladi. Tematik modellashtirish uchta turdagi so‘zlarning klasterlarini hosil qiladi – birgalikda keladigan so‘zlar; so‘zlarning taqsimlanishi va mavzu bo‘yicha so‘zlarning gistogrammasi. Ushbu maqolada o`zbek tili korpusidagi namunaviy matnlarga LDA usulini qo`llash orqali olingan natijalar keltiriladi.

Views: 147 Published: 2024-02-16 Pages: 8-16 Volume: 2 Issue: 1

References

No references listed for this article.