JBT Journal
Advanced

Raqamli Transformatsiya va Sun’iy Intellekt

STATISTIK POS-TEGLASH ALGORTIMLARI (HMM, CRF) VA MATEMATIK MODELLARI

Botir Elov1

1 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti.

Abstract

Ushbu maqolada o‘zbek tili uchun statistik part-of‑speech (POS) teglashning ikki asosiy paradigmasi, yashirin Markov modeli (HMM) va shartli tasodifiy maydon (CRF) matematik jihatdan tahlil qilinadi hamda ularning amaliy samaradorligi tajriba orqali baholanadi. Avvalo har bir modelning ehtimollik-funksional tuzilishi, o‘tish va chiqarish ehtimolliklari (HMM) hamda xususiyat funksiyalari va vazn koeffitsientlari (CRF) formal ravishda keltiriladi. Tadqiqot doirasida 17038, 56616 va 77821 gapdan iborat iborat bo‘lgan, CONLL‑U formatidagi qo‘lda POS-teglangan datasetlardan foydalanilgan holda, modellar Laplas smoothing + Viterbi (HMM) va L‑BFGS optimizatori + Viterbi (CRF) bilan o‘qitildi. Test to‘plamida HMM 82 % aniqlik, CRF esa 88 % aniqlikka erishdi; CRF ko‘proq kontekst va lingvistik xususiyatlarni aniqlash hisobiga HMMdan 6 punkt yuqori natija ko‘rsatdi. 3 ta datasetga BiLSTM-CRF va BERT-CRF neyron tarmoqli modellarni qo‘llash natijasida 93.4% F1-ko‘rsatkichga erishildi. Natijalar statistik modellar o‘zbek tili kabi aglutinativ va kam resursli tillarda ham barqaror ishlashini, lekin xususiyatlarga sezgirligini ko‘rsatadi. Maqola yakunida model tanlovi, teg ajratishdagi asosiy xatolik turlari va kelgusida chuqur o‘rganishga asoslangan yondashuvlarga o‘tishning afzalliklari muhokama qilinadi.

Views: 100 Published: 2025-08-09 Pages: 47-61 Volume: 3 Issue: 4

References

No references listed for this article.