JBT Journal
Advanced

Raqamli Transformatsiya va Sun’iy Intellekt

O‘ZBEK TILI KORPUSI MATNLARINI QAYTA ISHLASH USULLARI

Botir Elov1, Shahlo Hamroyeva1, Ruhillo Alayev1, Zilola Xusainova1, Umidjon Yodgorov1

1 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti.

Abstract

Kompyuterlar raqamli yoki sonli ko`rinishdagi ma`lumotlarni qayta ishlashga mo`ljallangan. Ammo ma'lumotlar har doim ham sonli shaklda bo'lmaydi. Ma'lumotlar belgilar, so'zlar va matnli shaklda bo'lsa ularni qanday qayta ishlash lozim? Kompyuterlarni bizning tabiiy tilimizni qayta ishlashga qanday o`rgatish mumkin? Bugungi kunda Alexa, Google Home va boshqa ko'plab “aqlli” yordamchilar nutqimizni qanday tushunadi va javob beradi? Ushbu maqolada tabiiy tilni qayta ishlash deb nomlangan sun'iy intellekt sohasidagi Bag-of-words (BOW), CountVectorizer, TF-IDF, Co-Occurrence matrix, Word2Vec, CBOW, Skip-Gram, GloVe, ELMO va BERT kabi matnlarni qayta ishlash usullari orqali o`zbek tili korpusi matnlarini qayta ishlash usullari keltiriladi.

Views: 96 Published: 2023-10-30 Pages: 117-129 Volume: 1 Issue: 3

References

No references listed for this article.