Raqamli Transformatsiya va Sun’iy Intellekt
O‘ZBEK TILI KORPUSI MATNLARINI QAYTA ISHLASH USULLARI
1 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti.
Abstract
Kompyuterlar raqamli yoki sonli ko`rinishdagi ma`lumotlarni qayta ishlashga mo`ljallangan. Ammo ma'lumotlar har doim ham sonli shaklda bo'lmaydi. Ma'lumotlar belgilar, so'zlar va matnli shaklda bo'lsa ularni qanday qayta ishlash lozim? Kompyuterlarni bizning tabiiy tilimizni qayta ishlashga qanday o`rgatish mumkin? Bugungi kunda Alexa, Google Home va boshqa ko'plab “aqlli” yordamchilar nutqimizni qanday tushunadi va javob beradi? Ushbu maqolada tabiiy tilni qayta ishlash deb nomlangan sun'iy intellekt sohasidagi Bag-of-words (BOW), CountVectorizer, TF-IDF, Co-Occurrence matrix, Word2Vec, CBOW, Skip-Gram, GloVe, ELMO va BERT kabi matnlarni qayta ishlash usullari orqali o`zbek tili korpusi matnlarini qayta ishlash usullari keltiriladi.
References
No references listed for this article.