JBT Journal
Advanced

Raqamli Transformatsiya va Sun’iy Intellekt

MATNLARNI RAQAMLASHTIRISH VA MASHINALI O‘QITISHDA WORD2VEC METODINING AHAMIYATI

Botir Elov1, Ruhillo Alayev2, Ruhillo Alayev3

1 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti.

2 Mirzo Ulug‘bek nomidagi O‘zbekiston Milliy universiteti.

3 Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti .

Abstract

Tabiiy tilni qayta ishlash (NLP) ‒ tilshunoslik, kompyuter fanlari, sun’iy intellektning kompyuter va insonning o‘zaro ta’siri bilan bog‘liq bo‘lgan bo‘limi. U asosan, tabiiy tilni qayta ishlash va baholash uchun metod, algoritm va axborot tizimlarini loyihalash, ishlab chiqish masalalari bilan shug‘ullanadi. Hozirda NLP usullari vositasida katta hajmdagi til korpuslari va millionlab veb-sahifalar bir soniya ichida tahlil qilinadi. Shuningdek, NLP vazifalarini yechishda statistik va neyron tarmoqli metodlar qo‘l kelmoqda. Ko‘pgina NLP ilovalari chuqur neyron tarmoq usullaridan foydalanib, texnologik taraqqiyot, kompyuter quvvatining ortishi va katta hajmdagi til korpuslarining mavjudligi tufayli samarali ishlamoqda. Matnli ma’lumotlarining aksariyati strukturlanmagan, Internetda mavjud yoki turli manbalarda joylashgan. Matnli ma’lumotlar to‘g‘ri olingan, jamlangan, formatlangan va tahlil qilingan bo‘lsa, ahamiyatli va foydali bo‘la oladi. Matn tahlilini to‘g‘ri amalga oshirish kompaniya va tashkilotlarga turli yo‘llar bilan foyda keltirishi mumkin. Strukturalanmagan matnni tahlil qilish usullari matn tasnifi, hissiyotlarni tahlil qilish, NER obyektlarni aniqlash va mavzuni modellashtirish kabi vazifalarini qamrab oladi. NLPning ushbu vazifalari turli kontekstlarda qo‘llaniladi. Ularni bajarish uchun, birinchi navbatda, mashina inson tilini tushunishi, qayta ishlashi uchun nutq va matnlarni raqamli shaklga o‘tkazish zarur. Tabiiy tilni talqin qiluvchi, tushunuvchi aqlli tizimlarni ishlab chiqishda strukturlanmagan matnli ma’lumotlar bilan ishlash, ularni sun’iy intellekt metodlari vositasida qayta ishlash maqsadida raqamli shaklga o‘tkazish lozim. So‘zlarni joylashtirish – bu tabiiy tildagi leksik birliklarning umumiy semantikasi va lingvistik shablonlarini qamrab oluvchi so‘zlarning muayyan (fiksirlangan) uzunlikdagi vektor ko‘rinishlari. NLP tadqiqotchilari bunday tasvirlarni olishning turli usullarini taklif qilishgan. Jumladan, Word2ec 2013-yilda Google kompyaniyasi tadqiqotchilari tomonidan ishlab chiqilgan matnni qayta ishlashga va raqamlashtirishga mo‘ljallangan metod bo‘lib, uning asosiy maqsadi so‘zlarni vektorlar orqali ifodalashdan iborat. Word2vec metodi vostasida matndagi so‘zlarning semantikasi ma’no jihatdan kodlanadi. Ushbu maqolada Python tilidagi NumPy paketidan foydalangan holda word2vec metodi orqali o‘zbek tili matnlaridagi so‘zlarni raqamlashtirishni amalda qo‘llash masalasi tahlil qilinadi.

Views: 90 Published: 2023-12-16 Pages: 32-42 Volume: 1 Issue: 4

References

No references listed for this article.