Raqamli Transformatsiya va Sun’iy Intellekt
AXBOROT IZLASH TIZIMLARIDA INDEKSLAR: TUZILISHI, SAMARADORLIGI VA TAJRIBAVIY TAHLILI
1 Zahiriddin Muhammad Bobur nomidagi Andijon davlat universiteti
Zenodo DOI: 10.5281/zenodo.24157251
Keywords
Abstract
Maqolada axborot izlash tizimlarida teskari va pozitsion indekslarning vazifasi, tuzilishi hamda samaradorligi nazariy va tajribaviy jihatdan o‘rganildi. Tadqiqotning maqsadi indeks turini tanlashning qidiruv vaqti, indeksning kodlangan hajmi va aniq ibora talabini bajarishga ta’sirini ajratib ko‘rsatishdir. Python yordamida sakkiz mavzuli, 6 000 hujjat va 852 277 tokendan iborat sun’iy korpus yaratildi. Uning 1 000, 3 000 va 6 000 hujjatli qismlarida 32 ta Boolean hamda 8 ta iboraviy so‘rov tekshirildi. Eng katta korpusda teskari indeks bo‘yicha qidiruv medianasi 0,0167 ms, hujjatlarning atamalar to‘plamini ketma-ket tekshirishda esa 0,3893 ms bo‘ldi; medianalar nisbati 23,25 martani tashkil etdi. Pozitsion indeks iboraviy qidiruvda 26,21 martalik tezlashishni ko‘rsatdi. Hujjat identifikatorlarini farqlar orqali Variable Byte usulida kodlash postings ma’lumotlari hajmini 74,66 foizga kamaytirdi. Qo‘shimcha misollarda apostrof variantlarini birxillashtirish va BM25 orqali tartiblash ko‘rsatildi. Natijalar nazoratli sun’iy korpus hamda bir dasturiy muhitga tegishli bo‘lib, real foydalanuvchi relevantligi yoki sanoat tizimining unumdorligini bevosita ifodalamaydi.
References
- Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval.
- Malkov Yu. A., Yashunin D. A. Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs. arxiv:1603.09320v4, 2018. DOI: 10.48550/arxiv.1603.09320.
- Thakur N., Reimers N., Rücklé A., Srivastava A., Gurevych I. BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS, Datasets and Benchmarks Track, 2021. arXiv:2104.08663.
- Apache Software Foundation. BM25Similarity. Apache Lucene 9.12.1, Core API: org.apache.lucene.search.similarities.BM25Similarity. Rasmiy hujjat.
- Python Software Foundation. time - Time access and conversions: perf_counter_ns. Python 3.13 rasmiy hujjatlari. docs.python.org/3.13/library/time.html.
- Cambridge University Press, 2008. 1-6 va 8-boblar. ISBN: 978-0-521-86571-5. Elektron nashr: nlp.stanford.edu/IR-book/.
- Robertson S., Zaragoza H. The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval. 2009. Vol. 3, No. 4. P. 333-389. DOI: 10.1561/1500000019.
- Zobel J., Moffat A. Inverted files for text search engines. ACM Computing Surveys. 2006. Vol. 38, No. 2. Article 6. DOI: 10.1145/1132956.1132959.
- Unicode Consortium. Unicode Standard Annex #15: Unicode Normalization Forms. Unicode 17.0.0, revision 57, 30.07.2025. unicode.org/reports/tr15/tr15-57.html.