Jezikovni model

Jezikovni model je računski model, ki napoveduje zaporedja v naravnem jeziku. Jezikovni modeli so uporabni za različne naloge, vključno s prepoznavanjem govora, strojnim prevajanjem, tvorbo naravnega jezika (ustvarjanjem besedila, ki je podobno človekovemu), optičnim prepoznavanjem znakov, prepoznavanjem rokopisa, indukcijo slovnice in iskanjem informacij.

Pionirsko delo na področju jezikovnih modelov je v 1950-ih opravil Noam Chomsky z razvojem teorije formalnih slovnic. V 1980-ih so se razvijali zlasti statistični pristopi, ki so se na številnih področjih izkazali za bolj uporabne kot formalne slovnice, ki temeljijo na pravilih. Pomemben napredek je predstavljal razvoj modelov, ki so besedila obravnavali na osnovi diskretnih predstavitev, kot npr. n-grami besed s pripadajočimi verjetnostmi za različne kombinacije besed.

V 2000-ih so zvezne predstavitve besed, kot npr. vektorske vložitve, začele nadomeščati diskretne predstavitve. Pri predstavitvah z vektorskimi vložitvami so posamezne besede predstavljene kot vektorji nad realnimi števili. Takšen vektor običajno kodira pomen besede tako, da so si besede, katerih vektorske predstavitve so si v vektorskem prostoru bližje, podobne ali pa si delijo določene slovnične značilnosti, npr. število ali spol.

Vektorske predstavitve so privedle do pomembnega napredka na področju jezikovnih tehnologij, saj so omogočile uporabo numeričnih optimizacijskih metod, posploševanje med podobnimi izrazi ter učinkovitejše učenje modelov iz velikih količin podatkov. Postale so temelj sodobnih jezikovnih modelov na osnovi umetnih nevronskih mrež. Sprva so se uveljavili modeli, ki temeljijo na rekurentnih nevronskih mrežah. Od leta 2019 najnaprednejšo obliko jezikovnih modelov predstavljajo veliki jezikovni modeli (LLM), ki pretežno temeljijo na arhitekturi transformerjev.

Pomembno vlogo pri razvoju jezikovnih modelov ima tudi priprava obsežnih besedilnih korpusov. Večina sodobnih modelov je zasnovana za učenje iz zelo velikih količin besedilnih podatkov, ki omogočajo zajem raznolikih jezikovnih vzorcev. Učni podatki so pogosto zbrani iz različnih virov, vključno z javno dostopnimi besedili na internetu, digitaliziranimi knjigami, novičarskimi arhivi in drugimi besedilnimi zbirkami.

Vrednotenje kakovosti jezikovnih modelov se večinoma izvaja s primerjavo z naborom vzorcev, ki jih je ustvaril človek. Drugi pristopi preučujejo notranje lastnosti modela ali primerjajo dva modela med seboj. Ker so jezikovni modeli običajno zasnovani tako, da se učijo iz podatkov, ki jih vidijo, nekateri predlagani postopki vrednotenja vključujejo tudi analizo hitrosti učenja, na primer s pregledom krivulj učenja.

Glej tudi

• Jezikovne tehnologije
• Veliki jezikovni model
• Strojno učenje
• Umetna inteligenca

Viri

• Andreas, Jacob; Vlachos, Andreas; Clark, Stephen (2013). Semantic parsing as machine translation. Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Arhivirano iz prvotnega spletišča dne 15. avgusta 2020.
• Barnard, Joel (29. december 2023). »What Are Word Embeddings?«. IBM. Pridobljeno 13. februarja 2026.
• Blank, Idan A. (november 2023). »What are large language models supposed to model?«. Trends in Cognitive Sciences. 27 (11): 987–989. doi:10.1016/j.tics.2023.08.006.
• Chomsky, N. (september 1956). »Three models for the description of language«. IRE Transactions on Information Theory. 2 (3): 113–124. Bibcode:1956IRTIT...2..113C. doi:10.1109/TIT.1956.1056813. ISSN 2168-2712.
• Hiemstra, Djoerd (1998). A linguistically motivated probabilistically model of information retrieval. Proceedings of the 2nd European conference on Research and Advanced Technology for Digital Libraries. LNCS, Springer. str. 569–584. doi:10.1007/3-540-49653-X_34.
• Htut, Phu Mon; Cho, Kyunghyun; Bowman, Samuel (2018). Grammar Induction with Neural Language Models: An Unusual Replication. Association for Computational Linguistics. doi:10.18653/v1/D18-1544. Pridobljeno 13. februarja 2026.
• Jurafsky, Dan; Martin, James H. (2021). »N-gram Language Models« (PDF). Speech and Language Processing (3rd izd.).
• Karpathy, Andrej. »The Unreasonable Effectiveness of Recurrent Neural Networks«. Arhivirano iz spletišča dne 1. novembra 2020. Pridobljeno 27. januarja 2019.
• Radford, Alec; Wu, Jeff; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilya (2019). Language Models are Unsupervised Multitask Learners (PDF). OpenAI.
• Manning, Christopher D. (1. maj 2022). »Human Language Understanding & Reasoning«. Daedalus. 151 (2): 127–138. doi:10.1162/daed_a_01905. ISSN 0011-5266. Pridobljeno 13. februarja 2026.
• Mikolov, Tomáš; Yih, Wen-tau; Zweig, Geoffrey (2013b). »Linguistic Regularities in Continuous Space Word Representations«. ACL Anthology.
• Mikolov, Tomas; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013a). »Efficient Estimation of Word Representations in Vector Space«. arXiv:1301.3781 [cs.CL].
• Pham, Vu (2014). Dropout improves recurrent neural networks for handwriting recognition. 14th International Conference on Frontiers in Handwriting Recognition. IEEE. doi:10.1109/ICFHR.2014.55.
• Ponte, Jay M.; Croft, W. Bruce (1998). A language modeling approach to information retrieval. Proceedings of the 21st ACM SIGIR Conference. ACM. str. 275–281. doi:10.1145/290941.291008.