Rečnik AI doba jezičkih modela: šta znače LLM, NLP, RAG, AGI…

Veštačka inteligencija nije donela samo nove alate, već i gotovo sasvim novi jezik. AI, ML, LLM, NLP, RAG, GPT, BERT, ASR, TTS, AGI, VLM i MCP samo su neki od akronima koji se sve češće pojavljuju u poslovnim razgovorima, medijima, naučnim radovima i svakodnevnoj komunikaciji.

Za prevodioce, lingviste, urednike i sve koji profesionalno rade sa jezikom ova terminologija posebno je važna. Jezik više nije samo sredstvo kojim ljudi komuniciraju sa drugim ljudima. On postaje i interfejs preko kojeg razgovaramo sa mašinama, opisujemo zadatke, pretražujemo podatke, generišemo slike, prevodimo dokumente i upravljamo različitim digitalnim sistemima.

Ipak, akronimi često stvaraju privid razumevanja. Neko može svakodnevno da koristi LLM, a da ne zna šta je jezički model. Može da govori o GPT-u, a da ne razlikuje GPT od četbota. Može da očekuje da RAG „ukloni halucinacije“, iako ovaj sistem samo omogućava modelu da pre odgovora pronađe dodatne informacije.

Zato ovaj vodič nije zamišljen samo kao spisak skraćenica. Cilj je da objasni šta se nalazi iza najvažnijih akronima AI doba, kako su međusobno povezani i zašto su važni za ljude koji rade sa jezikom.

LM i LLM: odakle zapravo počinje priča o jezičkim modelima?

LM – Language Model

LM je skraćenica za Language Model, odnosno jezički model.

U najširem smislu, jezički model je sistem koji procenjuje verovatnoću pojavljivanja određenih jezičkih jedinica u datom kontekstu. Te jedinice mogu biti slova, delovi reči, cele reči, rečenice ili druge vrste tokena.

Jednostavan jezički model mogao bi, na primer, da proceni koja reč najverovatnije sledi posle rečenice:

„Pre nego što je izašao iz naše prevodilačke agencije, poneo je…“

U zavisnosti od konteksta, model može veću verovatnoću dodeliti rečima „ključeve“, „telefon“, „jaknu“ ili „pečat“ nego rečima koje se gramatički ili semantički ne uklapaju.

Savremeni jezički modeli ovaj postupak obavljaju u mnogo složenijem obliku. Oni ne biraju samo sledeću reč, već rade sa ogromnim brojem mogućih nastavaka, jezičkih obrazaca i odnosa koji su tokom obuke pronađeni u velikim količinama teksta.

Važno je razumeti da jezički model nije klasičan rečnik niti baza unapred napisanih odgovora. On generiše tekst izračunavanjem verovatnih nastavaka na osnovu unetog sadržaja i obrazaca naučenih tokom treninga.

LLM – Large Language Model

LLM znači Large Language Model, odnosno veliki jezički model.

Reč „veliki“ obično se odnosi na kombinaciju nekoliko karakteristika:

• velikog broja parametara;
• velike količine podataka korišćenih za obuku;
• značajnih računarskih resursa;
• sposobnosti obavljanja različitih jezičkih zadataka;
• mogućnosti rada sa dugim i složenim kontekstom.

Parametri se mogu pojednostavljeno opisati kao unutrašnje numeričke vrednosti koje model podešava tokom treninga. Oni nisu isto što i rečenice, činjenice ili dokumenti sačuvani u bazi. Parametri zajedno oblikuju matematičke odnose na osnovu kojih model procenjuje šta treba da proizvede kao odgovor.

Zbog toga veliki jezički model može da piše, prevodi, sažima, klasifikuje, preformuliše i analizira tekst, iako nije za svaki od tih zadataka posebno programiran.

Ipak, veličina sama po sebi ne garantuje kvalitet. Na sposobnosti modela utiču i kvalitet podataka, arhitektura, način treniranja, naknadno prilagođavanje, bezbednosna pravila, dostupni alati i način na koji je formulisan korisnički zahtev.

LLM takođe ne treba automatski izjednačiti sa znanjem ili ljudskim razumevanjem. Model može veoma uverljivo da oblikuje gramatički tačan odgovor, a da u njemu ipak navede netačan podatak. On stvara jezički verovatan izlaz, ali njegova sigurnost u formulaciji nije dokaz istinitosti sadržaja.

Zašto je LLM posebno važan za prevođenje?

Prevod je mnogo više od zamene reči iz jednog jezika rečima drugog jezika. Potrebno je prepoznati:

• značenje reči u kontekstu;
• gramatičku strukturu;
• terminologiju određene struke;
• stil i registar;
• idiome i kulturne reference;
• nameru autora;
• odnos između delova dokumenta;
• ciljnu publiku.

Veliki jezički modeli mogu da obrađuju širi kontekst od ranijih sistema mašinskog prevođenja. Zbog toga često proizvode prirodnije rečenice i bolje prilagođavaju stil. Međutim, mogu i da „ulepšaju“ sadržaj, ne ograde se na pravi način, pogrešno protumače termin ili samostalno dopune ono čega nema u izvorniku.

U kreativnom tekstu takvo preoblikovanje ponekad može biti korisno. U pravnom, medicinskom, tehničkom ili finansijskom prevodu može promeniti smisao i stvoriti ozbiljan problem.

Zato LLM ne ukida potrebu za profesionalnim prevodiocem. On menja prirodu pojedinih prevodilačkih procesa i uvodi nove načine saradnje između čoveka i sistema.

GPT, BERT i Transformer: akronimi koji su promenili obradu jezika

GPT – Generative Pre-trained Transformer

GPT znači Generative Pre-trained Transformer.

Svaki deo ovog naziva opisuje važnu osobinu sistema. Generative znači da model generiše novi sadržaj. Pre-trained znači da je prethodno obučen na velikoj količini podataka, pre nego što je prilagođen konkretnijim zadacima ili interakciji sa korisnicima.

Transformer označava arhitekturu neuronske mreže na kojoj je model zasnovan.

GPT nije sinonim za svaku veštačku inteligenciju niti za svaki četbot. To je naziv određene porodice generativnih modela. Četbot je aplikacija ili korisnički interfejs, dok je GPT model koji može da bude jedan od sistema u njegovoj pozadini.

GPT modeli su autoregresivni. Pojednostavljeno rečeno, oni generišu sadržaj korak po korak, procenjujući naredni token na osnovu prethodnih tokena i dostupnog konteksta. Ta osnovna procedura, kada se primeni u veoma velikom modelu, može da dovede do iznenađujuće složenih rezultata: od prevođenja i pisanja do analize, programiranja i rešavanja problema.

BERT – Bidirectional Encoder Representations from Transformers

Za razliku od autoregresivnih modela koji generišu tekst sleva nadesno, BERT je razvijen tako da prilikom obrade uzima u obzir i levi i desni kontekst određene reči. Zbog toga je postao posebno značajan za zadatke razumevanja i klasifikacije teksta, prepoznavanje odnosa u rečenici i odgovaranje na pitanja.

Razliku možemo pojednostaviti ovako:

• GPT je prirodno usmeren ka generisanju teksta;
• BERT je prvobitno usmeren ka razumevanju i predstavljanju teksta.

Granice danas nisu potpuno oštre, jer se savremeni sistemi razvijaju u različitim smerovima, ali ova podela pomaže da se razumeju njihove osnovne namene.

Transformer

Iako nije akronim, Transformer je jedan od najvažnijih termina AI doba.

Transformer je arhitektura neuronske mreže predstavljena 2017. godine u radu „Attention Is All You Need“. Prvobitno je demonstrirana upravo na zadacima mašinskog prevođenja. Njena ključna inovacija bio je snažan oslonac na mehanizam pažnje, bez potrebe da se sekvenca obrađuje isključivo korak po korak kao kod ranijih rekurentnih mreža.

Mehanizam pažnje omogućava modelu da proceni koji su delovi ulaznog sadržaja posebno važni za tumačenje određenog tokena.

U rečenici:

„Dušan je knjigu stavio na policu jer je tamo bilo slobodnog mesta“

model mora da poveže reč „tamo“ sa policom, a ne sa knjigom ili Dušanom. U mnogo složenijim primerima potrebno je pratiti odnose između pojmova kroz pasuse, dokumente ili razgovore.

Transformer arhitektura omogućila je efikasnije učenje takvih odnosa i postala osnova velikog broja savremenih jezičkih, vizuelnih i multimodalnih modela.

Token, tokenizacija i kontekstualni prozor

Token

Token nije akronim, ali se bez njega ne može razumeti kako funkcionišu jezički modeli.

Model ne mora da čita tekst kao niz celih reči. On tekst razlaže na manje jedinice koje nazivamo tokenima. Token može biti:

• cela kratka reč;
• deo duže reči;
• znak interpunkcije;
• broj;
• razmak ili specijalni simbol;
• kombinacija karaktera.

Različiti modeli koriste različite sisteme tokenizacije. Zato ista rečenica ne mora imati isti broj tokena u svakom sistemu.

Ovo je posebno važno za jezike sa razvijenom morfologijom. Srpski jezik ima padeže, rod, broj, glagolska vremena i veliki broj mogućih oblika iste lekseme.

Reči poput „prevod“, „prevoda“, „prevodima“, „prevođenje“ i „prevodilački“ mogu biti razložene na različite načine.

Ako je model tokom treninga video manje sadržaja na određenom jeziku ili je tokenizacija manje prilagođena njegovoj strukturi, taj jezik može zahtevati više tokena za izražavanje iste količine informacija.

CW – Context Window

CW se povremeno koristi kao skraćenica za Context Window, odnosno kontekstualni prozor.

Kontekstualni prozor predstavlja količinu sadržaja koju model može da uzme u obzir tokom jedne obrade. U njega ulaze korisnički zahtev, prethodne poruke, sistemska uputstva, priloženi dokumenti i drugi podaci dostavljeni modelu.

Veći kontekstualni prozor omogućava rad sa dužim dokumentima, ali ne znači da će svaki detalj biti podjednako dobro shvaćen. Model može da zanemari informaciju, pogrešno poveže udaljene delove teksta ili da važnom detalju ne dodeli dovoljno pažnje.

Za prevod dužih dokumenata zato nije dovoljno samo ubaciti ceo dokument u model. Potrebno je kontrolisati terminologiju, ponavljanja, strukturu, reference, naslove, fusnote i doslednost kroz sve delove teksta.

NLP, NLU i NLG: tri bliska, ali različita pojma

NLP – Natural Language Processing

NLP znači Natural Language Processing, odnosno obrada prirodnog jezika.

To je široka oblast na preseku lingvistike, računarstva i veštačke inteligencije. Bavi se načinima na koje računari analiziraju, razumeju, obrađuju i generišu ljudski jezik.

NLP obuhvata veliki broj zadataka:

• mašinsko prevođenje;
• klasifikaciju teksta;
• analizu sentimenta;
• prepoznavanje imena, mesta i organizacija;
• izdvajanje ključnih informacija;
• proveru sličnosti tekstova;
• automatsko sažimanje;
• odgovaranje na pitanja;
• generisanje sadržaja;
• analizu govora.

Pre pojave savremenih velikih jezičkih modela, mnogi NLP sistemi bili su specijalizovani za samo jedan zadatak. Danas jedan model može da obavlja veliki broj ovih funkcija, iako specijalizovani sistemi u određenim oblastima i dalje mogu biti precizniji.

NLU – Natural Language Understanding

NLU znači Natural Language Understanding, odnosno razumevanje prirodnog jezika.

NLU je deo NLP-a usmeren na tumačenje značenja, namere i odnosa unutar jezičkog sadržaja.

NLU sistem pokušava da utvrdi:

• šta korisnik želi;
• na koga ili šta se odnosi zamenica;
• da li je rečenica pitanje, zahtev ili tvrdnja;
• kakav je odnos između pojmova;
• da li je iskaz pozitivan, negativan ili neutralan;
• da li ista reč u različitim rečenicama ima različito značenje.

Na primer, reč „list“ može označavati deo biljke, stranicu papira ili deo tela. Tačno značenje određuje kontekst.

Kada se kaže da model „razume“ jezik, taj izraz treba koristiti oprezno. Sistem može izuzetno uspešno da prepozna obrasce i semantičke odnose, ali to ne znači da poseduje ljudsko iskustvo, svest ili razumevanje sveta na isti način kao čovek.

NLG – Natural Language Generation

NLG znači Natural Language Generation, odnosno generisanje prirodnog jezika.

NLG obuhvata procese u kojima računar stvara tekst koji treba da bude gramatički ispravan, smislen i prilagođen situaciji.

Primeri NLG-a uključuju:

• pisanje odgovora četbota;
• automatsko sažimanje izveštaja;
• izradu opisa proizvoda;
• pretvaranje podataka iz tabela u tekst;
• preformulisanje sadržaja;
• stvaranje nacrta prevoda;
• prilagođavanje tona i stila.

NLU je, pojednostavljeno, usmeren na pitanje „šta ovaj tekst znači?“, dok NLG odgovara na pitanje „kako da sistem izrazi određeni sadržaj jezikom?“.

MT i NMT: mašinsko prevođenje pre i posle neuronskih mreža

MT – Machine Translation

MT znači Machine Translation, odnosno mašinsko prevođenje.

To je opšti naziv za automatsko prevođenje teksta ili govora sa jednog jezika na drugi.

Prvi sistemi često su se oslanjali na rečnike, gramatička pravila i ručno definisane odnose. Kasnije su razvijeni statistički sistemi koji su birali prevode na osnovu obrazaca pronađenih u paralelnim korpusima.

Savremeno mašinsko prevođenje uglavnom se oslanja na neuronske mreže i velike količine višejezičnih podataka.

NMT – Neural Machine Translation

NMT znači Neural Machine Translation, odnosno neuronsko mašinsko prevođenje.

NMT koristi neuronske mreže za prevođenje čitavih rečenica ili većih segmenata, umesto da tekst obrađuje samo kao zbir zasebnih reči i fraza.

To je donelo prirodniji red reči, bolju gramatičku strukturu i veću sposobnost povezivanja značenja sa kontekstom.

Ipak, tečnost prevoda može da prikrije grešku. Rečenica može zvučati potpuno prirodno, a da je ključni termin preveden pogrešno, da je negacija izostavljena ili da je intenzitet tvrdnje promenjen.

Upravo zato profesionalna evaluacija ne sme da se zasniva samo na pitanju: „Da li prevod lepo zvuči?“ Potrebno je proveriti vernost izvoru, terminološku doslednost, brojke, imena, pravne formulacije i funkciju teksta.

QE – Quality Estimation

QE znači Quality Estimation, odnosno procena kvaliteta.

U mašinskom prevođenju QE sistemi pokušavaju da procene kvalitet prevoda bez direktnog poređenja sa unapred pripremljenim idealnim prevodom.

Sistem može da označi segmente za koje pretpostavlja da zahtevaju dodatnu proveru. To je korisno kada se obrađuje veliki broj dokumenata, ali QE nije zamena za stručnu reviziju, naročito kada su posledice greške značajne.

PEMT – Post-Editing of Machine Translation

PEMT označava Post-Editing of Machine Translation, odnosno posteditovanje mašinskog prevoda.

To je proces u kojem profesionalni prevodilac pregleda i ispravlja automatski generisan prevod.

Razlikuju se:

• light post-editing, kada je cilj da tekst bude razumljiv i funkcionalan;
• full post-editing, kada rezultat treba da bude na nivou kvalitetnog ljudskog prevoda.

Posteditovanje nije obično lektorisanje. Prevodilac mora istovremeno da poredi izvor i prevod, prepoznaje tipične greške sistema, proverava terminologiju i sprečava da prividno prirodna formulacija promeni originalno značenje.

Embeddings, RAG i način na koji model dolazi do dodatnih informacija

Embeddings

Embeddings, odnosno vektorske reprezentacije, numerički predstavljaju značenje određenog sadržaja.

Rečenica, pasus, slika ili dokument pretvaraju se u niz brojeva. Sadržaji sa sličnim značenjem dobijaju bliže pozicije u višedimenzionalnom matematičkom prostoru.

Zbog toga sistem može da zaključi da su rečenice:

„Potrebno mi je prevođenje ugovora“

i

„Tražim prevodioca za pravnu dokumentaciju“

semantički slične, iako ne koriste iste reči.

Embeddings se koriste za semantičku pretragu, preporuke, grupisanje dokumenata, prepoznavanje sličnosti i pronalaženje sadržaja koji treba proslediti jezičkom modelu. Savremeni embedding modeli mogu da predstavljaju ne samo tekst već i slike, zvuk, video i PDF dokumente u zajedničkom prostoru.

RAG – Retrieval-Augmented Generation

RAG znači Retrieval-Augmented Generation, odnosno generisanje potpomognuto pronalaženjem informacija.

Veliki jezički model ne mora imati pouzdane ili aktuelne informacije o svakoj temi. RAG sistem zato pre generisanja odgovora pretražuje određenu zbirku dokumenata, pronalazi relevantne delove i ubacuje ih u kontekst modela.

Tipičan proces izgleda ovako:

1. korisnik postavlja pitanje;
2. sistem pretvara pitanje u vektorsku reprezentaciju;
3. pronalaze se semantički slični delovi dokumenata;
4. pronađeni sadržaj prosleđuje se modelu;
5. model sastavlja odgovor na osnovu pitanja i dodatog konteksta.

Za prevodilačku agenciju RAG može da omogući pristup odobrenim terminološkim bazama, ranijim prevodima, stilskim priručnicima, ugovorima, tehničkoj dokumentaciji ili internim pravilima klijenta.

Ipak, RAG ne garantuje tačnost. Sistem može pronaći nerelevantan, zastareo ili međusobno protivrečan dokument. Može i pogrešno protumačiti dobar izvor. Istraživanja zato naglašavaju da kvalitet pronađenog konteksta presudno utiče na kvalitet konačnog odgovora.

GraphRAG

GraphRAG je naziv za pristupe koji kombinuju RAG sa grafovima znanja i odnosima između entiteta.

Klasična semantička pretraga može pronaći pasuse koji liče na korisničko pitanje. Međutim, nekada je važno pratiti složenu mrežu odnosa: ko je vlasnik kompanije, koji propis menja prethodni propis, koja komponenta pripada određenom uređaju ili koji termin je dozvoljen za određeno tržište.

GraphRAG pokušava da očuva upravo takve veze, umesto da dokument posmatra samo kao kolekciju izdvojenih tekstualnih fragmenata.

KG – Knowledge Graph

KG znači Knowledge Graph, odnosno graf znanja.

Graf znanja organizuje podatke kroz entitete i njihove odnose. Umesto običnog spiska informacija, dobija se struktura poput:

• kompanija proizvodi određeni proizvod;
• proizvod pripada određenoj kategoriji;
• dokument je vezan za određeni propis;
• stručni termin ima odobren prevod;
• prevod važi samo za određeno tržište.

Za višejezične sisteme graf znanja može pomoći da isti pojam ostane pravilno povezan kroz različite jezike i dokumente.

SLM, VLM i MLLM: modeli više nisu samo veliki i tekstualni

SLM – Small Language Model

SLM znači Small Language Model, odnosno mali jezički model.

SLM ima manje parametara i obično zahteva manje računarskih resursa od velikog modela. Može se izvršavati lokalno, na slabijem hardveru ili u kontrolisanom poslovnom okruženju.

Mali modeli mogu biti veoma korisni za jasno ograničene zadatke:

• klasifikaciju dokumenata;
• prepoznavanje jezika;
• izdvajanje podataka;
• rad sa internom terminologijom;
• proveru određenih obrazaca;
• lokalnu obradu osetljivih sadržaja.

Izbor između SLM-a i LLM-a ne svodi se na pitanje koji je „pametniji“. Važni su namena, troškovi, brzina, privatnost, složenost zadatka i potreban nivo kontrole.

VLM – Vision-Language Model

VLM znači Vision-Language Model, odnosno vizuelno-jezički model.

VLM povezuje obradu slike i jezika. Može da analizira fotografiju, dokument, grafikon, dijagram ili snimak ekrana i da o tome odgovara tekstom.

Za prevodilačku praksu to znači da model može da pokuša da:

• pročita tekst sa fotografije;
• razume raspored elemenata u dokumentu;
• opiše grafikon;
• poveže natpis sa slikom;
• prepozna gde se tekst nalazi u korisničkom interfejsu;
• prevede sadržaj koji nije dostavljen kao običan tekst.

Ipak, vizuelni model može pogrešno pročitati sitna slova, pomešati kolone, zanemariti fusnotu ili pogrešno protumačiti grafički odnos elemenata.

MLLM – Multimodal Large Language Model

MLLM znači Multimodal Large Language Model, odnosno multimodalni veliki jezički model.

Takav model radi sa više vrsta sadržaja, odnosno modaliteta:

• tekstom;
• slikama;
• zvukom;
• videom;
• dokumentima;
• tabelama;
• ponekad i podacima iz drugih sistema.

Multimodalnost je važna zato što ljudska komunikacija nikada nije bila samo tekstualna. Značenje se često nalazi u kombinaciji reči, glasa, izgleda dokumenta, ilustracije, gestova i konteksta.

ASR, STT, TTS i OCR: kada AI sluša, govori i čita slike

ASR – Automatic Speech Recognition

ASR znači Automatic Speech Recognition, odnosno automatsko prepoznavanje govora.

ASR pretvara izgovoreni govor u tekst. Koristi se za transkripciju sastanaka, intervjua, predavanja, telefonskih razgovora, video-sadržaja i titlova.

Sistem mora da se izbori sa različitim akcentima, brzinom govora, šumom, preklapanjem govornika, stručnom terminologijom i nejasnim izgovorom. Whisper je, na primer, predstavljen kao višejezični ASR sistem obučen na velikoj količini raznovrsnih audio-podataka, sa mogućnošću transkripcije i prevođenja govora.

STT – Speech-to-Text

STT znači Speech-to-Text, odnosno pretvaranje govora u tekst.

STT se u praksi često koristi gotovo kao sinonim za ASR. Razlika je uglavnom u perspektivi: ASR označava oblast i tehnologiju prepoznavanja govora, dok STT opisuje konkretnu funkciju pretvaranja audio-signala u pisani tekst.

TTS – Text-to-Speech

TTS znači Text-to-Speech, odnosno pretvaranje teksta u govor.

TTS sistem iz pisanog sadržaja generiše zvučni govor. Savremeni sistemi mogu menjati glas, tempo, intonaciju, emocionalni ton i izgovor.

Za višejezične projekte posebno je važno proveriti:

• pravilan izgovor imena;
• naglasak;
• čitanje skraćenica;
• prirodnost pauza;
• izgovor brojeva i datuma;
• prilagođenost lokalnom jezičkom standardu.

OCR – Optical Character Recognition

OCR znači Optical Character Recognition, odnosno optičko prepoznavanje znakova.

OCR pretvara tekst sa skeniranih stranica, fotografija i slika u mašinski čitljiv sadržaj.

OCR je često prvi korak u obradi starih ugovora, knjiga, računa, potvrda i arhivskih dokumenata. Međutim, greške u prepoznavanju mogu kasnije postati greške u prevodu.

Broj „1“ može biti pročitan kao slovo „I“, slovo „O“ kao nula, a dijakritički znaci mogu nestati. Zbog toga OCR rezultat mora biti pregledan pre nego što se prepusti daljoj automatskoj obradi.

HTR – Handwritten Text Recognition

HTR znači Handwritten Text Recognition, odnosno prepoznavanje rukopisa.

Za razliku od OCR-a, koji je prvenstveno usmeren na štampani tekst, HTR pokušava da prepozna rukom napisani sadržaj. To je posebno zahtevno zbog individualnih rukopisa, povezanih slova, prepravki i oštećenih istorijskih dokumenata.

ML, DL, NN i druge osnove mašinskog učenja

AI – Artificial Intelligence

AI znači Artificial Intelligence, odnosno veštačka inteligencija.

To je najširi pojam u ovom rečniku. Obuhvata sisteme koji obavljaju zadatke povezane sa učenjem, zaključivanjem, prepoznavanjem obrazaca, jezikom, percepcijom, planiranjem i donošenjem odluka.

Nije svaki AI sistem generativan, nije svaki zasnovan na velikom jezičkom modelu i nije svaki napravljen pomoću dubokog učenja.

ML – Machine Learning

ML znači Machine Learning, odnosno mašinsko učenje.

Kod klasičnog programiranja čovek piše pravila koja sistem treba da prati. Kod mašinskog učenja sistem pronalazi obrasce u podacima i na osnovu njih uči da pravi procene ili klasifikacije.

ML se koristi za filtriranje neželjene pošte, prepoznavanje govora, preporuke, procenu rizika, analizu teksta i brojne druge zadatke.

DL – Deep Learning

DL znači Deep Learning, odnosno duboko učenje.

To je podoblast mašinskog učenja zasnovana na neuronskim mrežama sa velikim brojem slojeva. Duboko učenje omogućilo je značajan napredak u obradi jezika, slike, zvuka i videa.

Odnos između ovih pojmova može se predstaviti ovako:

AI je najšira oblast, ML je njen deo, a DL je deo mašinskog učenja.

NN i ANN – Neural Network i Artificial Neural Network

NN znači Neural Network, a ANN Artificial Neural Network.

Oba izraza označavaju neuronsku mrežu, matematički sistem sastavljen od povezanih jedinica koje obrađuju podatke i prilagođavaju svoje parametre tokom učenja.

Naziv je inspirisan biološkim neuronima, ali veštačke neuronske mreže nisu digitalne kopije ljudskog mozga. Sličnost je pre svega metaforička i organizaciona.

RNN – Recurrent Neural Network

RNN znači Recurrent Neural Network, odnosno rekurentna neuronska mreža.

RNN je dizajnirana za obradu sekvencijalnih podataka, kao što su tekst, govor ili vremenske serije. Informacije iz prethodnih koraka utiču na obradu narednih.

Pre dominacije Transformera, RNN i njene varijante imale su važnu ulogu u mašinskom prevođenju i obradi govora.

CNN – Convolutional Neural Network

CNN znači Convolutional Neural Network, odnosno konvolutivna neuronska mreža.

CNN je posebno značajna u računarskom vidu. Koristi se za prepoznavanje objekata, lica, oblika, rukopisa i različitih vizuelnih obrazaca.

Iako su transformeri danas veoma prisutni i u obradi slika, CNN ostaje važan deo istorije i savremene prakse mašinskog učenja.

GenAI, GAN i difuzioni modeli

GenAI – Generative Artificial Intelligence

GenAI znači Generative Artificial Intelligence, odnosno generativna veštačka inteligencija.

Generativna AI stvara novi sadržaj:

• tekst;
• sliku;
• govor;
• muziku;
• video;
• programski kod;
• trodimenzionalne objekte;
• sintetičke podatke.

„Novi“ sadržaj ne znači da je sistem kreativan na isti način kao čovek. Model stvara rezultate na osnovu obrazaca naučenih iz podataka, korisničkog zahteva i matematičkog procesa generisanja.

GAN – Generative Adversarial Network

GAN znači Generative Adversarial Network, odnosno generativna suparnička mreža.

GAN se sastoji od dva sistema:

• generatora, koji pokušava da napravi uverljiv sadržaj;
• diskriminatora, koji pokušava da razlikuje generisani sadržaj od stvarnog.

Tokom treninga oni se međusobno nadmeću, pa generator postepeno postaje bolji.

GAN modeli imali su veliku ulogu u razvoju generisanja slika, sintetičkih lica i vizuelnih transformacija.

DDPM – Denoising Diffusion Probabilistic Model

DDPM znači Denoising Diffusion Probabilistic Model.

Difuzioni modeli uče da stvaraju sadržaj tako što postepeno uklanjaju šum iz početnog nasumičnog signala. Proces možemo zamisliti kao sliku koja se korak po korak pojavljuje iz vizuelnog šuma.

Ovi modeli postali su veoma važni u generisanju i uređivanju slika, a postoje i primene u zvuku, videu i drugim oblastima.

T2I, I2I i T2V

Ovi akronimi opisuju smer generisanja:

• T2I – Text-to-Image: tekst u sliku;
• I2I – Image-to-Image: slika u izmenjenu sliku;
• T2V – Text-to-Video: tekst u video;
• I2T – Image-to-Text: slika u tekst;
• A2T – Audio-to-Text: zvuk u tekst;
• T2A – Text-to-Audio: tekst u zvuk.

Ovakve skraćenice korisne su jer brzo opisuju koji modalitet sistem prima, a koji proizvodi.

SFT, RLHF, DPO, PEFT i LoRA: kako se modeli dodatno prilagođavaju?

SFT – Supervised Fine-Tuning

SFT znači Supervised Fine-Tuning, odnosno nadgledano dodatno obučavanje.

Nakon osnovnog treninga, model se dodatno trenira na primerima poželjnog ponašanja. Dobija parove u kojima se vidi kako bi trebalo odgovoriti na određeni zahtev.

SFT može da pomogne modelu da prati instrukcije, koristi određeni format, govori određenim stilom ili bolje obavlja specifičnu vrstu zadatka.

RLHF – Reinforcement Learning from Human Feedback

RLHF znači Reinforcement Learning from Human Feedback, odnosno učenje potkrepljivanjem na osnovu ljudskih povratnih informacija.

Ljudi upoređuju različite odgovore modela i označavaju koje smatraju boljim. Na osnovu tih procena formira se signal koji se koristi za dalje prilagođavanje ponašanja sistema.

Cilj nije samo da tekst bude jezički verovatan već da odgovor bude korisniji, relevantniji i više usklađen sa ljudskim očekivanjima. RLHF je imao značajnu ulogu u razvoju modela koji bolje prate korisničke instrukcije.

DPO – Direct Preference Optimization

DPO znači Direct Preference Optimization, odnosno direktna optimizacija preferencija.

DPO je metod kojim se model prilagođava na osnovu poređenja poželjnih i nepoželjnih odgovora, ali bez svih složenih koraka klasičnog RLHF postupka. Razvijen je kao jednostavniji i računarski lakši način usklađivanja modela sa ljudskim preferencijama.

PEFT – Parameter-Efficient Fine-Tuning

PEFT znači Parameter-Efficient Fine-Tuning, odnosno parametarski efikasno dodatno obučavanje.

Umesto da se menjaju svi parametri velikog modela, PEFT metode prilagođavaju samo mali deo parametara ili dodaju manje komponente koje se posebno treniraju.

Na taj način smanjuju se troškovi, potrebna memorija i vreme obuke, dok se osnovni model zadržava.

LoRA – Low-Rank Adaptation

LoRA znači Low-Rank Adaptation.

To je jedna od najpoznatijih PEFT metoda. Umesto menjanja čitavih velikih matrica modela, LoRA uvodi manje matrice koje se treniraju za određeni zadatak ili stil.

LoRA se koristi za prilagođavanje jezičkih i vizuelnih modela određenom domenu, načinu izražavanja, vrsti sadržaja ili specifičnoj nameni, uz znatno manje resursa nego kod potpunog dodatnog obučavanja.

MoE – Mixture of Experts

MoE znači Mixture of Experts, odnosno mešavina eksperata.

Kod ove arhitekture model sadrži više specijalizovanih delova, ali se za svaki ulaz aktivira samo određeni broj njih. Poseban mehanizam odlučuje koji „eksperti“ treba da obrade određeni token ili zadatak.

Prednost je mogućnost izgradnje modela sa veoma velikim ukupnim kapacitetom, bez potrebe da se za svaki zahtev aktiviraju svi njegovi parametri.

Naziv „ekspert“ ne treba shvatiti kao stručnjaka u ljudskom smislu. To je tehnički naziv za određeni deo mreže koji je tokom treninga postao specijalizovan za pojedine obrasce.

AI agenti, MCP i sistemi koji ne proizvode samo tekst

AI agent

AI agent je sistem koji ne odgovara samo tekstom već može da planira korake, koristi alate, pristupa spoljnim izvorima i izvršava radnje.

Na primer, agent može da:

1. primi dokument;
2. utvrdi jezik i vrstu sadržaja;
3. izdvoji terminologiju;
4. pronađe relevantnu bazu;
5. pripremi nacrt prevoda;
6. označi nejasne segmente;
7. prosledi rezultat ljudskom prevodiocu;
8. sačuva potvrđenu verziju u odgovarajući sistem.

Granica između običnog automatizovanog procesa i AI agenta nije uvek jasna. Bitna razlika je u tome što agent u određenoj meri sam bira kako će doći do cilja, umesto da samo prati potpuno fiksiran niz koraka.

MCP – Model Context Protocol

MCP znači Model Context Protocol.

To je otvoreni standard koji omogućava povezivanje AI aplikacija sa spoljnim podacima, poslovnim alatima i različitim sistemima. Umesto da se za svaki model i svaki izvor pravi potpuno posebno povezivanje, MCP definiše zajednički način komunikacije.

Pojednostavljeno, MCP može pomoći modelu da pristupi:

• bazi dokumenata;
• terminološkom sistemu;
• kalendaru;
• poslovnoj aplikaciji;
• sistemu za upravljanje projektima;
• internim podacima;
• specijalizovanim alatima.

Važno je da povezivanje modela sa alatima povećava i njegove mogućnosti i rizike. Sistem koji samo predlaže tekst ima manji operativni uticaj od sistema koji može da pošalje dokument, promeni zapis ili pokrene poslovni proces.

MAS – Multi-Agent System

MAS znači Multi-Agent System, odnosno višeagentski sistem.

U njemu više agenata sarađuje na zadatku. Jedan može da analizira dokument, drugi da proverava terminologiju, treći da ocenjuje kvalitet, a četvrti da upravlja tokom rada.

Ovakav sistem ne mora uvek biti bolji od jednog dobro podešenog modela. Više agenata znači i više mogućnosti za pogrešnu komunikaciju, dupliranje posla i prenošenje greške iz jednog koraka u drugi.

ANI, AGI i ASI: tri nivoa sposobnosti o kojima se mnogo govori

ANI – Artificial Narrow Intelligence

ANI znači Artificial Narrow Intelligence, odnosno uska ili specijalizovana veštačka inteligencija.

ANI je napravljena za ograničenu grupu zadataka. To može biti sistem za prepoznavanje govora, preporuku sadržaja, klasifikaciju dokumenata ili detekciju objekata.

Većina sistema koje danas praktično koristimo može se svrstati u ovu široku kategoriju, čak i kada deluju veoma fleksibilno.

AGI – Artificial General Intelligence

AGI znači Artificial General Intelligence, odnosno opšta veštačka inteligencija.

Ne postoji jedna opšteprihvaćena i precizna definicija AGI-ja. Najčešće se pod tim podrazumeva sistem sposoban da uspešno obavlja veliki broj intelektualnih zadataka, prilagođava se novim situacijama i prenosi znanje iz jedne oblasti u drugu na nivou uporedivom sa ljudskim sposobnostima.

Problem je što se kriterijumi razlikuju. Da li je potrebna samostalnost, sposobnost učenja u realnom vremenu, razumevanje fizičkog sveta, dugoročno planiranje ili uspešnost na većini ekonomskih zadataka? Od odgovora zavisi i procena da li je AGI blizu, daleko ili uopšte dobro definisan cilj.

ASI – Artificial Superintelligence

ASI znači Artificial Superintelligence, odnosno veštačka superinteligencija.

To je hipotetički sistem koji bi u velikom broju kognitivnih oblasti značajno nadmašivao najbolje ljudske sposobnosti.

ASI za sada pripada teorijskim raspravama, procenama budućnosti i pitanjima bezbednosti. Ne treba ga mešati sa današnjim jezičkim modelima, bez obzira na to koliko njihovi pojedini odgovori mogu delovati impresivno.

XAI, RAI i HITL: zašto je važna kontrola AI sistema?

XAI – Explainable Artificial Intelligence

XAI znači Explainable Artificial Intelligence, odnosno objašnjiva veštačka inteligencija.

Cilj XAI pristupa jeste da ljudima učini razumljivijim kako je sistem došao do odluke ili procene.

Kod složenih modela to nije jednostavno. Jezički model može da proizvede objašnjenje svog odgovora, ali to objašnjenje nije nužno veran zapis stvarnog unutrašnjeg procesa.

U oblastima kao što su medicina, pravo, finansije i javna uprava nije dovoljno da sistem samo pruži odgovor. Potrebno je znati na kojim podacima je odgovor zasnovan, koje su njegove granice i ko snosi odgovornost.

RAI – Responsible Artificial Intelligence

RAI znači Responsible Artificial Intelligence, odnosno odgovorna veštačka inteligencija.

Ovaj pojam obuhvata razvoj i primenu AI sistema uz razmatranje:

• pravičnosti;
• privatnosti;
• bezbednosti;
• transparentnosti;
• odgovornosti;
• pouzdanosti;
• ljudskog nadzora;
• mogućih društvenih posledica.

Za prevodilačke agencije RAI uključuje i pitanje da li osetljivi dokumenti smeju biti poslati određenom sistemu, gde se podaci obrađuju, da li se čuvaju i da li se koriste za dalju obuku.

HITL – Human in the Loop

HITL znači Human in the Loop, odnosno čovek uključen u proces.

To je pristup u kojem čovek proverava, odobrava, koriguje ili usmerava rad AI sistema.

U prevodilaštvu HITL može značiti da model priprema nacrt, pronalazi termine ili označava problematične segmente, dok profesionalni prevodilac donosi konačne odluke.

HITL ne znači samo da se čovek formalno pojavljuje na kraju procesa. Da bi nadzor imao smisla, osoba mora imati dovoljno vremena, stručnosti, pristupa izvoru i mogućnosti da zaista promeni rezultat.

BLEU, COMET, WER i CER: kako se ocenjuje rezultat?

BLEU – Bilingual Evaluation Understudy

BLEU je jedna od poznatijih metrika za automatsku procenu mašinskog prevoda.

Ona poredi generisani prevod sa jednim ili više referentnih prevoda, pre svega kroz podudaranje nizova reči.

Prednost BLEU metrike jeste mogućnost brzog poređenja velikog broja rezultata. Slabost je to što dobar prevod ne mora koristiti iste reči kao referentni prevod, dok tekst sa sličnim rečima ne mora uvek imati isto značenje.

COMET – Crosslingual Optimized Metric for Evaluation of Translation

COMET je neuronska metrika za procenu prevoda koja pokušava da uzme u obzir semantiku izvornika, prevoda i, kada je dostupan, referentnog prevoda.

Takve metrike često bolje prepoznaju značenjsku sličnost od jednostavnog brojanja podudarnih reči. Ipak, nijedna automatska metrika ne može potpuno zameniti stručnu procenu prevoda u konkretnom kontekstu.

WER – Word Error Rate

WER znači Word Error Rate, odnosno stopa grešaka na nivou reči.

Najčešće se koristi za procenu sistema za prepoznavanje govora. Računa koliko je reči zamenjeno, izostavljeno ili dodato u odnosu na tačnu transkripciju.

CER – Character Error Rate

CER znači Character Error Rate, odnosno stopa grešaka na nivou znakova.

Koristi se kod prepoznavanja govora, OCR-a i HTR-a. Posebno može biti korisna kod jezika ili dokumenata kod kojih greška u jednom slovu menja ime, broj, oznaku ili stručni termin.

Akronimi treba da olakšaju razumevanje, a ne da ga zamene

Akronimi su neizbežan deo svake oblasti koja se brzo razvija. Oni stručnjacima omogućavaju da složene pojmove označe sa nekoliko slova, ali istovremeno lako postaju prepreka ljudima koji tek ulaze u oblast.

Najvažnije je razumeti odnose između pojmova.

AI je široko polje. ML je jedan od načina razvoja AI sistema. DL je deo mašinskog učenja. NLP se bavi obradom jezika. LM je model jezika, dok je LLM njegova velika i fleksibilna savremena varijanta. Transformer je arhitektura na kojoj su zasnovani brojni poznati modeli. RAG omogućava modelu da pre odgovora pronađe dodatni sadržaj. VLM povezuje sliku i jezik. ASR pretvara govor u tekst. TTS pretvara tekst u govor. MCP povezuje modele sa podacima i alatima.

Za ljude koji se profesionalno bave prevođenjem, najvažnije pitanje ipak nije koliko akronima poznaju, već koliko dobro razumeju mogućnosti i ograničenja sistema koji se iza njih kriju.

Veštačka inteligencija može ubrzati rad, pomoći pri obradi velikih količina sadržaja, pronaći terminološke obrasce i ponuditi koristan nacrt. Ali jezik nije samo statistički niz reči. U njemu se nalaze pravo, identitet, kultura, emocija, odgovornost i namera.

Zbog toga će u AI dobu biti sve važniji stručnjaci koji razumeju i jezik i tehnologiju. Ne zato da bi se takmičili sa modelima u brzini generisanja, već da bi znali kada je rezultat dobar, kada samo zvuči dobro i kada jedna naizgled mala jezička razlika potpuno menja značenje.