Možda se sjećate da je u siječnju 2025. DeepSeek objavio model s rezultatima u istom rangu kao najbolje što je OpenAI tada imao. Treniran je za račun najma GPU-ova koji je na proračunu OpenAI-ja bio tek zaokruživanje. Uz to su težine podijelili besplatno. Tada su neki to otpisali kao slučajnost, jednokratni pogodak domišljatog laboratorija pod strogim sankcijama. Osamnaest mjeseci kasnije dobivamo ponavljanje, ovaj put od Moonshota. Njihov novi Kimi K3, model otvorenih težina s 2,8 bilijuna parametara, zauzeo je prvo mjesto na Frontend Code Areni, ispred Claudea Fable 5 koji se u javnosti opisuje kao pitanje nacionalne sigurnosti. Nekoliko dana poslije stigla je Alibaba s Qwenom 3.8 na 2,4 bilijuna parametara, također otvorenim. Jasno je da ovo nije jednokratna pojava. I ljudima unutar zatvorenih laboratorija to stvara nervozu.
Postavite to ovako. Jedan trening vrhunskog modela stoji između 100 i 500 milijuna dolara samo u računalnoj snazi, na klasterima od desetaka tisuća GPU-ova koji rade mjesecima. Prije nego što uračunate plaće istraživača, neuspjele treninge i ugovore o podacima. Cijeli posao sa zatvorenim modelima počiva na ideji da vam ta potrošnja kupuje nešto što drugi neko vrijeme nemaju, barem dovoljno dugo da pristup tome prodajete uz solidnu maržu. Kada kineski laboratorij pod izvoznim ograničenjima dosegne većinu te sposobnosti i težine podijeli besplatno, marža je ono što je ugroženo. Ali kako otvoreni laboratoriji to zapravo izvode?
Destilacija
Prvo objašnjenje koje ljudi nude je destilacija. Ono ima temelja, ali nije cijela priča. Destilacija trenira mali studentski model da kopira izlaze velikog učiteljskog modela, i to tako da pogađa i konačne odgovore učitelja i cijelu razdiobu vjerojatnosti nad sljedećim tokenima.
Student time nasljeđuje velik dio naučene strukture učitelja bez troška vlastitog otkrivanja. DeepSeek je to napravio unutar vlastite obitelji modela, destilirajući dugo lančano zaključivanje iz modela R1 natrag u V3, a tehnika prenosi ponašanje zaključivanja u jeftiniji paket uz djelić izvornog troška.
Ako vrhunski model ispitujete preko API-ja, načelno generirate podatke za treniranje koji nose dio njegove inteligencije. To je verzija priče koja dopušta tvrdnju da je 95 posto sposobnosti kopirano za sitniš.
Problem je što destilacija ne objašnjava zašto ti modeli dostižu modele vodećih laboratorija. U agentskim programerskim sesijama, primjerice, djeluju ravnopravno s najboljim javno dostupnim modelima. Sposobnost koju vam učitelj neće pokazati u vjernosti koja vam treba ne možete destilirati. Agentsko programiranje traje dugo, nosi stanje i puno je poziva alata, a kopiranje nekoliko tisuća API odgovora ne daje vam model koji se drži kroz kontekst od milijun tokena. Destilacija dovodi brzog sljedbenika većinu puta do poznatog cilja na uskim zadacima. Ne dovodi ga na vrh slijepe programerske arene. Teži dio posla radi nešto drugo.
Arhitektura: ograničenja kao pokretač napretka
Izvozna ograničenja trebala su onesposobiti kineske laboratorije uskraćivanjem najbržih GPU-ova, a umjesto toga djelovala su kao poticaj na učinkovitost i pametnija rješenja. Laboratorij koji ne kupuje više FLOPS-a mora ih zaraditi kroz dizajn. To je dio priče koji zatvoreni laboratoriji najmanje žele da bude istinit, jer znači da razlika nije samo u tome tko ima više računalne snage.
Krenite od mješavine stručnjaka, koja je danas industrijski standard i koju kineski laboratoriji guraju jače od ikoga. Gusti model pokreće svaki parametar za svaki token, pa bi gusti model s 2,8 bilijuna parametara bio neupotrebljiv. Kimi K3 dijeli mrežu na 896 stručnjaka i po tokenu aktivira njih 16, otprilike 1,8 posto modela u svakom trenutku, pa nosi kapacitet znanja modela s 2,8 bilijuna parametara uz računalni trošak nečega mnogo manjeg u svakom prolazu. K2 je aktivirao oko 2 posto modela s bilijun parametara, što znači da je K3 povećao ukupnu veličinu i istodobno smanjio omjer aktivacije, skalirajući kapacitet uz gotovo ravan trošak po tokenu. Onih 880 stručnjaka koji na pojedinom tokenu miruju jeftini su za pohranu i skupi tek kada ih usmjerivač odabere, a natjerati taj usmjerivač da razumno bira iz 896 opcija bez urušavanja na šačicu miljenika poseban je težak problem. Kimi ga je riješio shemom uravnoteženja temeljenom na percentilima umjesto uobičajenim namještanjem pristranosti.
Zatim je tu mehanizam pažnje, gdje se nedavni pomaci koncentriraju. Trošak standardne pažnje raste s kvadratom duljine konteksta, pa je prozor od milijun tokena pod klasičnom pažnjom financijski besmislen, i kineski laboratoriji najagresivnije su je zamjenjivali. DeepSeekova Multi-head Latent Attention komprimira predmemoriju ključeva i vrijednosti u latentni vektor niskog ranga, a upravo ta memorija dominira troškom izvođenja na dugom kontekstu. Kimi K3 ide dalje s linearnom varijantom koju zovu Kimi Delta Attention, isprepletenom tri prema jedan sa slojevima pune pažnje. Ona modelu daje memoriju rekurentnog tipa koja opada i ažurira se kanal po kanal umjesto da ponovno računa pažnju nad cijelom poviješću, a prijavljeni rezultat je šest puta veća propusnost dekodiranja bez pada kvalitete. Treniranje u FP8 formatu, latentna kompresija, rijetko usmjeravanje i linearna pažnja nisu marketinški trikovi. To je razlika između modela koji je pod stropom računalne snage ekonomski isplativo trenirati i posluživati i onoga koji nije, a u produkciju su ih dogurali laboratoriji koji nisu imali izbora.
Povrh arhitekture stoji prednost brzog sljedbenika, i ona je više strukturna nego domišljata. Laboratorij koji negdje stigne prvi plaća porez na istraživanje, izvodi eksperimente u slijepim ulicama, trenira modele koji ne rade i potrošnjom otkriva koji su smjerovi stvarni. Drugi laboratorij zna da odredište postoji prije nego što krene, što urušava prostor pretrage. Saznanje da MoE model s 2,8 bilijuna parametara i linearnom pažnjom doseže vrhunske rezultate u programiranju vrijedi ogromno kada sjednete graditi takav model. Zbog toga se razmak između pojave zatvorene sposobnosti i trenutka kada je otvoreni model dostigne stalno smanjuje prema rasponu od tri do šest mjeseci, a taj se razmak zbraja protiv onoga tko plaća da bude prvi.
Ali kako je onda tako jeftino?
Okvir u kojem se model od 100 milijuna dolara kopira za nekoliko milijuna zvuči dobro i preživljava prvi kontakt s detaljima samo dok ne gledate pomno. Široko citiranih 5,5 milijuna dolara za DeepSeek V3 zapravo je 2,788 milijuna sati H800 GPU-a po dva dolara na sat, a DeepSeek je u vlastitom izvještaju otvoreno napisao da ta brojka isključuje kapitalni trošak sklopovlja, prethodno istraživanje, ablacije i treninge na arhitekturama koje nisu objavljene. Granični trošak posljednjeg uspješnog treninga bio je nizak. Ukupni trošak toga da budete laboratorij sposoban izvesti taj trening nije bio, a to dvoje se miješa svaki put kada netko ponovi brojku.
Posluživanje je mjesto gdje jeftina priča postaje tanja. Kimi K3 bio je pri izlasku toliko popularan da su Moonshotovi vlastiti GPU-ovi ostali bez kapaciteta pa su počeli odbijati platežne korisnike, uz rasprodane plaćene razine. U praksi to ne izgleda kao neograničena jeftina inteligencija. Dean Ball primijetio je da model u radu djeluje gladan tokena, a neovisna mjerenja potvrdila su zabrinutost. Artificial Analysis izmjerio je stopu halucinacija od 51 posto i sklonost ispisivanju daleko više tokena nego što zadatak traži, pa vas model jeftiniji po tokenu i dalje košta više po dovršenom zadatku, uz to da polovicu izmišljenog pogriješi.
Besplatne težine ne čine model besplatnim za pokretanje. I dalje trebate ormar podatkovnih GPU-ova da zadržite model s 2,8 bilijuna parametara čak i kvantiziran, a same brojke s mjerila dijelom su nastale u Moonshotovu vlastitom programerskom okviru dok su konkurenti mjereni u drugima, što je vrsta asimetrije koja laska domaćinu. Sposobnost je stvarna i popust je stvaran. Popust je manji i neuredniji od naslova, a naslov je verzija koja radi politički posao.
Što zatvoreni laboratoriji zapravo brane
Kada vidite da su otvoreni modeli koliko-toliko jeftini, brzi sljedbenici i uistinu dobri, reakcija zatvorenih laboratorija čita se kao poslovni odgovor odjeven u sigurnosni argument. Dean Ball na Twitteru je podigao dosta prašine nazvavši modele otvorenih težina "inherentno usporavajućima" jer "odvraćaju daljnja kapitalna ulaganja", što je drugi način da se kaže da ruše povrat na trening od 500 milijuna dolara time što približnu kopiju čine besplatnom u roku od nekoliko mjeseci. Otvoreno je iznio i što bi po tom pitanju volio vidjeti. Zabrana otvorenog koda otpada, politički je glupa i pravno teška. Umjesto toga, dovoljno tihih upozorenja saveznih agencija o stražnjim vratima u kineskim modelima da se svako regulirano poduzeće samo povuče. Proizvedite regulatorni rizik i pustite strah da čuva vrata. Tržišta predviđanja stavljaju izglede za izravnu američku zabranu kineskih modela na oko 29 posto, pa je put kroz širenje straha vjerojatniji upravo zato što ga je lako poricati.
Tako sada imate situaciju u kojoj se na Svjetskoj konferenciji o umjetnoj inteligenciji kineska država postavila kao najglasniji zagovornik otvorene i slobodne umjetne inteligencije, dok je Silicijska dolina zagovarala regulaciju i kontrolu. Treba reći da su obje pozicije interesne, a ne načelne. Kina otvara izvorni kod dijelom zato što su njezini laboratoriji korak iza vrha, a nitko ne plaća vlasnički model koji nije na vrhu. Dijelom i zato što su ih izvozna ograničenja ostavila kratkima s računalnom snagom za izvođenje kakva bi trebala za velik plaćeni API, pa davanje težina slabost pretvara u distribuciju i prepoznatljivost.
Zatvorenim laboratorijima ostaje teren koji nije sam model. Kako cijena određene razine inteligencije pada prema nuli, statične težine prestaju biti obranjive same za sebe, a tržišna prednost seli na ono što otvorene težine ne isporučuju: duboku integraciju s privatnim podacima tvrtke, agentske petlje koje vode višekoračno izvršavanje kroz stvarne alate i distribuciju s niskom latencijom ugrađenu u proizvode koje ljudi već koriste. To je oklada koju OpenAI i Anthropic zapravo igraju, da model postaje roba, i ta oklada izgleda sve razumnije. Ujedno je i povlačenje s pozicije koju su držali prije dvije godine, kada je sam model bio i proizvod i prednost, a razlog povlačenja je hrpa modela otvorenih težina iz laboratorija za koje se pretpostavljalo da su previše ograničeni da bi ih izgradili.
Pošteno je reći ovako: modeli otvorenih težina nisu pobijedili time što su jeftiniji, pobijedili su time što su besplatni i što napreduju po rasporedu zbog kojeg je premiju za zatvorene modele sve teže opravdati za rastući udio primjena.
