Þarf enn reglur í þróun máltækni?

Fyrir fáeinum árum stundaði ég doktorsnám í máltækni. Viðfangsefni doktorsnámsins var að miklu leyti að pæla í hlutverki reglukerfa í máltækni og fýsileika þess að sleppa alveg tökunum á þeim og leyfa líkönum að læra af gögnum.

Saga vélnáms

Hugtakið vélnám (e. machine learning) var skilgreint 1959. Í fyrstu ríkti mikil bjartsýni, frumstæð tauganet áttu að geta lært af reynslu án þess að hafa sérstakar reglur til að fylgja. Þau voru þó takmörkuð og vélnám byggði næstu áratugi frekar á tölfræði en tauganetum. Þar má nefna línulega aðhvarfsgreiningu, bayeska ályktunarfræði og hulin Markov-líkön (e. linear regression, Bayesian inference og Hidden Markov Models). Tauganet urðu aftur vinsæl upp úr aldamótum, djúptauganet slógu í gegn á öðrum áratug 21. aldar og 2018 komu Transformerar inn á sjónarsviðið. Pælingin er að með nógu fáránlega miklu magni af gögnum sé hægt að læra hvað sem er af reynslu.

Reglukerfi

Áður en lengra er haldið verð ég að viðurkenna eitt: ég elska reglukerfi. Af einskærum púrítanisma hef ég alltaf átt mjög erfitt með tilhugsunina um að máltækni sé eingöngu þróuð út frá misfullkomnum gögnum. Ég verð taugaveikluð af tilhugsuninni um að vitlaus málnotkun sé svo algeng í gögnunum að hún verði ofan á í ákvarðanatöku tauganetsins. Mér frjálslyndara fólk gæti reyndar bent á að þannig þróist tungumálið. 🙈

Reglur hafa almennt verið mikilvægari í máltækni en í annarri notkun tauganeta, t.d. myndgreiningu. Tungumál eru lifandi og notandi gerir kröfu um að málið sé rétt, ekki bara líklegast út frá gögnum. Reglurnar hafa þá verið notaðar til að for- eða eftirvinna texta sem er annars meðhöndlaður af tauganetum. Þetta gildir sérstaklega um tungumál á borð við íslensku, sem er bæði málfræðilega flókin og líður fyrir skort á gögnum.

Kostir og gallar kerfa

Reglur eru áreiðanlegri en stífari og með auknu flækjustigi verður erfiðara að viðhalda reglukerfi, það er hætt við að það einfaldlega hrynji. Hins vegar eru djúptauganet ógagnsæ (e. black box) og notandi fær ekkert að vita um hvernig niðurstaðan fékkst.

Í sumum tilvikum er ekki ásættanlegt að fá mögulega vitlaust svar án rökstuðnings, það kallast óréttanlegar villur (unrecoverable errors). Þetta á til dæmis við um sjúkdómsgreiningar og leiðsögukerfi.

Textanormun

Grunnurinn í doktorsnáminu mínu var að gera íslenskt kerfi fyrir textanormun. Textanormun er eitt fyrsta skrefið í talgervingu þar sem gera þarf texta lesanlegan fyrir tölvu. Tölva er þá búin að læra hvernig hljóð eru mynduð úr runum bókstafa en les skammstafanir vitlaust og þagir þegar hún rekst á tölustafi.

Dæmi um setningar fyrir og eftir textanormun:

Leikurinn fór 2–1 fyrir KR -> Leikurinn fór tvö eitt fyrir ká err

Það verður 1–2 klst bið, bíddu á gangi 3A -> Það verður einnar til tveggja klukkustunda bið, bíddu á gangi þrjú A

Esjan er 914 m há -> Esjan er níu hundruð og fjórtán metra há

Það er SA-átt -> Það er suðaustanátt

Textanormun er kjörið dæmi um máltæknilausn sem er ómögulegt að gera án reglna. Bæði er algjör skortur á náttúrulegum gögnum (engin ástæða fyrir neinn til að skrifa normaðan texta nema til að búa til gögn 🙋‍♀️) og óréttanlegar villur geta haft alvarlegar afleiðingar í för með sér, til dæmis ef leiðsögukerfi sendir notanda á vitlausan stað vegna vitlausrar normunar.

Það er nefnilega svo að þótt reglukerfi geti verið stirðbusalegt og skrifað „það verður einn til tvær klukkustundir bið, bíddu á gangi þrír a“ er það þó öllu skárra en djúptauganet sem gæti allt eins sagt „það verður fimm klukkustunda bið, bíddu á gangi ellefu“.

Hins vegar má sjá út frá dæmunum hér að ofan að til að byggja reglukerfi þarf e-n-d-a-l-a-u-s-t af reglum. Ég byggði kerfi sem tekur t.d. tillit til þess hvort sé verið að ræða íþróttir: 1–2 = eitt tvö, eða ekki: 1–2 = ein til tvær. Það skoðar beygingarmynd orðsins sem fylgir tölustaf. Það tekur tillit til þess hvort sé verið að ræða suðaustanátt eða Samtök atvinnulífsins, eða jafnvel Skautafélag Akureyrar. Það kann að norma raðtöluna “10.000.002.001.” — með tilliti til beygingarmyndar orðsins sem kemur á eftir!

Hvernig mátti halda áfram?

Ég var orðin að tígrisdýramömmu (e. tiger mom). Allt sem Regína dóttir mín (textanormunarkerfið byggt með RegEx) gat ekki þurfti að leiðrétta og það er auðvelt að týna sér í reglugerð. Á einhverjum tímapunkti (ég þurfti að skila grein) sleppti ég þó takinu og er ánægð með að hún er notuð, með 89.82% mældum árangri á orð sem þarf að norma (e. non-standard words) sem forstig talgreiningar. Það var hins vegar ekki fýsilegt að halda áfram að bæta við reglum.

Ég skoðaði lærdómsflokkunarkerfi (e. learning classifier systems) fyrir áframhaldandi þróun. Það myndi taka inn reglukerfi og læra sínar eigin reglur út frá því, á gegnsærri hátt en djúptauganet. Því miður rakst ég á marga veggi og notkun slíkra kerfa var ekki nægileg til að ég treysti mér til að byggja á þeim á tímanum sem ég hafði í doktorsnámi. Á sama tíma komu risamállíkön fram og þótt það sé vissulega ekki hægt að treysta þeim blindandi þá virðist ChatGPT 5.2 vera nokkuð lunkið í textanormun — og frekar gefa stirðbusalegan texta en hreint út sagt rangan.

ChatGPT að norma dæmin fyrir ofan

Staða reglukerfa núna

Æ fleiri máltæknilausnir eru gerðar með Transformerum og koma reglur helst við sögu þegar búa þarf til fleiri gögn eða til að hafa hemil á risamállíkönum. Það gera þær með skorðum, varnarveggjum (e. guardrails), eftirvinnslu og stjórnun á umfjöllunarefni texta. Dæmi um það síðastnefnda er t.d. það sem Regína gerir, texti er ólíkur eftir því hvort um sé að ræða íþróttatexta (eitt tvö) eða ekki (ein til tvær).

Á næstunni ætla ég að skoða hvernig Transformerar virka og kynna mér varnarveggi í gervigreind, hver veit nema þær pælingar rati hingað inn. 😊