Kielimalli

Tilastollinen kielimalli on sanajonon sanojen todennäköisyysjakauma tai sellainen todennäköisyysfunktio, joka tuottaa jakauman. Jos sanajonossa, esimerkiksi lauseessa, on ${\displaystyle n}$ sanaa, antaa kielimalli koko sanajonolle todennäköisyyden ${\displaystyle P(w_{1},\ldots ,w_{n})}$. Kielimalli voidaan määritellä myös sanan osille, kuten morfeemeille.

Todennäköisyyksien avulla kielimallit osaavat muun muassa ennustaa, miten jonkin lauseen tulisi jatkua, vastata kysymyksiin, tai muodostaa kehotteen avulla pitkiäkin tekstejä kuten keskusteluja, runoja, koodeja tai artikkeleita.^[1] Ensimmäiset kielimallit (tilastollinen kielimalli, engl. Statistical Language Model, SLM) esiteltiin 1980-luvulla ja ne saivat alkunsa puheentunnistuksesta. Varhaiset kielimallit eivät sisältäneet tietoa kielen mallinnuksesta.^[2]

Kielimallin perustana käytetään olemassaolevaa tekstiaineistoa eli korpusta, jonka avulla malli opetetaan. Aineisto voi olla peräisin kirjoista, sanomalehdistä, tv-ohjelmien transskripteistä tai vaikka internetistä. Mitä suurempi opetusaineisto, sitä parempi yleensä mallin ennustuskyky. Suurten opetusmateriaalien vuoksi mallit saattavat joskus oppia niistä myös ei-haluttuja asioita, kuten ennakkoasenteita.^[1]

Kielimalleja voidaan käyttää erilaisissa tietokonelingvistiikan sovelluksissa, kuten puheentunnistuksessa, konekääntämisessä, luonnollisen kielen tuottamisessa, kielen jäsentämisessä, tekstintunnistuksessa tai tiedonhaussa.

1. ↑ ^{a b} Tekoälyn uudet kielimallit hämmästyttävät | Vaasan yliopisto www.uwasa.fi. 20.9.2021. Viitattu 17.2.2023.
2. ↑ Rosenfeld, Roni: Two Decades of Statistical Language Modeling: Where Do We Go From Here? 2018. Carnegie Mellon University. Journal contribution.. doi:10.1184/R1/6611138.v1 (englanniksi)