Suurten kielimallien filosofiaa (2/2)

Toinen ja hiukan edistyneempi osa kokonaisuutta, jossa käsitellään suurten kielimallien filosofiaa Paul Kockelmanin teoksen Last Words. Large Language Models and the AI Apocalypse (2024) kautta. Teemoja:

• tekoälybisnes on sekä raskasta teollisuutta että se vähä mikä on jäljellä edistyksen keulivan käyrän ideasta, siksi(kin) siihen niin takerrutaan
• tokenit, vektorit ja vuonna 2017 kehitetty transformer-arkkitehtuuri eleganttina ratkaisuna koneoppimisen ongelmiin: miten matriisikertolaskuista ja muusta matematiikasta nousee inhimillisesti kiinnostavia laadullisia merkityksiä?
• kuinka tekoälyvälitteiset prosessit porautuvat yhä syvemmälle subjektiivisuuksiin eli kokemisen ja tekemisen tapoihin, uskomuksiin, ihastuksiin, tunteisiin, uniin, unelmiin, tapoihin ja tiedostamattomaan
• ovatko suuret kielimallit vain stokastisia papukaijoja: eivät ole
• toisaalta ihmisten käytös on suuresti toisteista, kopioivaa ja matkivaa
• kolmanneksi elämän mahdollistavat biokemialliset prosessit ovat itsessään stokastisia, eli suurten kielimallien monimutkaista stokastisuutta (satunnaisuudella / todennäköisyydellä operoimista) voi pitää niiden vahvuutena
• vaikka mikä olisi, suuret kielimallit eivät pysty huomioimaan kontekstia eli maailmaa, sen sijaan ne voivat huomioida kotekstin eli tokeneiksi silputun aineiston
• tekoäly-hallusinaatioita ei tarkkaan ottaen ole olemassa
• mallien taustalla piilevät jyrkän erilaiset ajalliset mittakaavat
• paljon puhutaan tekoälyn suuntaamisesta (alignment), entä ihmisten suuntaaminen? Miten suuryritysten, supervaltojen ja miljardöörien omistamat suuret kielimallit suuntaavat ihmisiä?

Lukemista:

Brunila: Mikä tekoälyä vaivaa? https://komeetta.info/2024/05/16/mika-tekoalya-vaivaa/ (tätä ei käsitellä jaksossa, mutta teksti on erittäin hyvä taustoitus teemoihin)

Kockelman: Last Words, luvut 4-10

Tue podcastia: tilaa substack tai MMV-Patreon.