110. Evals: När agenten är klar men du inte vet om den hade rätt

110. Evals: När agenten är klar men du inte vet om den hade rätt

Agenten är klar. Du vet inte om den hade rätt. Evals, LLM as a judge och det gröna testet som ljuger — klippt från arkivet, inte från en ny inspelning.


📖 Min bok "25 Years to Zero" finns nu på Amazon: https://www.amazon.se/dp/B0HG251RTP


I det här avsnittet av Anders Kodar syr producenten Nora ihop jobbet efter att agenten är färdig: utvärdering, inte nästa prompt.


Du får höra:

- Varför evals är ungefär 40 % av agentarbetet och varför LLM as a judge — en modell som bedömer en annan — är hur man skalar det, plus att någon fortfarande måste döma domaren

- Pussa koden när du glömmer vad du får ut, och att du fortfarande måste veta om outputten är rätt — plus Dennis om hur man faktiskt kör evals när modellerna byts

- Agenter som ljuger och fuskar som en säljare utan etik, som kan se korrekta ut under testet, och varför isolerade gröna delar ändå kraschar ihop


Ämnen: Evals, LLM as a judge, AI-agenter, guardrails, deceptive alignment, vibe-coding, omdöme, testning


För dig som släppt en agent och inte vet om den hade rätt, för dig som byter bana och undrar var jobbet sitter när raderna är billiga, och för dig som fått en grön pipeline och fortfarande inte litar på den.


Vill du hjälpa podden att växa? Swisha valfri summa till Anders Kodar på 070-334 43 21. Varje krona går direkt till bättre utrustning och fler avsnitt.


Anders Kodar – podcast om att lära sig programmera från noll i Sverige.


github.com/andersabjorn

Hosted on Acast. See acast.com/privacy for more information.

Tämä jakso on lisätty Podme-palveluun avoimen RSS-syötteen kautta eikä se ole Podmen omaa tuotantoa. Siksi jakso saattaa sisältää mainontaa.

Jaksot(126)

125. Börja hos människan: Fem gäster om problemet före tekniken

125. Börja hos människan: Fem gäster om problemet före tekniken

Fem gäster. Tio frågor. En röd tråd: börja hos människan och problemet — inte i tekniken. Nora klipper från arkivet: Joel Linderos, Dennis Adolfi, Jonas Jaani, Jonah Andersson och Isabelle Schafhauser...

24 Syys 19min

124. Skräckens dag – tenta på fredag mitt i verkligheten

124. Skräckens dag – tenta på fredag mitt i verkligheten

På fredag är det skräckens dag: tenta igen i dataåtkomster. Handskriven, med penna och papper – samtidigt som jag faktiskt utövar systemutveckling på ett riktigt företag. Hur går det ihop?📖 Min bok "...

22 Syys 11min

123. Är jag en bluff?: Strömavbrottstestet och AI-mentorn

123. Är jag en bluff?: Strömavbrottstestet och AI-mentorn

Tänk dig att strömmen går. Skärmarna slocknar. Papper. Penna. Kan du fortfarande förklara logiken — eller har du bara lånat den från AI? Det här avsnittet handlar om bluffkänslan, strömavbrottstestet ...

18 Syys 10min

122. Nästan 100 avsnitt på en sommar – nu stoppar jag rushen

122. Nästan 100 avsnitt på en sommar – nu stoppar jag rushen

En era är över. Dagliga uppdateringar sedan 16 juni – tre månader, nästan hundra avsnitt. Nu stoppar jag rushen. Inte podden.📖 Min bok "25 Years to Zero" finns nu på Amazon: https://www.amazon.se/dp/...

15 Syys 10min

121. Jag byggde med AI-agenter: Appen och boken

121. Jag byggde med AI-agenter: Appen och boken

Han stack ut hakan: en app på två veckor. Sen en bok till hundraavsnittet. Det här avsnittet handlar om shipping — Bonding Buddy som webb när Play Store krånglade, och 25 Years to Zero när Amazon-godk...

12 Syys 10min

120. Femstegsmetoden: Därför löser du problem i fel ordning

120. Femstegsmetoden: Därför löser du problem i fel ordning

De flesta löser problem i fel ände. De optimerar innan de raderat. De automatiserar innan de förenklat. Det här avsnittet handlar om femstegsmetoden — och varför ordningen är allt. Klippt från arkivet...

11 Syys 6min

119. AI stänger dörren för unga – och öppnar den vid 47

119. AI stänger dörren för unga – och öppnar den vid 47

Ny svensk forskning: unga utvecklare i AI-exponerade yrken tappar, medan sysselsättningen ökar för de över 50. Det här avsnittet handlar om den dörren — och om varför 47 kan vara en tillgång. Klippt f...

9 Syys 11min

118. Multi-agent AI: När varje del funkar men systemet kraschar

118. Multi-agent AI: När varje del funkar men systemet kraschar

Varje agent är grön i sitt test. Systemet kraschar ändå. Det här avsnittet handlar om koordinationen mellan dem — kostnaden som skalas, kontexten som försvinner, och looparna där ingen tar beslut. Kli...

8 Syys 10min

Suosittua kategoriassa Liike-elämä ja talous

sijotuskasti
vallattomat
psykopodiaa-podcast
mimmit-sijoittaa
rss-rahapodi
rss-oivalluksia-rahasta-elamasta
hyva-paha-johtaminen
rss-hereilla
rss-paasipodi
ostan-asuntoja-podcast
rss-startup-ministerio
inderespodi
pomojen-suusta
rss-sami-miettinen-neuvottelija
rss-karon-grilli
rss-porssipuhetta
oppimisen-psykologia
rss-20-30-40-podcast
rss-hilden-kaira
lakicast