Sveriges mest populära poddar
Verbos: AI og Softwareudvikling
Teknologi

#43 - Dan Saattrup Nielsen: ScandEval og Evaluering af Sprogmodeller

1 tim 18 min•14 februari 2024

Hvilke teknikker findes der til at teste sprogmodellers evne til at forstå sprog? Er de åbne engelske og multilingvale modeller gode på de skandinaviske sprog? Eller bør vi yde en indsats i de nordiske lande for at få sprogmodellerne up to speed med at forstå f.eks. dansk? Dan Saattrup Nielsen har udviklet ScandEval, et framework til evaluering af nordiske sprogmodeller. Han ved virkelig meget om evaluering af sprogmodeller, og i dette afsnit af Verbos fortæller han netop om dette!


ScandEval GitHub: https://github.com/ScandEval/ScandEval

ScandEval NLG Leaderboard: https://scandeval.com/mainland-scandinavian-nlg/

ScandEval NLU Leaderboard: https://scandeval.com/mainland-scandinavian-nlu/

Fler avsnitt av Verbos: AI og Softwareudvikling

Visa alla avsnitt av Verbos: AI og Softwareudvikling
#108 - Harness Engineering Deep Dive: Sæt din kodning på autopilot
•1 tim 3 min
#107 - De 8 Mest Hypede AI Coding Udtryk Forklaret
•1 tim 6 min
#106 - Agentic Engineering og Jumbo CLI med Joshua Wheelock
•1 tim 29 min
#105 - AI-Medarbejdere, CLI Skills og Vibe Coding med Mikkel Freltoft Krogsholm
•1 tim 3 min
#104 - Er softwareudvikleren ved at dø? Agenter, Legacy-kode og fremtidens ingeniørrolle
•1 tim 2 min
#103 - Determinisme vs. ikke-determinisme i Agentic Engineering m. Magnus Gether Sørensen
•1 tim 8 min
#102 - Vibe Coding i Teams + Clawdbot/OpenClaw m. Poul Kjeldager Sørensen
•1 tim 11 min
# 101 - Vibe Engineering, Vibe Ur og Proaktive Kode Agenter m. Mark Ruvald Pedersen
•1 tim 18 min
# 100 - Claude Code vs. OpenAI Codex med Mikkel Malmberg
•1 tim 2 min
#99 - Vi er i 1993-internet-øjeblikket for AI-agenter m. Hans-Kristian Bjerggaard
•1 tim 11 min

Verbos: AI og Softwareudvikling med Kasper Junge og Jonas Høgh Kyhse-Andersen finns tillgänglig på flera plattformar. Informationen på denna sida kommer från offentliga podd-flöden.