Kurser til virksomheder og offentlige organisationer

This course equips engineers with the foundational knowledge and practical skills to develop, evaluate, and optimize chatbot and dialogue systems using large language models (LLMs). Through hands-on exercises, participants will learn to assess model performance, integrate information retrieval, and enhance chatbot capabilities using prompt engineering, fine-tuning, and web data.

Kursusansvarlige: Dustin Wright & Daniel Hershcovich

Grundideen bag moderne neurale netværk er enormt simpel: Definér en kompleks funktion, og minimer forskellen mellem den og en stor mængde data. Optimeringen sker ved at justere netværkets parametre, som der i moderne arkitekturer kan være milliarder af. Den eneste metode, vi kender til at udføre denne optimering, er “gradient descent”, som kræver, at vi ikke blot definerer netværkets funktion, men også den afledte (differentierede) version. Dette simple krav var en stor kreativ begrænsning i maskinlæringens spæde dage, fordi enhver ændring i netværkets arkitektur krævede, at man manuelt opdaterede den differentierede funktion.

Løsningen på dette problem er differentiabel programmering, der henviser til programmeringssprog og biblioteker, som “forstår” og automatisk anvender differential regler som f.eks. kædereglen. Man kan argumentere for, at denne programmeringstekniske idé er årsagen til den enorme variation af neurale netværksarkitekturer, vi har i dag. Men udover maskinlæring har differentiabel programmering også fundet anvendelse i mange andre felter, herunder økonomisk optimering og fysiksimulering.

I dette kursus stifter vi bekendtskab med differentiabel programmering som et værktøj i egen ret. Vi ser, hvordan teknikker som f.eks. lineær regression bliver trivielle at implementere med adgang til et differentiabelt programmeringsbibliotek. Vi træner simple neurale netværk, som vi implementerer “i hånden”, og vi laver mere komplekse simuleringer. 

Kursusansvarlig: Julius Bier Kirkegaard