AI-agenter lærer af real-life eksempler. Hvilke vil jeres AI-agent kunne lære af?

Robotbranchen har lige nu ét stort problem, og det er ikke hardwaren. Det er data. En af de største humanoid-virksomheder har sat mere end en milliard dollars af til data og compute det næste år, og en stor del af dataen kommer fra almindelige mennesker, der bliver betalt for at filme sig selv udføre hverdagsopgaver med et kamera på hovedet.

Grunden er, at sprogmodellerne kunne skaleres på årtiers tekst fra internettet. Der findes intet tilsvarende korpus af fysiske handlinger. Skal en robot lære at håndtere en blød trøje, skal nogen først vise, hvordan det gøres, rigtigt mange gange og under rigtigt mange forskellige forhold.

I ZRM ser vi præcis samme flaskehals, når vi implementerer AI-agenter hos vores kunder. Modellerne er sjældent problemet. Spørgsmålet er, om virksomheden har eksempler på, hvordan arbejdet bliver gjort rigtigt.

Tre måder at lære på, og hvad de kræver af data

Robotter trænes groft sagt på tre måder, og alle tre har en direkte parallel til agenter i en virksomhed.

Imitation learning. Et menneske udfører opgaven, robottens tilstand og handlinger optages, og modellen trænes til at efterligne. For en agent er det historikken: tidligere sager, tilbud, mails og beslutninger, som agenten får ind i sin kontekst via retrieval eller som few-shot-eksempler. Det virker kun, hvis handling, kontekst og udfald er gemt sammen. Et CRM, hvor man kan se, hvad der skete, hvorfor, og hvad det førte til, er i praksis et imitation learning-datasæt. En mailtråd i en personlig indbakke er det sjældent, fordi beslutningen og udfaldet ikke står nogen steder.

Reinforcement learning. Robotten forsøger selv, og hvert forsøg scores. Det kræver en entydig definition af succes. Hos vores kunder træner vi sjældent selve modellen, men princippet er det samme i evals: et output kan kun vurderes, hvis udfaldet er registreret. Vundet eller tabt, løst eller genåbnet, godkendt eller rettet. Mangler udfaldsfelterne i datamodellen, kan man ikke måle, om agenten bliver bedre eller dårligere, når man skifter model eller justerer en prompt.

Simulation. Billigt og skalerbart, men kun så godt som simulationen. Gang og balance kan simuleres ret præcist. Friktion og bløde materialer kan ikke, og forskellen kaldes ‘sim-to-real gap’. Hos agenter findes samme gab mellem testmiljø og drift. En agent, der er testet på rene eksempeldata, møder i drift dubletter, halvt udfyldte felter, undtagelser og kunder, der skriver på to sprog i samme tråd. Derfor skal en agent testes på virksomhedens rigtige data og bevidst på de skæve sager, ikke kun på ‘happy path’.

Mængde er ikke det samme som variation

Robotdata har et kendt problem: den er ekstremt korreleret. Tusindvis af optagelser af samme greb i samme køkken lærer modellen mindre end langt færre optagelser i mange forskellige køkkener. Derfor filtrerer, deduplikerer og rebalancerer de store aktører deres data, før den bruges.

Det samme gælder forretningsdata. Hos rigtigt mange af vores kunder er standardsagerne veldokumenterede, fordi systemet er bygget til dem. Undtagelserne, der kræver erfaring, bliver løst uden for systemet: et opkald, en Teams-besked, en kollega der ved, hvordan man gør. Det er ofte netop dér, en agent kan skabe mest værdi, og netop dér, den har færrest eksempler at lære af.

Den mest værdifulde data er rettelserne

Inden for robotik regnes teleoperation stadig for noget af den mest værdifulde data, fordi den er optaget på robottens egen krop og derfor matcher præcis det, robotten kan. Den direkte parallel for agenter er ‘human-in-the-loop’. Når en medarbejder godkender, retter eller afviser et forslag fra agenten, opstår et eksempel på agentens egne handlinger med et menneskeligt facit. Det er de mest præcise eksempler, en agent kan få.

Robotbranchen kalder det næste skridt et datasvinghjul: systemer i drift skaber data, der gør næste version bedre, som igen kommer mere i drift. Hos en virksomhed ser mekanismen sådan ud: agenten arbejder, medarbejderne retter, rettelserne bliver til nye eksempler og nye eval-cases, og agenten kan få mere ansvar. Men det kræver, at systemet bliver brugt. Det bedste system er det, medarbejderne bruger.

Og netop af den årsag

Den første opgave ved enhver AI-implementering er derfor ikke at vælge model eller framework. Det er at kortlægge, hvor dataen ligger, om handling, kontekst og udfald hænger sammen, og hvor undtagelserne bliver løst i dag. Og bagefter at designe arbejdsgangen rundt om agenten: hvor godkender et menneske, hvordan registreres rettelsen, og hvordan bliver den til et nyt eksempel.

Derfor leverer vi i ZRM ikke kun systemer og datamodeller. Vi ændrer arbejdsgangene, så den viden, der i dag sidder hos enkelte, bliver til eksempler, en agent kan lære af, og som en kollega kan overtage. En agent bliver aldrig bedre end de eksempler, den har set. At de eksempler findes, og at man kan stole på dem, er der, vi ser os selv have et kæmpe ansvar.