1Ændr først
Ingen kilde i svaret
6 ud af 10 svar
Før lancering Vi åbner for de første produktteams
Gør dit AI-produkt bedre for hver release. Ikke bare anderledes.
Eva forbinder det, dine brugere har brug for, med koden bag det. Når en evaluering ikke holder, peger resultatet på koden, og Eva skriver et udkast til en pull request, som dit team kan gennemgå. Når I udgiver, måler Eva igen, så I ved, om ændringen virkede, og hvad der skal ændres næste gang.
T2Asked after a chat: "Could you reach a person when the bot couldn't help?" · 25 users
R74 · PR #142: show "Talk to a person" from the first replyeva/handoff-always → main +6 −2 · ready for review
src/chat/ChatWindow.tsx@@ -12,4 @@
1212const messages = useMessages()
1313const failedTries = countUnhelpful(messages)
14−const showTalkToPerson = failedTries >= 3
14+const showTalkToPerson = true
1515return <Chat handoff={showTalkToPerson} />
T2 asked again after the merge14 of 25→2 of 25Met
Hvad brugerne sagde, hvad I ændrede, hvad det gjorde. Forbundet ved hver release.
Du vil bygge det bedste produkt til dine brugere. Så du udgiver ændringer hver uge, taler dem igennem med dit team og spørger dine brugere, hvad de synes. Men det, du lærer, ender alle vegne: i tickets, i Slack, i et spørgeskema, i nogens hoved. Intet peger på noget andet, det samme spørgsmål bliver stillet to gange, og der kommer svar ind, som aldrig bliver til en ændring. Eva forbinder det, du ved om dit produkt, med det, du lærer af at evaluere det, så hver iteration tæller.
Ticket #4521
hvor har botten det her fra??
Slack, #ai-feature
"kunderne spørger hele tiden efter kilden"
prompt v13
"hjalp det?" Det ved ingen.
Spørgeskema, Q3
"den gør bare ting" · 6 af 25 positive
Ticket #4588
den bookede et fly, før jeg sagde ja
Dashboard
tommel ned 14% i denne uge
Interviewnoter
"jeg holdt op med at stole på den uden en kilde"
PR #142
pass the docs to the prompt
Slack, #ai-feature
"er prisen, den viser, den endelige?" spurgt 9 gange
prompt v12
versionen før. Eller efter?
Ticket #4602
var svaret forkert?
Evalueringskørsel
41% angiver en kilde
Svarene viser, hvor de kommer fra
3 belæg → answer.ts → PR #142 → 41% → 78%
Brugerne føler, de har styr på svaret
spørgeskema + ticket → agent/tools.ts → PR #151 → 6 → 19 af 25
Giver videre til et menneske, når den er i tvivl
2 belæg → escalate.ts → ingen ændring endnu → 18% gæt
Den viste pris er den endelige pris
9 Slack-beskeder → intet kriterium endnu → til jeres designere
Svarene holder sig til fakta
Eva vurderede 120 → summarize.ts → ingen ændring nødvendig → opfyldt to gange
Husker, hvad brugeren sagde tidligere
dagbog, dag 4 → chat/memory.ts → PR #158 → 52% → 96%
Spørger, før den handler
ticket + spørgeskema → agent/tools.ts → PR #151 → 9 → 0 uden at spørge
Holder sig kort og præcis
Eva vurderede 120 → report/prompt.ts → PR #160 → 30% → 88%
Brugerne siger, at svaret hjalp
12 af 25 spurgt → app/chat → venter → for få svar
Du starter aldrig fra nul igen.
Eva måler de samme kriterier før og efter hver ændring og gemmer hvert kriterium sammen med belæggene bag det, den ændring, det førte til, og hvad ændringen gjorde. Hver release tilføjer en runde, og hver runde bygger videre på alt, hvad den forrige fandt. To releases senere kan dit team stadig sige, hvorfor søgningen blev ændret, og om brugerne lagde mærke til det. Den historik er det, Eva er. Pull requests er det, Eva leverer.
Det, dine brugere har brug forFørEfter ændringerne
- Fakta stemmer med kildenOpfyldtOpfyldt
- Svarene viser en kildeOpfyldt efter pull request #142Ikke opfyldtOpfyldt
- Svarer på brugerens sprogOpfyldtOpfyldt
- Giver videre til et menneske, når den er i tvivlIkke opfyldtIkke opfyldt
- Brugerne siger, at svaret hjalpFor få svarFor få svar
- Holder sig kort og præcisOpfyldtOpfyldt
- Husker, hvad brugeren sagde tidligereOpfyldt efter pull request #151Ikke opfyldtOpfyldt
- Spørger, før den handlerDen næste, der skal ændresFor få svarIkke opfyldt
- Viser aldrig en anden brugers dataOpfyldtOpfyldt
Opfyldte kriterier4 af 96 af 9
Eva arbejder i dit repo som en kollega: gennem pull requests.
Din del af opsætningen er det første commit. Alt derefter kommer som pull requests, dit team kan læse, kommentere og merge.
-
Mandag
S
Add Eva to the model client
-
Mandag
Add Eva's map of your AI features
-
Torsdag
Give the model the context it was missing
-
En uge senere
Opfyldte kriterier: 5 af 9 → 8 af 9
Eva merger aldrig sit eget arbejde og pusher aldrig til jeres main-branch.
Vælg det problem, du kender. Se, hvordan Eva løser det.
Eksempel: en supportchatbot, der besvarer dine kunders spørgsmål ud fra dine hjælpesider. Eva virker på samme måde for søgning, skriveværktøjer, agenter og alle andre AI-funktioner.
Med Eva: Eva gemmer hver ændring: hvad der blev ændret, hvorfor, og om det hjalp dine brugere.
- Problem
De fleste svar viser ikke en kilde
- Årsag
Chatbotten finder den rigtige hjælpeside, men svarer uden at læse siden
- Ændring
Brug hjælpesiden i svaret PR #142
- Resultat
Svar med kilde: 4 ud af 10 → 8 ud af 10
Med Eva: Eva måler hvert kriterium, dit team har skrevet ned, og viser, hvilke der er længst fra deres beståelsesgrænse, så du ved, hvad du skal ændre først.
2Dernæst
Finder på et svar
2 ud af 10 svar
3Så
Henter ikke et menneske
1 ud af 10 svar
Med Eva: Eva peger hvert resultat på den del af din kode, der skabte det, så ingen behøver at gætte.
Symptomet
Svarene viser ikke en kilde
answer.ts✗ Svarer uden at læse siden
retrieve.ts✓ Finder den rigtige side
Sources.tsx✓ Viser et link, når der er et
Med Eva: Efter hver ændring måler Eva alle dine kriterier igen, så du ser bivirkninger, før dine brugere gør.
Før
Chatbotten svarer ud fra hukommelsen
Viser, hvor svaret kommer fra✗
Holder sig til fakta✓
Henter et menneske, når den er i tvivl✓
Efter Evas ændring
Chatbotten læser din hjælpeside først
Viser, hvor svaret kommer fra✓
Holder sig til fakta✓
Henter et menneske, når den er i tvivl✓
Kilden er der nu. Intet andet blev dårligere.
Med Eva: Eva foreslår selve ændringen, klar til, at du gennemgår den.
EvaDe fleste svar viser ikke en kilde. Chatbotten finder den rigtige hjælpeside, men svarer uden at læse siden. Jeg har lavet en lille ændring, så chatbotten læser hjælpesiden først.
PR #142
SSofie
Ser godt ud, jeg merger.
EvaEn uge senere: 4 ud af 10 → 8 ud af 10 svar viser deres kilde. Intet andet blev dårligere.
Med Eva: Eva vurderer hvert svar ud fra dine kriterier og spørger dine brugere, om det hjalp.
Hvordan eksporterer jeg mine data?
Gå til Indstillinger → Eksport.
Hjalp det?👍 Ja👎 Nej
Kunder, der fik hjælp
Med Eva: Skriv det ned som et kriterium én gang. Eva måler det igen efter hver ændring.
Vis altid, hvor svaret kommer fra
Hent et menneske, når du er i tvivl
Vis aldrig én kundes oplysninger til en anden
✋
Ikke opfyldt efter en ændringEn ændring brød et af dine kriterier
Nogen ændrede, hvordan chatbotten søger. I næste runde viste to vurderede svar en anden kundes e-mail. Kriteriet gik til ikke opfyldt, og Eva foreslog at begrænse søgningen til den kunde, der spørger.
Det samme problem, uden Eva og med Eva.
Et team lancerer en AI-supportassistent, der svarer ud fra deres dokumentation. Brugerne begynder at spørge, hvor svarene kommer fra, fordi assistenten aldrig linker til sin kilde.
1Du opdager, at noget er galt
Uden Eva
En ticket om et svar uden kilde lander i et regneark sammen med 200 andre.
Med Eva
Eva tjekker hvert svar. Kun 41% linker til den side i dokumentationen, de brugte. Teamet bad om 60%.
2Du finder årsagen
Uden Eva
Teamet mødes for at gætte. En udvikler bruger en dag på at læse kode.
Med Eva
Resultatet peger direkte på den fil, der bygger svaret.
3Du ændrer det
Uden Eva
Nogen tilføjer en linje til prompten og håber på det bedste.
Med Eva
Eva skriver ændringen som en pull request, der allerede består jeres checks. En udvikler gennemgår den og merger.
4Du tjekker, at det virkede
Uden Eva
Det ved ingen. Måske stopper klagerne. Måske kommer den næste om to uger.
Med Eva
Næste runde måler det samme igen. Nu linker 78% til deres kilde.
Spørgsmål, teams stiller os.
Hvem er Eva til?
Produktteams med en AI-funktion foran rigtige brugere, som vil vide, om den gør det, brugerne har brug for, og hvad der skal ændres, når den ikke gør.
Skal mit produkt bruge AI?
Eva er bygget til produkter med en AI-funktion. Spørgsmålene til dine brugere virker også for resten af produktet; vurderingen af svar gælder de dele, der bruger en model.
Hvordan tjekker Eva min AI's svar?
Eva bruger AI-modeller til at vurdere hvert svar ud fra de kriterier, dit team er blevet enige om. Spørgsmål, som kun dine brugere kan svare på, for eksempel om et svar løste deres problem, bliver i stedet stillet til dine brugere.
Ændrer Eva min kode på egen hånd?
Nej. Eva foreslår en ændring for hvert kriterium, der ikke er opfyldt. Der skrives kun kode til de ændringer, du accepterer, og de kommer som én pull request, som en person på dit team merger.
Er Eva en engangsaudit?
Nej. En audit fortæller dig én gang, hvor du står. Eva gemmer kriterierne, belæggene og ændringerne fra hver runde, så den næste release bliver målt op mod det, du allerede ved. Jo længere Eva kører, jo bedre kender den dit produkt og dine brugere.
Taler Eva kun med udviklere?
Nej. Pull requests går til dine udviklere. Når det, brugerne siger, rejser noget, som intet kriterium dækker endnu, for eksempel et emne, de bliver ved med at tage op, eller en værdi, der mangler, lægger Eva det frem for dine designere som et nyt emne. Det bliver ikke til kode.
Hvad gemmer Eva fra min kode og min AI?
Eva gemmer det, den udleder af din kode, for eksempel kortet over dit produkts dele, og lægger det i dit eget repository i en mappe, der hedder .eval/, så du kan læse det. Som standard gemmes din AI's svar kun som et fingeraftryk. Du kan vælge at gemme teksten.
Hvad koster det, og hvornår kan vi starte?
Eva er endnu ikke lanceret og åbner først for en lille gruppe teams. Anmod om adgang nedenfor, og fortæl os, hvad du vil evaluere. Så vender vi tilbage.
17 ud af 19, der bygger AI-produkter, kunne ikke omsætte deres evalueringsresultater til ændringer.
Det viser et studie ledet af Willem van der Maden, medstifter af Eva, publiceret på ACM CHI 2026. Forskningen har peget samme vej i 20 år: Det er lettere at finde problemer end at vide, hvad der skal ændres. Eva er bygget til at lukke det hul.
17 of 19 practitioners gathered evaluation data but couldn't turn it into concrete improvements.
Evaluering af AI-produkter er for det meste et regneark fyldt med meninger eller et benchmark, der måler noget andet end det, brugerne har brug for. Ingen af delene fortæller dig, hvad du skal ændre. Vi bygger Eva, så hvert resultat kan spores til koden bag det, og hver ændring bliver målt igen.
Willem van der Maden
Medstifter · Forsker ved IT-Universitetet i København
Har forsket i og publiceret om evaluering i AI-design siden 2019.
Victor Brorson
Medstifter · Udvikling
Udviklede metoden bag Eva på IT-Universitetet i København og bygger nu produktet.
Bliv et af de første teams, der evaluerer med Eva.
Eva er endnu ikke lanceret. Fortæl os lidt om dit produkt, og hvad du gerne vil vide om det. Så vender vi tilbage.