Hur mycket energi drar en AI-filmrekommendation?

Tesen: intelligensen hör hemma i datan, inte i varje förfrågan

Stora språkmodeller besvarar varje fråga genom att aktivera hela sin världskunskap i realtid. Det är imponerande, men slösaktigt när samma uppgift återkommer tusentals gånger. En filmrekommendation behöver inte världskunskap vid varje anrop. Den behöver en exakt, återanvändbar förståelse av filmer och av din smak.

MovieMind lägger den förståelsen i datapipelinen. Varje film bäddas in som en vektor exakt en gång, med beskrivning, genrer, regissör och nyckelord, och den kunskapen delas mellan alla användare. Din smak ligger bredvid som en struktur över dina egna betyg. En prognos blir då en grannskapsuppslagning i det rummet, och en språksökning blir ett litet språksteg över förfiltrerade kandidater. Datastruktur ersätter datorkraft. Det är precis därifrån de uppmätta faktorerna i den här artikeln kommer.

Exempelanvändaren

Alex har betygsatt 120 filmer och använder MovieMind under en typisk månad: 20 Vibe-sökningar på vanligt språk, 1 profilsammanfattning och 250 betygsprognoser. Prognoserna är ingen bisak: varje Vibe-sökning visar en personlig prognos för vart och ett av sina 6 resultat, alltså 120 per månad bara från sökningar, plus drygt 4 per dag när man bläddrar i listor och detaljvyer. Alla MovieMind-siffror i den här artikeln mättes den 2026-07-28 med riktiga API-anrop (modell: gemini-3.1-flash-lite (thinking: low)), de är inte uppskattade.

Mätningarna

Tokenförbrukning för riktiga förfrågningar, identiska med produktion:

Vibe-sökning (MovieMind)

1042 input + 725 output + 128 resonemang = 1895 tokens

Profilsammanfattning (MovieMind)

509 tokens

Betygsprognos (MovieMind)

0 LLM-tokens, en pgvector-databasfråga, under 0.001 Wh

Chattbot-motsvarighet till en prognos (bara titlar + betyg)

2667 input-tokens för den inklistrade betygslistan (verifierat med countTokens), omkring 3300 tokens totalt

Chattbot-motsvarighet vid samma informationsunderlag

11 425 input-tokens för 120 titlar med beskrivning, genrer, regissör och tagline vardera (uppmätt med countTokens, ungefär 95 tokens per titel), omkring 12 100 tokens totalt

Mätning 1: språksökningen, 2 till 10 gånger snålare

Där språk måste förstås använder MovieMind visserligen en språkmodell, men den minsta som klarar uppgiften, med strypt resonemang: uppmätta 1895 tokens per Vibe-sökning, varav bara 128 resonemangstokens. Själva rekommendationsintelligensen sitter inte i modellen utan i vektorsökningen före den, som filtrerar tusentals titlar ner till 18 kandidater innan modellen ens körs. En stor chattbot skulle behöva din historik i kontexten för samma uppgift, omkring 3 900 tokens eller ungefär 1,3 Wh. Beroende på modellantagandet ger det faktor 2 (konservativt: vår lilla modell räknad som en stor) till 10 (realistiskt).

Fördelen är inte statisk: den växer för varje film du betygsätter. Tänk dig att du har dina betyg i ett kalkylark och klistrar in dem i ChatGPT vid varje sökning. Den listan växer för varje filmkväll. MovieMinds sökkostnad ligger kvar på 1895 tokens eftersom rekommendationsintelligensen finns i förberäknade embeddings och pgvector-sökningen, inte i LLM-prompten. LLM:en väljer bara bland 18 förfiltrerade kandidater och skriver motiveringen.

Formeln är transparent: chattbotkontext = 1 260 overhead-tokens (systemprompt, fråga, output, resonemang) + 22 tokens per betygsatt titel. MovieMind ligger kvar på 1895 tokens oavsett samlingens storlek. Den konservativa nedre gränsen räknar Flash-Lite med samma energiåtgång som en stor chattbotmodell; den realistiska övre gränsen med en femtedel.

Mätning 2: betygsprognosen, mer än 1 000 gånger snålare

MovieMind svarar på hur mycket du skulle gilla en film helt utan språkmodell: som ett likhetsviktat genomsnitt av de mest liknande titlarna du redan har betygsatt. Det är en databasfråga med en övre gräns på 0.001 Wh. En chattbot har inget lager för din filmhistorik, så den måste in i prompten vid varenda förfrågan. Golvet är en ren lista med titlar och betyg: uppmätta 2667 tokens för 120 titlar, omkring 3300 tokens totalt, ungefär 1,1 Wh, en faktor över 1 000. Det golvet är medvetet chattbotvänligt, eftersom det förutsätter att modellen säkert känner till varje titel från träningen. Det stämmer för storfilmer, men inte tillförlitligt för nischtitlar, filmer som kommit ut efter träningsdatumet eller tvetydiga namn. För samma informationsunderlag som MovieMind räknar med (beskrivning, genrer, regissör och tagline för varje betygsatt titel) byggde vi upp prompten från 120 riktiga titlar och mätte den: 11 425 input-tokens, omkring 12 100 tokens totalt, ungefär 4,1 Wh, en faktor på runt 4 000. Skillnaden växer med biblioteket: vid 500 betygsatta titlar är det omkring 48 200 tokens, ungefär 16 Wh, en faktor på runt 16 000. MovieMind-frågan förblir konstant oavsett samlingens storlek.

Mätning 3: en hel månad, minst 20 gånger, realistiskt upp till 350 gånger snålare

Alex MovieMind-månad: 20 Vibe-sökningar och 1 sammanfattning blir sammanlagt omkring 38 000 LLM-tokens, plus 250 prognoser som databasfrågor som tillsammans kostar mindre än 0,3 Wh. Totalt ungefär 3 till 13 Wh. Samma nytta via chattbot kostar redan i den chattbotvänliga titellistevarianten omkring 900 000 tokens eller ungefär 300 Wh. Vid samma informationsunderlag, alltså med beskrivningar i varje förfrågan, blir det omkring 3,3 miljoner tokens eller ungefär 1 100 Wh, en faktor på 80 till 350. Den strukturella orsaken är densamma: MovieMind beräknar en films embedding exakt en gång och delar den mellan alla användare, en chattbot härleder smakförståelsen på nytt i varje session.

Varför kvaliteten stiger i stället för att sjunka

Effektivitet låter som en kompromiss. Här är det tvärtom. En chattbot känner bara till din smak om du ger den hela din betygslista vid varje fråga, och även då måste den härleda smaken på nytt ur en textlista. MovieMind räknar hela tiden med hela din betygshistorik i samma vektorrum som filmerna finns i. Varje nytt betyg skärper bilden utan att något behöver förklaras igen. En rekommendation är därför inte en modells åsikt utan en spårbar härledning ur dina egna omdömen.

Antaganden och omräkning

• Omräkning: 0,34 Wh per genomsnittlig chattbotfråga (OpenAI) vid antagna ~1 000 bearbetade tokens, energin skalad proportionellt mot antalet tokens.
• Konservativ variant: våra Flash-Lite-förfrågningar räknas med samma energiåtgång som en stor chattbotmodell. Realistisk variant: en femtedel av det, eftersom modeller i Lite-klassen är mycket mindre.
• kNN-prognosen anges som en övre gräns (några millisekunders databastid på delad infrastruktur).
• Exkluderat på båda sidor: träning av grundmodellen, nätverk och slutanvändarens enheter. Jämförelsen gäller inferens per förfrågan.
• Chattbotminne ändrar inte kalkylen: sparade anteckningar injiceras som kontexttokens vid varje förfrågan och innehåller aldrig en komplett, strukturerad betygslista. Prompt caching sänker bara kostnaden medan cachen lever (oftast några minuter), och aldrig till noll.
• Mätningen vid samma informationsunderlag är i sig konservativ: de upp till 15 nyckelord per titel som ingår i den riktiga MovieMind-embeddingtexten saknas i den återskapade prompten. Verklig paritet skulle ligga ännu högre.
• Alla faktorer är medvetet avrundade till chattbotens fördel.

Källor

• OpenAI (Juni 2025): ~0.34 Wh per average ChatGPT query
• Google (August 2025): ~0.24 Wh per median Gemini text prompt