På sistone har mina flöden varit fulla av videoessäer om sanningens död och trådar om dött internet. Det dyker upp bland vänner hela tiden också: någon delar en grej, någon frågar ”vänta, är det där ens på riktigt?”, och vi kan inte avgöra det. Jag började leta efter forskning om vad som händer när granskning blir för jobbigt och folk slutar försöka.
Mycket av diskussionen kring AI-risker som jag läser handlar om medvetet bedrägeri: modeller som döljer sitt beteende eller manipulerar utvärderingar. Jag oroar mig också för mängden innehåll som produceras. Även när ingen har för avsikt att luras måste någon fortfarande granska påståendena.
En studie från januari 2026 visade deltagare AI-genererade videor av brott och berättade i förväg att videorna var falska. Deltagare som accepterade den varningen påverkades fortfarande av vad de hade sett. Det är den delen jag tycker är oroande: att inse att det var en bluff tog inte helt bort dess effekt i det här experimentet.
(Jag börjar hata den här jävla tidslinjen mer och mer gng)
I mitten av 2025 fanns det över 1 200 AI-genererade ”nyhetssajter” som publicerade under trovärdiga tidningshuvuden på sexton språk. EU räknade in AI-inblandning i 27 % av alla utländska informationspåverkansförsök, nästan en tredubbling från året innan. AI-genererade vilseledande inlägg blev också oproportionerligt virala trots att de mestadels kom från små konton.
Jag minns att jag läste rapporter om att bottar stod för merparten av internettrafiken under covid, även om jag inte kan placera studien nu. Sedan dess har mina flöden fyllts av massproducerat engagemangsbete, inklusive shrimp Jesus, min älskade. Jag tror inte trafiksiffror i sig avslöjar hur stor del av en konversation som är fejk, men själva inläggen är svåra att missa.
Alltså, bruh, det finns bokstavliga ”författare” och ”musiker” och ”fotografer” nu som bara är en jävla prompt-loop med ett utbetalningskonto kopplat till sig.
Det som stör mig är hur trötta folk verkar vara på att granska. Hank pratar om det här i en video jag gillade:
Jag har läst om flera problem under rubriken ”epistemisk kollaps”. Termerna skiljer sig åt mellan olika områden, och jag tror att några av problemen hänger ihop.
ML-folket menar model collapse där man tränar en modell på utdata från en tidigare modell, upprepar några gånger, och svansarna i den ursprungliga fördelningen försvinner medan varje generation driver längre bort från vilken ground truth den än var förankrad i, och det här har bevisats matematiskt btw. Model collapse kan inte undvikas när man tränar uteslutande på syntetisk data. Ekosystemversionen är värre: när forskare testade 27 LLM:er över 155 ämnen var varenda en mindre epistemiskt mångsidig än en vanlig webbsökning, och de större modellerna producerade mindre varierade påståenden.
Ett annat orosmoment är överbelastning av valideringen. Granskare, faktagranskare, redaktörer, domstolar och lärare har begränsad tid. De kan få in mer material än de hinner granska, särskilt när det krävs väldigt lite mänskligt arbete för att producera det.
Sedan finns det ”misrecognition”: att behandla genererad text som etablerad kunskap utan att kolla vad som faktiskt stödjer den. En läsare kan upprepa en modells utdata som ett faktum, och nästa person kanske litar på läsaren utan att veta var påståendet kom ifrån från början.
De sociala problemen inkluderar grupper som förlitar sig på oförenliga beskrivningar av händelser och tappar gemensam mark. Jag misstänker att tillförlitligheten hos deras informationskällor och bördan att granska dem bidrar till detta, vid sidan av den vanliga diskussionen om sociala medier och polarisering.
Jag tror att de här problemen kan förstärka varandra. Mindre pålitliga verktyg producerar mer material som behöver granskas, samtidigt som de som ska göra granskningen redan har mer än de klarar av. Om läsare behandlar det ogranskade materialet som etablerad kunskap utgår senare diskussioner från påståenden som ingen har verifierat.
Desinformation är inget nytt, och tidskrifter, domstolar, redaktioner och referentgranskning hanterar det redan. Det som oroar mig är hur billigt någon nu kan producera stora mängder trovärdigt material. Att granska ett påstående kan fortfarande ta en person timmar av läsning, källspårning eller att upprepa ett experiment.
Jag är orolig för att folk i allmänhet kommer att börja bortse från digitala bevis om det blir för svårt att skilja autentiskt material från syntetiskt. Det skulle göra äkta dokumentation svårare att använda också.
Baksidan är ”the liar's dividend”: så fort alla vet att övertygande förfalskningar finns kan vem som helst som fångas på film när de gör något på riktigt bara rycka på axlarna och säga ”det där är AI”, och ju mer slop som finns där ute, desto mer trovärdigt blir det försvaret. Ta lite av all AI-slop-text som genereras nuförtiden eller mönster som: ”It's not X it's Y”. Det är helt korrekt engelska, visst, men eftersom vi ser så mycket AI-slop börjar vi associera det mönstret med ”AI-genererat innehåll”, och innan man vet ordet av kan FAN INGEN använda det eftersom man utgår från att de har använt AI även om det är skrivet för hand.
Åh, och då räknar vi inte ens med det faktum att vi människor skriver likt den typ av språk vi använder/hör/läser och ser mer av. Vilket innebär att med tiden kommer fler MÄNNISKOR att börja låta som AI. (LinkedIn endgame fr)
AI Futures Projects ”Plan A” går in mycket mer i detalj på beräkningsverifiering, optiska nätverkstap-lösningar, revisioner av leveranskedjor och avskräckning än på epistemik, som får en tvåsidig bilaga. Jag gillar dess idé om en ”basin of sanity”: sanningssökande AI-verktyg som hjälper samhället att bli bättre på att ta reda på vad som är sant. Jag hade velat se fler detaljer om hur man når det tillståndet, mäter framsteg mot det och håller det stabilt när vissa aktörer tjänar på desinformation.
Jag tror inte att kontroll av beräkningsresurser och förbättrad modell-alignment räcker för att hantera detta. Innehåll som produceras i god tro kan fortfarande vara fel och fortfarande ta tid att granska. Att minska medvetet bedrägeri skulle hjälpa, men det skulle inte ta bort den arbetsbördan.
Ansvar är svårare att fördela här också. Ett labb kan sätta ett team att ansvara för sin modell. Verifieringsarbetet är utspritt över publicister, forskare, domstolar, läsare och andra institutioner med olika budgetar och incitament. Jag misstänker att det gör det svårare att organisera och finansiera, även om jag inte har någon finansieringsjämförelse för att belägga det.
Det finns förslag på hälsomått för ekosystemet, mångfaldskrav för träningsdata och mer välfinansierade verifieringsverktyg. Jag vet inte vilka som skulle hjälpa tillräckligt mycket. Jag skulle vilja se dem testas mot det arbete folk faktiskt gör: att spåra ett påstående till dess källa, kontrollera om källan ger stöd för det och korrigera det när den inte gör det.
Det är det arbetet jag skulle vilja se få mer uppmärksamhet och finansiering. Om vi fortsätter att göra publicering billigare måste vi också göra granskningarna enklare.
Hursomhelst, det var min rant. imma fuck of to sleep, gn folk.
~ A.