In letzter Zeit sind meine Feeds voll von Video-Essays über das Ende der Wahrheit und Threads über das Dead Internet. Auch im Freundeskreis kommt das ständig auf: Jemand teilt etwas, jemand fragt „Warte mal, ist das überhaupt echt?“, und wir können es nicht sagen. Ich habe nach Forschung dazu gesucht, was passiert, wenn das Überprüfen zu viel Arbeit wird und die Leute aufhören, es überhaupt zu versuchen.
Ein Großteil der Diskussionen über AI-Risiken, die ich lese, dreht sich um gezielte Täuschung: Modelle, die ihr Verhalten verschleiern oder Benchmarks austricksen. Mir macht aber auch schlicht die Menge an produziertem Content Sorgen. Selbst wenn niemand täuschen will, muss trotzdem irgendwer die Behauptungen überprüfen.
Eine Studie vom Januar 2026 zeigte Teilnehmenden AI-generierte Videos von Verbrechen und teilte ihnen vorab mit, dass die Videos gefälscht waren. Teilnehmende, die diese Warnung akzeptierten, wurden dennoch von dem beeinflusst, was sie gesehen hatten. Das ist der Teil, den ich beunruhigend finde: Einen Fake als solchen zu erkennen, hat seine Wirkung in diesem Experiment nicht vollständig aufgehoben.
(Ich fange langsam an, diese verdammte Timeline immer mehr zu hassen gng)
Mitte 2025 gab es über 1.200 AI-generierte „News“-Seiten, die unter plausiblen Impressen in sechzehn Sprachen veröffentlichten. Die EU stellte bei 27 % der ausländischen Informationsmanipulationsversuche eine AI-Beteiligung fest, fast dreimal so viel wie im Vorjahr. AI-generierte, irreführende Beiträge gingen außerdem unverhältnismäßig viral, obwohl sie größtenteils von kleinen Accounts stammten.
Ich erinnere mich an Berichte, wonach Bots während COVID den Großteil des Internet-Traffics ausgemacht haben, auch wenn ich die Studie gerade nicht mehr finde. Meine Feeds haben sich seitdem mit massenproduziertem Engagement-Bait gefüllt, inklusive Shrimp Jesus, my beloved. Ich glaube zwar nicht, dass Traffic-Zahlen allein verraten, wie viel von einer Konversation gefälscht ist, aber die Posts selbst sind kaum zu übersehen.
Mal ehrlich bruh, es gibt mittlerweile buchstäblich „Autoren“, „Musiker“ und „Fotografen“, die einfach nur ein verdammter Prompt-Loop mit angehängtem Auszahlungskonto sind.
Was mich stört, ist, wie müde die Leute scheinen, Dinge nachzuprüfen. Hank spricht darüber in einem Video, das mir gut gefallen hat:
Ich habe über verschiedene Probleme unter dem Begriff „epistemischer Kollaps“ gelesen. Die Begriffe variieren je nach Fachbereich, und ich glaube, einige der Probleme hängen zusammen.
Die ML-Leute meinen Model Collapse, bei dem man ein Modell auf den Outputs eines vorherigen Modells trainiert, das Ganze ein paar Mal wiederholt und die Ränder der ursprünglichen Verteilung verschwinden, während jede Generation weiter von der Ground Truth wegdriftet, an der sie mal verankert war – und das wurde btw mathematisch bewiesen. Model Collapse lässt sich nicht vermeiden, wenn man ausschließlich auf synthetischen Daten trainiert. Die Version auf Ökosystem-Ebene ist noch schlimmer: Als Forscher 27 LLMs über 155 Themen hinweg getestet haben, war jedes einzelne epistemisch weniger divers als eine einfache Websuche, und die größeren Modelle produzierten weniger vielfältige Behauptungen.
Eine weitere Sorge ist Validation Overload. Peer-Reviewer, Faktenchecker, Redaktionen, Gerichte und Lehrkräfte haben nur begrenzte Zeit. Sie können mehr Material erhalten, als sie prüfen können, besonders wenn dessen Produktion kaum noch menschliche Arbeit erfordert.
Dazu kommt 'Misrecognition': generierten Text als gesichertes Wissen zu behandeln, ohne zu prüfen, worauf er sich stützt. Jemand kann den Output eines Modells als Fakt weiterverbreiten, und die nächste Person vertraut dieser Person, ohne zu wissen, woher die Behauptung eigentlich stammt.
Zu den gesellschaftlichen Problemen gehört, dass Gruppen sich auf unvereinbare Darstellungen von Ereignissen stützen und die gemeinsame Basis verlieren. Ich vermute, dass die Verlässlichkeit ihrer Informationsquellen und die Last des Nachprüfens dazu beitragen, neben der üblichen Diskussion über Social Media und Polarisierung.
Ich denke, diese Probleme könnten sich gegenseitig verstärken. Weniger verlässliche Tools erzeugen mehr Material, das geprüft werden muss, während die Leute, die diese Prüfung durchführen, ohnehin schon überlastet sind. Wenn Leser das ungeprüfte Material als gesichertes Wissen behandeln, setzen spätere Diskussionen auf Behauptungen auf, die niemand verifiziert hat.
Fehlinformationen sind nichts Neues, und Fachzeitschriften, Gerichte, Redaktionen und Peer-Reviews haben schon immer damit zu tun. Was mir Sorgen macht, ist, wie billig man mittlerweile riesige Mengen an plausiblem Material erzeugen kann. Eine Behauptung zu überprüfen, kann einen Menschen immer noch Stunden an Lektüre, Quellenrecherche oder Wiederholung eines Experiments kosten.
Ich mache mir Sorgen, dass Menschen digitale Beweise generell abtun, wenn es zu schwer wird, authentisches von synthetischem Material zu unterscheiden. Das würde es auch schwieriger machen, echte Aufzeichnungen zu nutzen.
Die Kehrseite ist die „Liar's Dividend“: Sobald jeder weiß, dass es überzeugende Fälschungen gibt, kann jeder, der bei etwas Echtem auf Kamera erwischt wird, einfach mit den Schultern zucken und sagen „Das ist KI“. Und je mehr Slop da draußen kursiert, desto plausibler wird diese Ausrede. Nehmen wir mal einige der AI-Slop-Texte, die heutzutage generiert werden, oder Muster wie: „It's not X it's Y“. Das ist valides Englisch, klar, aber weil wir so viel AI-Slop sehen, fangen wir an, dieses Muster mit „AI-generiertem Content“ zu assoziieren. Und ehe man sich versieht, kann das NIEMAND mehr verdammt noch mal benutzen, weil selbst bei handgeschriebenen Texten sofort unterstellt wird, dass AI im Spiel war.
Oh, und da ist noch nicht mal der Fakt eingerechnet, dass wir Menschen ähnlich schreiben wie die Art von Sprache, die wir nutzen, hören, lesen und häufiger sehen. Was bedeutet, dass mit der Zeit mehr MENSCHEN anfangen werden, wie eine AI zu klingen. (LinkedIn-Endgame fr)
Der „Plan A“ des AI Futures Project geht deutlich detaillierter auf Compute-Verifikation, optische Network Taps, Supply-Chain-Audits und Abschreckung ein als auf Epistemik, die lediglich einen zweiseitigen Anhang bekommt. Mir gefällt die Idee eines „Basin of Sanity“: wahrheitssuchende AI-Tools, die der Gesellschaft helfen, besser herauszufinden, was wahr ist. Ich hätte mir mehr Details dazu gewünscht, wie man diesen Zustand erreicht, Fortschritte misst und ihn stabil hält, wenn bestimmte Akteure von Fehlinformationen profitieren.
Ich glaube nicht, dass die Kontrolle von Compute und besseres Model Alignment ausreichen, um das in den Griff zu bekommen. Gutgläubig erstellter Content kann trotzdem falsch sein und trotzdem Zeit beim Prüfen kosten. Gezielte Täuschung zu reduzieren würde helfen, aber es würde diesen Arbeitsaufwand nicht beseitigen.
Verantwortung lässt sich hier ebenfalls schwerer zuweisen. Ein Labor kann ein Team für sein Modell abstellen. Die Verifikationsarbeit verteilt sich hingegen auf Publisher, Forschende, Gerichte, Lesende und andere Institutionen mit ganz unterschiedlichen Budgets und Anreizen. Ich vermute, dass das die Organisation und Finanzierung erschwert, auch wenn mir ein konkreter Finanzierungsvergleich fehlt, um das zu belegen.
Es gibt Vorschläge für Metriken zur Gesundheit des Ökosystems, Diversitätsanforderungen für Trainingsdaten und besser finanzierte Verifikationstools. Ich weiß nicht, was davon ausreichend helfen würde. Ich würde gern sehen, wie sie sich an der tatsächlichen Arbeit messen lassen, die Menschen leisten: eine Behauptung bis zu ihrer Quelle zurückverfolgen, prüfen, ob die Quelle sie stützt, und sie korrigieren, wenn sie es nicht tut.
Das ist die Arbeit, für die ich mir mehr Aufmerksamkeit und Finanzierung wünschen würde. Wenn wir das Veröffentlichen immer billiger machen, müssen wir auch diese Überprüfungen einfacher machen.
Wie auch immer, das war der Rant. Ich verpiss mich mal ins Bett, gn Leute.
~ A.