Während meiner Studienzeit hatte ich bei Prüfungen eine klare Strategie. Einige der Fragen konnte ich ganz genau beantworten. Den Rest? Habe ich erraten. Mit einer Wahrscheinlichkeit von 25 % gab es Punkte dafür.
Das hat im Hörsaal gut funktioniert. Aber in der Welt der Enterprise-KI und von B2B SaaS ist so ein Ratespiel eine Katastrophe. Doch Large Language Models (LLMs) tun genau das. Wenn sie die Antwort nicht wissen, spucken sie trotzdem etwas aus. In der Wissenschaft nennt man das eine Halluzination: ein scheinbar überzeugendes, aber faktisch falsches Ergebnis.
Für eine Prüfung ist das vielleicht clever. Für ein KI-System, das Entscheidungen in rechtlichen, finanziellen oder operativen Prozessen trifft, ist das inakzeptabel.
Darum halluzinieren LLMs
Ich habe kürzlich eine Studie von OpenAI gelesen, in der sie dieses Phänomen erklären. Der Vergleich mit einer Prüfung ist treffend: LLMs funktionieren wie ein Studierender, der für falsche Antworten keine Strafe erhält.
Der Trainingsprozess belohnt Gewissheit, nicht Ehrlichkeit. „Ich weiß es nicht“ wird bestraft. Die Folge: Die Modelle lernen, lieber immer etwas zu sagen, als ihre Unsicherheit ehrlich zu zeigen.
Das erklärt, warum die Benchmark-Ergebnisse oft beeindruckend sind. Modelle erzielen bei Multiple-Choice-Tests wie SWE-bench hohe Punktzahlen, aber das schaffen sie teilweise durch Raten. Genau wie ich damals bei den Prüfungen. Interessant für Wissenschaftler; riskant für Unternehmen.
Der Preis von KI-Halluzinationen im B2B SaaS-Bereich
Für einen Verbraucher, der nach einem guten Rezept fragt, ist eine falsche Antwort harmlos. Für einen Versicherer, Anwalt oder Buchhalter sieht das anders aus. Eine falsch analysierte Schadenersatzforderung kann zu fehlerhaften Auszahlungen führen. Ein juristischer KI-Agent, der ein Dokument falsch zusammenfasst, kann die Position eines Kunden in einem Rechtsstreit schädigen. Ein Rechenfehler in der Buchhaltung kann zu steuerlichen Risiken führen. Im B2B SaaS-Bereich geht es um vertrauenswürdige KI. Eine KI, die danebentippt, untergräbt das Vertrauen der Kunden. Und in Sachen B2B SaaS gibt es ohne Vertrauen keine Akzeptanz.
Unser Ansatz bei Blinqx: vertrauenswürdige KI von Anfang an
Bei Blinqx haben wir dieses Problem von Anfang an ernst genommen. Auf unserer Qore/AI-Plattform bauen wir Zuverlässigkeit in unsere Modelle ein. Das bedeutet:
- Ehrlich zu sagen, wenn etwas nicht sicher ist. Unsere Modelle können ausdrücklich zurückgeben, dass sie nicht sicher genug sind.
- Fallback-Mechanismen. Wenn das Wissen fehlt, kann eine zusätzliche Prüfung angefordert werden, z. B. durch Retrieval oder menschliche Validierung.
- Zentrale Leitplanken. Sicherheitsmechanismen sind standardmäßig in Qore/AI integriert, sodass die von uns erstellten Agenten berechenbar und kontrollierbar bleiben.
Diese Prinzipien machen KI in unseren Branchen, wo fehlerhafte Ergebnisse direkte Auswirkungen auf die Benutzer haben können, nutzbar und skalierbar.
OpenAI und der Bedarf an vertrauenswürdiger KI
Die jüngste Veröffentlichung von OpenAI über die Reduzierung von KI-Halluzinationen zeigt, dass das Thema kein Nice-to-have ist, sondern ein notwendiger Schritt bei der Entwicklung agentenbasierter KI.
Indem man Modelle anders belohnt – nicht nur nach Korrektheit, sondern auch nach Ehrlichkeit – kann die Häufigkeit von Halluzinationen drastisch reduziert werden. Das zeigt auch der Ansatz, den wir bei Blinqx bereits verfolgen: lieber eine KI, die „Ich weiß es nicht“ sagt, als eine, die mit Überzeugung etwas Falsches liefert. Denn sie gibt gerne eine Antwort.
Vom Rateroboter zum digitalen Kollegen
Der Übergang von generativer KI zu agentenbasierter KI macht eine Lösung dieses Problems noch dringlicher. Agenten arbeiten nicht nur reaktiv, sondern treffen Entscheidungen und führen eigenständig Aktionen aus. Wenn ein solcher Agent rät, können die Auswirkungen viel größer sein als eine falsche Antwort: ganze Prozesse können entgleisen.
Deshalb sehe ich es als grundlegende Verantwortung jedes CAIO oder CTO an, keine KI zu entwickeln, die Raterei zulässt. Entwickeln Sie eine vertrauenswürdige KI, die sagt, was sie weiß, und ehrlich sagt, was sie nicht weiß. Nur dann kann Ihr Agent ein wirklich vertrauenswürdiger digitaler Kollege werden.
Meine eigene Ratestrategie hat in den Hörsälen gut funktioniert. Aber in Sachen B2B SaaS ist eines klar: Glücksspiel ist in der Praxis unserer Kunden keine Option.
Häufig gestellte Fragen zu Halluzinationen von LLMs
Viele Large Language Models (LLMs) geben auch dann Antworten, wenn sie sich nicht sicher sind. Das wird Halluzination genannt: eine scheinbar überzeugende, aber faktisch falsche Antwort. Bei Verbraucheranwendungen mag das harmlos sein, aber bei SaaS für Unternehmen ist es riskant.
Der Trainingsprozess von LLMs belohnt Gewissheit, nicht Ehrlichkeit. „Ich weiß es nicht“ wird bestraft. Infolgedessen lernen die Modelle, immer etwas zu sagen, selbst wenn sie Zweifel haben. Benchmark-Ergebnisse scheinen beeindruckend zu sein, enthalten aber oft „Ratearbeit“.
Unsere Qore/AI-Plattform verhindert Rätselraten durch:
– Ehrlichkeit: KI gibt an, wenn sie etwas nicht weiß
– Kontrollen und Fallback: zusätzliche Validierung durch Retrieval oder Experten
– Leitplanken: eingebaute Sicherheitsmechanismen für vorhersehbare Ausgaben
