Das Problem klassischer Studien
Nur große Marken betreiben regelmäßig Marktforschung. Alle anderen entscheiden aus dem Bauch heraus, denn klassische Forschung ist:
- Teuer: 5.000 € bis 50.000 € pro Studie (Rekrutierung, Incentives, Auswertung).
- Langsam: 3 bis 8 Wochen zwischen Briefing und Ergebnissen.
- Starr: Jede Konzeptvariante ist eine neue kostenpflichtige Studie.
- Verzerrt: kleine Stichproben, Rekrutierungsverzerrung, soziale Erwünschtheit.
Die Methode, verständlich erklärt
Die zentrale Idee des Papers: die Erzeugung der Meinung von ihrer Messung entkoppeln. Wir fragen keine Zahl ab, wir messen die Nuance einer freien Antwort.
Warum nicht direkt eine Note abfragen?
Ein LLM nach einer „Note von 1 bis 5“ zu fragen, ergibt degenerierte Verteilungen (alle antworten 4), eine starke Prompt-Abhängigkeit und eine schwache Korrelation mit dem Menschen. Die Lösung: die Persona frei sprechen lassen und diesen Text anschließend von außen bewerten.
- 1
1. Vielfältige Personas
Wir erzeugen eine heterogene Population synthetischer Befragter (Alter, sozioökonomischer Status, Region, Einstellungen), um die Varianz wiederherzustellen.
- 2
2. Antwort in natürlicher Sprache
Jede Persona reagiert auf das Konzept mit einem Verbatim, in der Sprache und Kultur des simulierten Marktes.
- 3
3. Likert-Wert per Ähnlichkeit
Wir vergleichen das Embedding des Verbatims mit Ankersätzen (einer je Stufe); die Kosinus-Ähnlichkeit ergibt einen kontinuierlichen Wert und anschließend einen kalibrierten Score.
Die Ankersätze (Beispiel DE, Kaufabsicht)
Das Scoring vergleicht jedes Verbatim mit einem versionierten, je Sprache validierten Ankerset. Beispiel auf einer 5-stufigen Likert-Skala:
| Stufe | Ankersatz |
|---|---|
| 1 | “Ich würde es ganz sicher nicht kaufen, das interessiert mich überhaupt nicht.” |
| 2 | “Es ist unwahrscheinlich, dass ich es kaufe, es überzeugt mich nicht wirklich.” |
| 3 | “Ich bin mir nicht sicher, vielleicht, das käme darauf an.” |
| 4 | “Ich würde es wahrscheinlich kaufen, es interessiert mich.” |
| 5 | “Ich würde es ohne zu zögern kaufen, das ist genau das, was ich brauche.” |
Die Veröffentlichung
„LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings“ (arXiv 2510.08338, Oktober 2025).
Autoren: B. F. Maier, U. Aslak, L. Fiaschi, N. Rismal, K. Fletcher, C. C. Luhmann, R. Dow, K. Pappas, T. V. Wiecki.
Ergebnis: Richtig geprompted und kalibriert reproduzieren LLMs die Verteilungen der menschlichen Kaufabsicht auf einem statistisch nutzbaren Niveau, unter anderem bewertet über einen LightGBM-Klassifikator.
Unsere Kalibrierung
Wir bitten nicht um blindes Vertrauen: Wir messen laufend die Abweichung zwischen unseren synthetischen Ergebnissen und menschlichen Referenzdaten (öffentliche Datensätze, Partner-Validierungen, internes Hold-out) und weisen sie aus.
- Korrelation synthetisch ↔ menschlich
- 0,92
- Fehler bei der Top-2-Box
- 4 %
- Abdeckung der KI
- 94 %
- Verglichene Konzepte
- 26
Je größer die Validierungsbasis wird, desto besser und belastbarer wird die Methode. Ein echter Datennetzwerk-Effekt.
Indikative Daten, Version showcase-v1
| Menschlich | Synthetisch |
|---|---|
| 1.4 | 1.5 |
| 1.7 | 1.6 |
| 1.9 | 2.1 |
| 2.1 | 2 |
| 2.3 | 2.5 |
| 2.5 | 2.4 |
| 2.6 | 2.8 |
| 2.8 | 2.7 |
| 2.9 | 3.1 |
| 3 | 2.9 |
| 3.1 | 3.3 |
| 3.2 | 3.1 |
| 3.3 | 3.5 |
| 3.4 | 3.3 |
| 3.5 | 3.6 |
| 3.6 | 3.4 |
| 3.7 | 3.9 |
| 3.8 | 3.7 |
| 3.9 | 4.1 |
| 4 | 3.9 |
| 4.1 | 4.3 |
| 4.2 | 4.1 |
| 4.3 | 4.2 |
| 4.5 | 4.6 |
| 4.6 | 4.4 |
| 4.8 | 4.7 |
Konfidenzintervalle & Verlässlichkeitswert
Jede Studie weist einen Verlässlichkeitsindex aus, abgeleitet aus der Kalibrierungsdichte der Kategorie, der Panelgröße (N → Breite der KI) und der internen Konsistenz der Antworten.
Große Stichprobe: enge Konfidenzintervalle, hohe Verlässlichkeit.
Mittlere Stichprobe: gute Verlässlichkeit, Spannen beachten.
Kleine Stichprobe: indikatives Ergebnis, auf größerem Panel bestätigen.
Ein Gremium von Modellen, kein einzelner Richter
Jeder synthetische Befragte stammt aus einer anderen Modellfamilie. Mehrere KIs zu kombinieren verdünnt die Verzerrung eines einzelnen Modells — wie ein vielfältiges menschliches Panel statt einer einzigen Meinung.
- Claude
- GPT
- Gemini
- Grok
- Mistral
Weniger Einzelmodell-Verzerrung
Ein einzelnes LLM zwingt dem gesamten Panel seinen Stil und seine Trainingskultur auf. Verteilt man die Befragten auf fünf Familien (Claude, GPT, Gemini, Grok, Mistral), wird die idiosynkratische Verzerrung jeder einzelnen abgeschwächt.
Weniger Abhängigkeit
Ist ein Anbieter nicht verfügbar oder gedrosselt, läuft die Studie auf den anderen Modellen weiter. Keine Studie hängt von einem einzigen Anbieter ab.
Vielfalt und Souveränität
Der Pool umfasst ein europäisches Modell (Mistral) neben den US-Modellen — für echte kulturelle und technologische Vielfalt.
Bewiesen, nicht versprochen
Jede Antwort speichert das Modell, das sie erzeugt hat: die Aufteilung pro Anbieter ist nachvollziehbar und überprüfbar.
In voller Transparenz: Das mildert die Verzerrung, beseitigt sie aber nicht vollständig. Wir kennzeichnen es entsprechend.
FAQ Glaubwürdigkeit
Ersetzt das eine echte Studie?
Es ist ein Werkzeug zur Entscheidungsunterstützung und Priorisierung, kein vollständiger Ersatz für die Feldarbeit bei Entscheidungen mit sehr hohem Einsatz. Ideal, um Konzepte zu sichten, eine Botschaft oder ein Packaging vorzutesten und schnell zu iterieren. Die Feldarbeit behalten Sie für die wirklich kritischen Abwägungen.
Warum ist es verlässlich, obwohl es so günstig ist?
Der niedrige Preis kommt vom marginalen Compute (Haiku-Modell, Batch API, Caching), nicht von einem Kompromiss bei der Methode. Die Sorgfalt bleibt identisch: semantische Elizitation, Kalibrierung, Konfidenzintervalle. Einbrechen tun allein die Produktionskosten.
Und die Verzerrungen der KI?
Sie existieren (Homogenität, Stereotype, kulturelle Verzerrung oder soziale Erwünschtheit). Wir mildern sie durch erzwungene Persona-Vielfalt, Prompt-Leitplanken, lokalisierte Anker und eine marktspezifische Kalibrierung, die den systematischen Versatz korrigiert. Und wir weisen die Fälle mit geringer Verlässlichkeit aus, statt sie zu verbergen.