Die folgende Geschichte beruht auf einer wahren Begebenheit:
2022. Ein kalter Februartag in der Tübinger Innenstadt. Fünf Freunde entscheiden sich den Abend etwas angenehmer ausklingen zu lassen. Eine Focaccia und drei Bier später steht eine Frage im Raum - wie könnte es auch anders sein, wenn fünf WissenschaftlerInnen trinken. Die Frage lautet: kann man Weißweine nur am Geschmack von Rotweinen unterscheiden.
Die meisten Leute würden so eine Frage wahrscheinlich eine Zeit lang diskutieren, sie würden lachen, googeln, und vielleicht sogar etwas streiten. Doch bei unseren fünf Freunden ist die Neugier größer.
Zwei der Frauen der Gruppe, Anna und Luise, sind der festen Überzeugung, dass man die Farbe von Weinen rein an Geschmack und Geruch erkennen kann. Also stellen sie die Hypothese auf, dass sie Rot- und Weißwein blind unterscheiden können. Julian und Felix haben weniger Vertrauen in den menschlichen Geschmackssinn, und glauben, dass das nicht möglich ist. Also starten sie ein Experiment, um die Hypothese zu testen und wetten auf der Ergebnis. Der Verlierer muss den Wein bezahlen.
Julian und Felix wollen die Wette jedoch nur eingehen, wenn es ausgeschlossen ist, dass Anna und Luise durch reinen Zufall gewinnen könnten. Dies ist ein generelles Problem in der Wissenschaft. Besonders in der Kognitionswissenschaft, in der Messungen oft ungenau sind und der Zufall daher einen großen Einfluss auf die Ergebnisse eines Experimentes hat. Daher haben WissenschaftlerInnen sich generell auf eine Konvention geeinigt: Ergebnisse über Unterschiede werden nur als relevant eingestuft, wenn die Wahrscheinlichkeit unter 5% liegt, dass man den Unterschied zufällig misst, obwohl er gar nicht vorhanden ist. Auch Felix und Julian wollen sichergehen, dass Anna und Luise nicht nur zufällig richtig raten. Da unsere WissenschaftlerInnen leider nur ein bescheidenes Gehalt haben, wollen sie so wenig Weine wie möglich kaufen, aber trotzdem sicher gehen, dass die Wahrscheinlichkeit zufällig alle Weine richtig zu erraten unter den 5% liegt. Wie viele Weine man dafür braucht, lässt sich rechnerisch lösen. (Diesen Luxus haben wir bei vielen Experimenten leider selten, daher muss die Anzahl der benötigten Testsubjekte meist geschätzt werden.) Also holen die fünf Freunde Stift und Papier heraus und führen ein paar Rechnungen durch (für interessierte LeserInnen: 0.5^x = 0.05 ⇔ x = log(0.05)/log(0.5) = 4.3. Ergibt aufgerundet 5). Das Ergebnis: Sie brauchen fünf Weine, da die Wahrscheinlichkeit, dass eine Person nur durch Raten alle fünf Weine richtig errät bei 3.13% (0.5^5) liegt. Wenn sie nur vier Weine nehmen würden wären es schon 6.25% (0.5^4). Dieses Verfahren erlaubt unseren fünf Freunden potenziell für jeden Einzelnen herauszufinden, ob er oder sie die Weine unterscheiden kann. So können Lukas und Felix zwar mittrinken, aber unsere Freunde können sicher gehen, dass selbst wenn sie absichtlich schlecht abschneiden um zu schummeln, sie allein durch Annas und Luises Ergebnissen Schlussfolgerungen treffen können.
Praktischerweise hat die Freundesgruppe ein fünftes Mitglied, das sich bereit erklärt auf den Wein zu verzichten und das Experiment durchzuführen. Sophie geht also los in den nächsten Supermarkt und kauft fünf verschiedene Weine. Wichtig dabei ist, dass sie ihren Versuchskaninchen nicht erzählt was für Weine sie kauft und wie viele davon rot oder weiß sind. Sonst könnten die vier Freunde dieses Wissen nutzen um einzelne Wein-Entscheidungen gegeneinander abzuwägen. (Wenn einer der Freunde schon drei rote Wein erkannt hat und weiß die Aufteilung ist 3:2, sind die anderen beiden vermutlich weiß.) Diese Abhängigkeit zwischen den Entscheidungen würde die Aussagekraft der obigen Rechnung in Frage stellen. Das ist ein generelles Prinzip bei Experimenten: Annahmen, die zur Testung von Hypothesen gemacht werden, dürfen möglichst im Nachhinein nicht verletzt werden. In diesem Fall haben die Freunde die Annahme gemacht, dass jeder Rateversuch vom nächsten unabhängig ist. Aus diesem Grund werden auch die Resultate über die Weine erst ganz am Ende bekannt gegeben und alle Teilnehmenden bekommen unterschiedliche Weine zu unterschiedlichen Zeitpunkten. Idealerweise würden die Freunde ihre Weine auch separat voneinander probieren, um gegenseitige Beeinflussung zu verhindern, aber in diesem Fall sind die fünf WissenschaftlerInnen zugunsten des Spaßfaktors ausnahmsweise mal nicht so penibel.
Generell kann man aber sagen, dass es für saubere Schlussfolgerungen wichtig ist bei Experimenten alle möglichen Alternativerklärungen und Beeinflussungen von außen auszuschließen. In der Wissenschaft bezeichnet man dies allgemein als die Erhöhung der internen Validität. Diese ist gegeben, wenn man sich sicher sein kann, dass das beobachtete Ergebnis (hier: das Erraten der Weine), nur auf das untersuchte Phänomen (hier: die Fähigkeit Rot- und Weißwein blind zu unterscheiden) zurückzuführen ist. Die interne Validität ist der Grund, warum Experimente oft so langweilig wirken und WissenschaftlerInnen so penibel sind. Dadurch sind Experimente auch oft realitätsfern. Die Nähe zur Realität bezeichnet man auch als externe Validität. WissenschaftlerInnen müssen sich oft zwischen kontrollierten Laborexperimenten (interner Validität) und realitätsnahen (externer Validität), aber schwer zu interpretierenden Feldexperimenten entscheiden.
Nach fleißigem Trinken, Riechen und Raten haben unsere vier Freunde jeweils ihre fünf Stimmen abgegeben. Erst jetzt dürfen sie die Augenbinden abnehmen und bekommen die Ergebnisse von Sophie verkündet. Anna: 5/5 richtig, Luise: 5/5 richtig, Julian: 5/5 richtig und Felix: 4/5 richtig. Sie kommen zu dem Schluss: Luises und Annas Theorie, dass sich die Farbe von Weinen blind bestimmen lässt, ist wahrscheinlich richtig.
Jedoch gab es viele Entscheidungen auf dem Weg zu diesem Ergebnis, die in Frage gestellt werden könnten. Zum einen haben die fünf Freunde nur fünf verschiedene Weine getestet, die natürlich nur ein kleiner Ausschnitt aus der Vielfalt der Weine zeigen können. Zum Beispiel könnte es sein, dass die vier Ratenden gar nicht etwas “farbspezifisches” erschmeckt haben, sondern die Weine nur nach Regionen klassifiziert haben. Und zufällig kamen unsere Weißweine aus einer Region, die Rotweine jedoch aus einer anderen. Solche Zufälle können auf zwei Arten umgangen werden. Zum einen könnte man die fünf Weine perfekt auswählen, sodass sie die gesamte Weinlandschaft abbilden. Dies ist jedoch meist nicht möglich, da nur sehr selten alle Faktoren bekannt sind und berücksichtigt werden können. Die zweite Möglichkeit wäre, möglichst viele verschiedene Weine zu testen, sodass die Wahrscheinlichkeit, dass Zufälle über das Ergebnis entscheiden, sehr gering ist.
Ein anderes Problem, dass durch das Testen vieler Weine gelöst werden kann, hat etwas mit der spezifischen Hypothese zu tun, die die fünf Freunde getestet haben. Sie wollten die Hypothese widerlegen, dass Rot- und Weißwein überhaupt nicht zu unterscheiden sind (also, dass das Ergebnis nur durch Zufall, also in 50% der Fälle, richtig ist). Diese Hypothese wäre auch falsch, wenn die meisten Leute Weine zwar unterscheiden können, aber nicht immer, also zum Beispiel mit 70%iger Wahrscheinlichkeit. Wenn dies der Fall gewesen wäre, hätte jeder der Freunde nur 3-4 Weine erraten. Mit diesem Ergebnis hätten sie ihrer ursprünglichen Hypothese jedoch nicht widerlegen können und fälschlicherweise geglaubt, dass man Rot- und Weißwein gar nicht voneinander unterscheiden kann. Um also auch eine imperfekte Fähigkeit die Weine zu unterschieden nicht zu übersehen, braucht man mehr Testungen. Das kann wieder durch mehr Weine pro Person, aber auch durch mehr Personen pro Wein erreicht werden.
Außerdem ist zu beachten, dass sich die Ergebnisse nur auf 20-30-jährige Europäer, die schon etwas Erfahrung mit dem Trinken von Weinen haben, beziehen. Wenn man die Aussage verallgemeinern möchte, braucht man ProbandInnen verschiedenen Alters, verschiedener Kulturkreise mit unterschiedlich viel Weinerfahrung, etc.. Dies ist ein häufiges Problem in der Kognitionswissenschaft, da die Testpersonen oft aus dem direkten Universitätsumfeld kommen, und sich dadurch sehr ähnlich sind. Solche ProbandInnen werden auch oft als “WEIRD” bezeichnet, da sie aus “Western, Educated, Industrialized, Rich, and Democratic” Gesellschaften kommen. (Henrich, J., Heine, S., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33(2-3), 61-83.)
Trotz dieser Einschränkungen sind die fünf Freunde zufrieden. Sie haben, mit den Mitteln die sie an diesem kalten Februarabend zu Verfügung hatten, das Experiment so gut wie möglich gemeistert. Und so funktioniert es auch häufig in der Wissenschaft. Es ist unmöglich eine Hypothese perfekt zu testen, aber wir müssen es trotzdem versuchen, um aus unseren Experimenten Schlüsse ziehen zu können. Denn ohne penible Herangehensweisen bleibt unser Wissen nur reine Spekulation.
