Für die US-Geheimdienste war es wohl ziemlich peinlich. Immerhin ist es ihr Job, zu wissen, was auf der Welt vor sich geht – und was demnächst passieren könnte. Ob sich in Simbabwe ein Staatsstreich anbahnt. Ob Nordkorea einen weiteren Raketentest durchführen wird. Oder ob politische Unruhen im Iran den Brent-Ölpreis auf über 70 US-$ steigen lassen könnten. Um Antworten zu finden, tragen rund um die Welt Mitarbeiter Informationen zusammen und pflegen Quellen. So erhalten die Geheimdienste einen Wissensvorsprung – und sind der Öffentlichkeit immer einen Schritt voraus.

So weit die Theorie. Das Problem dabei: Sie ist falsch. Als die US-­Geheimdienste in einem breit angelegten mehrjährigen Experiment ihre Vorhersagen überprüften, stellte sich heraus: Eine kleine Gruppe von Laien war in der Lage, das Weltgeschehen konstant besser zu prognostizieren – ohne allerdings Zugang zu geheimen Informationen zu haben. Alles, was sie brauchten, war ein Internetzugang. Diese Gruppe hat einen Namen: „Superforecaster“.

Einer dieser Superforecaster ist Sander Wagner. Der gebürtige Berliner arbeitet als Soziologe an der renommierten Hochschule ENSAE in Malakoff bei Paris. Sein Doktorat hat er in Barcelona gemacht. Dort saß er eines Abends an seiner Dissertation und hatte keine Lust mehr, zu schreiben. Also surfte er im Internet und stieß auf das Good Judgement Project – einen Wettbewerb des US-Psychologen Philip Tetlock, bei dem die Teilnehmer das Weltgeschehen voraussagen sollten. Die Zukunft hatte Wagner schon immer fasziniert. Als Kind war er ein Fan der Foundation-Trilogie des Science-Fiction-Schriftstellers Isaac Asimov. Sie dreht sich um den Mathematiker Hari Seldon, der eine eigene Wissenschaft entwickelte, mit der er in die Zukunft sehen kann. So versucht Seldon, die Zeit zu verringern, in der sich das galaktische Imperium im Chaos befindet.

Bruno Jahn
Jahn absolvierte das Studium der Islam­wissenschaft an der Freien Universität Berlin sowie eine einjährige Weiter­bildung an der Fernuniversität Hagen (Business Administration and Management). Seit 2012 ist Jahn als Super­forecaster tätig, ebenso als Berater und Trainer für politisches Forecasting.

Vor einer derart gewaltigen Aufgabe stand Wagner Mitte 2013 nicht, als er beim Good Judgement Project begann, selbst in die Zukunft zu blicken. Er musste bloß Fragen zum Weltgeschehen beantworten. Wird es vor 1. Jänner 2014 im Ostchinesischen Meer einen militärischen Konflikt mit Todesopfern zwischen China und Japan geben? Wird die Türkei vor dem 1. Februar 2014 eine neue Verfassung verabschieden? Wird die Europäische Zentralbank vor 31. März 2014 Negativzinsen einheben, wenn Banken Geld bei der Notenbank parken? Es waren Fragen wie diese, an denen sich Wagner – wie rund 2.800 andere Teilnehmer – versuchte. Zu Beginn wendete er rund zehn Stunden pro Woche für seine Recherchen auf. Er durchforstete das Internet, richtete Stichwörter bei Google News ein, tippte Informationen in Excel-Tabellen. Dann urteilte er, wie wahrscheinlich ein bestimmtes Ereignis war. Fand er neue Informationen, passte er seine Prognosen an. Nach einem Jahr wurden die Vorher­sagen aller Teilnehmer ausgewertet. Wagner landete unter den besten zwei Prozent – und wurde damit offiziell als Superforecaster ausgezeichnet.

Ein anderer Deutscher gehörte dem exklusiven Klub zu diesem Zeitpunkt schon an. Bruno Jahn lebt in Berlin und berät mittlerweile Unternehmen rund um die Frage, wie sich ihre Prognosefähigkeiten verbessern lassen. Über die Kunst des Vorhersagens hat der ­studierte Islamwissenschafter ein Buch („Sichere Prognosen in unsicheren Zeiten“) geschrieben, das im April erscheinen wird. „Wir glauben immer, es geht um Expertenwissen, die besten Formeln, die meisten Daten, aber das ist nur zweitrangig“, sagt Jahn. Entscheidend sei eher, dass man immer wieder hinterfrage, wie gut das eigene Wissen eigentlich sei und welche Unsicherheiten bestünden. Jahn sieht seine Prognosen auch als Prüfstein seiner Analyse von Gegenwart und Vergangenheit: „Wenn die korrekt ist, dann sollten die impliziten Vorhersagen, die aus meiner Analyse folgen, auch stimmen – oder mich zwingen, ­meine Analyse zu hinterfragen".

Prozentsatz, um den Prognostiker besser sind als der Zufall

Bereit zu sein, die eigene Meinung zu ändern – das ist einer der wichtigsten Punkte, die Super­forecaster laut Good-Judgement-Project-Gründer Philip Tetlock auszeichnen. Ins Leben gerufen wurde das Projekt als Teil eines noch viel größeren Experiments – auf Initiative der US-Geheimdienste. Intern waren die geo­politischen Prognosen der Dienste verstärkt in die Kritik geraten. 2002 hatten die Geheimdienste im Irak Massenvernichtungswaffen vermutet. Fälschlicherweise, wie sich nach dem Einmarsch der US-Truppen im Folgejahr herausstellte. Der Druck auf die Nachrichtendienste nahm zu. Auch deshalb wurde 2006 eine neue Behörde ins Leben gerufen – die Intelligence Advanced Research Projects Activity (IARPA). Sie sollte die Geheimdienstarbeit mit wissenschaftlichen Erkenntnissen verbessern. Dabei wurde die IARPA auf Tetlock aufmerksam.

Der Psychologieprofessor hatte sich 2005 mit einer aufsehen­erregenden Langzeitstudie zu Expertenprognosen einen Namen gemacht. Rund 20 Jahre lang hatte Tetlock insgesamt rund 28.000 Vorhersagen von knapp 300 Experten aufgezeichnet und ausgewertet. Das Ergebnis: Im Schnitt waren die Prognosen nicht besser als der bloße Zufall. Besonders wenn die Vorhersagen drei oder mehr Jahre in die Zukunft reichten, schafften die Experten meist kein besseres Ergebnis, als es ein Dartpfeile werfender Schimpanse erreicht hätte. Allerdings schnitten manche Prognostiker besser ab als andere. Diese Experten teilten einige Merkmale: Sie waren weniger ideologisch geprägt, waren eher bereit, ihre Meinung zu ändern, wenn sich Dinge anders entwickelten. Sie sammelten akribisch neue Informationen und hatten ein gutes Gefühl für Wahrscheinlichkeiten. Sie räumten ein, dass vieles unsicher war, und hinterfragten sich ständig selbst.

Tetlock nannte diesen Typus von Experten „Füchse“. Er griff dabei auf eine Unterscheidung des Philosophen Isaiah Berlin zurück. Der hatte schon in den 1950er-­Jahren die großen Denker der Ideen­geschichte in zwei Kategorien eingeteilt: in „Füchse“ und „Igel“. Berlin bediente sich dabei eines Zitats des griechischen Lyrikers Archilochos: „Der Fuchs weiß viele Dinge, aber der Igel weiß ein großes Ding.“ Daran fühlte sich Tetlock erinnert, als er die Experten in seiner Studie analysierte. Den pragmatischen „Füchsen“ standen die „Igel“ gegenüber: Sie waren oft Fachleute in einem speziellen Gebiet, vertraten eine große Idee – und die mit Vehemenz. Unsicherheit war ihre Sache nicht. Und dennoch: Die besseren Prognosen lieferten die „Füchse.“

Als die IARPA daran tüftelte, die Prognosen der Geheimdienste zu verbessern, stießen sie auf Tetlocks Studie – und schlugen ihm die Teilnahme an einem gigantischen Experiment vor. Tetlock sollte ein Team für ein breit angelegtes, vierjähriges Prognoseturnier aufstellen. Die Aufgabe: Ereignisse des Weltgeschehens so exakt wie möglich vorhersagen. Die Gegner: vier andere Teams von renommierten US-Universitäten. Die Fragen: kurz, prägnant und unmissverständlich formuliert. Bei den meisten ließ sich innerhalb weniger Wochen feststellen, ob sie richtig oder falsch beantwortet worden waren. So wollte die Behörde testen, ob die Erkenntnisse der Wissenschafter für die Praxis taugten. Tetlock sagte zu. Das Good Judgement Project war sein Team.

Um herauszufinden, was am besten funktionierte, konnten die Wissenschaftler ihre Teams in weitere Gruppen unterteilen. So war es möglich, unterschiedliche Methoden zu testen. Bruno Jahn etwa arbeitete im Good Judgement Project in einer Gruppe mit ande­ren Forecastern. Sander Wagner hingegen war bei seinen Prognosen völlig auf sich allein gestellt. Wieder andere Teilnehmer trafen ihre Vorhersagen, indem sie fiktive Gelder auf einem virtuellen Markt setzten.

Am Ende des Jahres übertraf das Good Judgement Project die von der IARPA gesetzte Zielmarke deutlich. Zudem lagen Tetlocks Prognostiker komfortabel vor den anderen Teams. Für das zweite Jahr nahm Tetlock die besten aus seiner Gruppe und steckte diese Super­forecaster in Elite-Teams. Der Psychologe war nicht überrascht, dass er bei vielen die Eigenschaften der in seinem früheren Werk beschriebenen „Füchse“ wiederfand: die Bereitschaft, Dinge zu überdenken, Nuancen zu sehen und immer dazuzulernen. „Das Vorhersagen ist eine gute Art, eigene Überzeugungen infrage zu stellen“, bestätigt Super­forecaster Sander Wagner. Wenn man zu viele ideologische Scheuklappen habe, werde man wahrscheinlich schlechtere Prog­nosen treffen.

Nicht alle waren überzeugt. Wie Tetlock in einem Forschungspapier schreibt, unkten Kritiker, dass die Superforecaster des ersten Jahres nur Glück gehabt hätten und im zweiten Jahr zurückfallen würden. Doch das Gegenteil trat ein: Rund 70 Prozent der Superforecaster lagen erneut im Spitzenfeld. Die Eliteteams verbesserten ihre Performance durch die Zusammen­arbeit noch einmal. Im zweiten Jahr lag das Good Judgement Project so deutlich vor den anderen Teams, dass die IARPA Tetlock vorzeitig zum Sieger erklärte. Die Teams der anderen Wissenschafter wurden vom Bewerb verabschiedet. Für die verbleibenden zwei Jahre prognostizierte nur mehr Tetlocks Gruppe.

Schließlich verglich die Behörde die Vorhersagen der Superfore­caster mit den Prognosen der Geheimdienstexperten – jene von Tetlocks Leuten waren um 30 Prozent genauer. Ohne Zugang zu klassifiziertem Material, ohne an den jeweiligen Schauplätzen vor Ort zu sein. Während die US-Geheimdienste mühsam ihre Quellen pflegten, tippten Superforecaster wie Jahn und Wagner Suchbegriffe in Google ein – und erreichten bessere Ergebnisse. Wie war das möglich?

„Ich glaube, man überschätzt oft, wie viele zusätzliche Informationen Geheimdienste haben“, sagt Wagner. In Bereichen wie Terroris­mus hätten sie tatsächlich oft gute Quellen. Gehe es aber darum, die Sicherheitslage in Ländern einzuschätzen, seien die entscheidenden Informationen oft ohnehin schon bekannt. Zudem würden Geheimdienste den Wert von Informationen überschätzen, die schwierig zu besorgen waren. Bruno Jahn sieht das ähnlich: „Das ist so, wie Ihnen ein Wein besser schmeckt, von dem ich Ihnen bei einer Blindverkostung sage, er habe 100 Euro gekostet, gegenüber einem, der angeblich zehn Euro gekostet hat.“ Wirbt ein Geheimdienst etwa unter schwierigen Umständen einen Informanten aus dem Umfeld eines ausländischen Staatschefs an, ist das ein großer Coup für den Geheimdienst – heißt aber noch lange nicht, dass die Infos dieser Quelle auch brauchbar sind. „Das, was öffentlich bekannt ist, ist vielleicht viel aussagekräftiger. Doch gäbe der Geheimdienst das zu, wäre seine Existenzberechtigung infrage gestellt“, meint Jahn.

Für die Nachrichtendienste be­ruhigend könnte aber eine andere Erkenntnis des Good Judgement Project sein: Richtiges Prognosti­zieren kann man lernen. Schon grundlegende Infos über Techniken, die Superfore­caster einsetzen, verbesserte die Resultate der Teilnehmer. Steckte man die geschulten Prognostiker in Teams, in denen sie ihre Vorhersagen diskutierten, brachte das noch bessere Ergebnisse. Für einige Superforecaster ist daher die nächste Mission, der Welt beizubringen, wie man besser in die Zukunft blickt. Aus dem Good Judgement Project ist mittlerweile das Unternehmen Good Judgement Inc. entstanden. Es bietet unter anderem Workshops an, in denen Firmen die richtigen Prognosetechniken lernen können. Andere Superforecaster wie Bruno Jahn bieten ähnliche Leistungen an. Wenn sie dabei erfolgreich sind, können die Unternehmen fundiertere Entscheidungen treffen – und sich besser auf die Zukunft ein­stellen. Um die Rettung des galak­tischen Imperiums werden sich aber auch weiterhin andere kümmern müssen.

Prognosegenauigkeit beim GJP im Vergleich
Quelle: Good Judgement Inc

llustration: Valentin Berger

Dieser Artikel ist in unserer Januar-Ausgabe 2017 „Forecasting“ erschienen.