Prévisions : le marché prédictif Hypermind remporte la médaille d’or

Malgré deux mauvaises surprises très médiatisées, le marché prédictif Hypermind a encore amélioré sa performance en 2016 et confirmé sa place au sommet du palmarès mondial des prévisionnistes.

Avec les victoires du Brexit, de Donald Trump et de François Fillon, l’année 2016 nous a réservé plusieurs surprises particulièrement spectaculaires. Margaret Thatcher ne s’était décidemment pas trompée lorsqu’elle avançait qu’”en politique, l’imprévu se produit !”. Un tel florilège sur des sujets aussi importants pourrait légitimement inciter certains à conclure que la prévision n’est pas une occupation sérieuse et que ses praticiens sont à vouer aux gémonies.

Cependant, l’examen objectif des faits révèle quelques vérités autrement plus subtiles et véritablement encourageantes. D’une part, la performance mesurable d’Hypermind a continué de s’améliorer en 2016, malgré les surprises (ou, nous le verrons, grâce à elles). D’autre part, l’intelligence collective de nos parieurs a de nouveau surpassé les autres méthodes de prévision, notamment les modèles “data” qui moulinent les sondages.

Des probabilités, pas des certitudes

Rappelons d’abord qu’il y a plusieurs types de prévisionnistes et que tous ne se valent pas. Les boules de cristal, les numéros et les astres sont éliminés d’office. Plus légitimes sont les éditorialistes et autres penseurs attitrés, les modèles statistiques (“data”), les marchés prédictifs comme Hypermind où s’affrontent des parieurs informés, et parfois les sondages (même s’ils se défendent de faire des prévisions). Parmi eux, seuls les modèles statistiques et les marchés prédictifs font systématiquement l’effort de formuler des probabilités qui permettent de quantifier l’incertitude : ce sont donc les seules méthodes d’anticipation dont on peut vraiment mesurer la qualité. Les autres relèvent plus du divertissement que de l’information.

Hypermind donnait, par exemple, à la veille du vote, 25% de chances au Brexit et 20 à 25% de chances au président Trump. Si ni l’un ni l’autre de ces résultats n’était favori, ils étaient loin d’être improbables. Quelque chose qui a 20% de chances d’arriver, soit une chance sur cinq, n’est pas un « cygne noir » : c’est aussi probable qu’un pénalty raté de Lionel Messi. Doit-on considérer que la terre a tremblé à chaque fois que l’argentin rate un pénalty, ou à chaque fois qu’un outsider remporte une course hippique ? L’erreur, humaine, est de considérer que ce qui est peu probable est impossible, ou que ce qui est très probable est acquis. L’autre erreur classique est de considérer après coup que ce qui est arrivé devait arriver, en oubliant la part incompressible de hasard, ce “purgatoire de la causalité” comme disait Baudrillard.

Comme si la réalité s’alignait sur les prévisions

Cela admis, se pose ensuite la question de savoir comment juger de la qualité d’une prévision probabiliste. Comment savoir a posteriori si le Brexit n’avait vraiment que 25% de chances, au lieu de 50%, ou même 90% ? Idéalement, il faudrait pouvoir observer le résultat non pas sur un seul référendum mais sur plusieurs dizaines : est-ce qu’environ un sur quatre donnerait la victoire au Brexit ? Si oui, la prévision de 25% serait vérifiée. Mais si les résultats déviaient trop de ces proportions, en plus ou en moins, alors on pourrait dire que la probabilité était mal estimée. L’adéquation entre le pourcentage d’événements prévus et la proportion d’événements réalisés mesure « l’étalonnage » de l’outil prévisionniste. Mieux il est étalonné, plus ses probabilités sont fiables.

Malheureusement, il n’y aura jamais d’autres référendums identiques. Chaque étape de l’histoire de l’humanité est unique. Alors comment évaluer l’étalonnage et la fiabilité des prévisions ? Le mieux que l’on puisse faire est de considérer un grand nombre d’événements différents et d’observer combien de ceux auxquels on assigne la même probabilité se réalisent.

Lancé mi-2014, Hypermind a traité jusqu’à présent 221 questions économiques, militaires et politiques avec 589 réponses possibles. 70 d’entre elles (32%) furent traitées en 2016, y compris le Brexit, l’élection américaine, la primaire de la droite et du centre, les élections espagnoles, le référendum italien, et bien d’autres. Les niveaux de difficultés variaient, naturellement, mais aucune n’était triviale, car chacune était commanditée par un sponsor (gouvernement, banque, média, etc.) faisant face à quelque incertitude stratégique.

Les résultats sont résumés dans le graphe ci-dessous. Moins les points dévient de la diagonale (grisée), plus les prévisions sont bien étalonnées. On voit que les probabilités générées par Hypermind sont remarquablement fiables : Les événements auxquels on accorde 20 à 30% de chances se réalisent entre deux et trois fois sur dix ; les événements estimés avoir entre 70 et 80% de chances se réalisent entre sept et huit fois sur dix, etc. C’est presque comme si la réalité s’alignait sur les prévisions !

calibx10-eoy-2016-tall-fr

Seul bémol à une correspondance presque parfaite, les évènement auxquels on donne entre 60 et 70% de chances, mais qui jusque là se sont réalisés un peu moins souvent que prévu. Les favoris déchus de l’année écoulée (“Remain”, Clinton, Juppé) sont sans doute partiellement responsables de cette anomalie, mais les surprises (Brexit, Trump, Fillon) ont par ailleurs contribué à corriger le biais qu’exhibait le marché à surévaluer les chances d’événements peu fréquents. Au total, en 2016, l’étalonnage d’Hypermind s’est amélioré de 40% par rapport à fin 2015 ! Dans l’ensemble, le bilan est donc largement positif.

Hypermind en haut du podium

Une autre façon d’évaluer la performance prédictive d’Hypermind est de la comparer à celle d’autres prévisionnistes de référence. Là non plus, Hypermind n’a pas démérité. Quand des comparaisons étaient possibles, notamment sur le Brexit ou l’élection Américaine, Hypermind a égalé ou surpassé non seulement les méthodes statistiques concoctées par les meilleurs “data-journalistes” des plus grands médias anglo-saxons, mais aussi les marchés prédictifs et les bookmakers les plus réputés outre-Manche et outre-Atlantique.

Par exemple, le graphique ci-dessous montre l’évolution de la probabilité que Donald Trump remporte l’élection présidentielle Américaine de novembre 2016 selon Hypermind et les prévisionnistes les plus référencés par la presse internationale. Plus la courbe d’un prévisionniste se maintient en hauteur, plus il a accordé de chances au candidat au long de la campagne. Même si les pronostics tendent à converger vers la fin, on voit bien qu’Hypermind est le prévisionniste qui, dans la durée, a accordé le plus de chances à Trump. Une analyse séparée du Washington Post conclut elle aussi à la supériorité d’Hypermind sur une liste de compétiteurs un peu différente, incluant notamment le Huffington Post dont la performance fut encore pire que celle du New York Times.

hm-vs-others

On observe d’ailleurs la même chose concernant les pronostics sur la nomination de Trump lors des primaires Républicaines, ou sur le Brexit : à chaque fois, Hypermind accorde plus de chances à la réponse gagnante que ne le font les autres. Globalement, sur l’ensemble des prévisions comparables, Hypermind sur-performe les modèles “data” d’environ 25% et les autres intelligences collectives d’environ 15%.

Cette performance relative d’Hypermind est particulièrement remarquable au vu du calibre des compétiteurs : Betfair et PredictIt sont respectivement les marchés prédictifs les plus fréquentés au Royaume-Uni et aux Etats-Unis, brassant chacun des millions de livres et de dollars misés par des dizaines de milliers de parieurs. Leurs prévisions sont régulièrement reprises par le Financial Times. En comparaison, Hypermind ne brasse que de l’argent virtuel avec dix à vingt fois moins de participants (mais triés sur le volet).

La méthode Good Judgment, mise au point à l’Université de Pennsylvanie, est une sorte de sondage prédictif particulièrement sophistiqué impliquant les fameux “superforecasters” champions de 2011 à 2015 d’un grand concours d’anticipation géopolitique organisé par les agences de renseignement américaines. Même si sa mécanique est différente, Hypermind est largement inspiré de cette recherche, à laquelle nous avons eu la chance de contribuer pendant plusieurs années. Les prévisions de Good Judgment sur l’élection américaine étaient sponsorisées et publiées par le Washington Post.

Enfin, le New York Times, le Huffington Post et le blog FiveThirtyEight du génial statisticien Nate Silver proposaient des modèles “big data” mixant des données historiques et économiques fondamentales avec le flux massif des sondages. Dans la même veine, l’agence Reuters s’était associée avec l’institut Ipsos pour suivre les opinions de 15 000 américains tout au long de la campagne… et conclure la veille du vote que Clinton avait 90% de chances de l’emporter.

Même si nous avons tous globalement considéré que Donald Trump n’était pas favori, il est amusant de constater que ceux qui suivaient Hypermind furent relativement mieux préparés à son élection que les lecteurs du Washington Post, du New York Times, du Financial Times, du Huffington Post, ou de Reuters !

La “surprise” Fillon

En France, les prévisions d’Hypermind sur la primaire de la droite et du centre ont aussi été plus informatives que ce qui ressortait de l’agrégation des sondages. Dans le graphique ci-dessous, on voit que Fillon était déjà donné à égalité de chances avec Sarkozy bien avant son décollage tardif dans les sondages. Le marché l’a ensuite anticipé en second plusieurs jours avant qu’il ne rattrape Sarkozy et Juppé dans les sondages. Enfin, dans les derniers jours avant le premier tour, Hypermind a correctement projeté la victoire de Fillon ainsi que l’ordre d’arrivée de ses rivaux, alors qu’une simple extrapolation des tendances sondagières – Juppé en baisse, Sarkozy stable – aurait plutôt donné Sarkozy second et Juppé troisième.

primdroite-sondages-vs-hm

Avantage à l’intelligence collective française ?

En deux ans et demi d’existence, et sur des centaines de questions économiques, militaires et politiques, Hypermind a démontré une capacité exceptionnelle à mesurer l’incertitude sous forme de probabilités fiables. Même si on est loin du fantasme de la boule de cristal clairvoyante, cela représente un progrès notable dans notre capacité à anticiper l’avenir.

Preuve que cette performance n’a rien de trivial, Hypermind a su, au cours d’une année 2016 particulièrement difficile pour les favoris, continuer à estimer mieux que les autres les chances des outsiders. Ni les bookmakers les plus fortunés, ni les manipulateurs de big data les plus expérimentés, ni les analystes de sondages les plus fins, ni les “superforecasters” les plus réputés n’ont su faire mieux.

Il est intéressant de s’interroger sur les raisons de la supériorité d’Hypermind. Par rapport aux modèles “data” (New York Times, Huffington Post, Five Thirty Eight, Reuters/Ipsos), l’explication est assez simple : quand les data sont de mauvaise qualité – sondages trompeurs, par exemple – ces modèles sont facilement induits en erreur. En revanche, l’intelligence humaine des parieurs est capable d’intégrer dans son raisonnement beaucoup d’autres sources d’information, des impressions, des intuitions, qui permettent de corriger le tir mais qui ne sont pas disponibles aux algorithmes.

Par rapport aux autres prévisionnistes qui se basent aussi sur l’intelligence collective (Betfair, PredictIt, Good Judgment), l’avantage objectif d’Hypermind est plus étonnant. Une conjecture prometteuse est que contrairement aux autres, dont les panels de pronostiqueurs sont presque exclusivement anglo-saxons, celui d’Hypermind fait aussi intervenir une très forte composante francophone. La diversité des points de vue étant l’un des ingrédients essentiels d’une intelligence collective, ceci pourrait aider à expliquer cela…

panel-170120

Principales sources de pronostiqueurs actifs dans le panel Hypermind

Quoi qu’il en soit, gageons qu’en 2017, alors que le monde accélère sa course vers un horizon noyé dans un brouillard technologique et politique de plus en plus épais, l’intelligence collective qui fonde Hypermind contribuera à éclairer la route autant que possible.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s