Les marchés prédictifs : intelligence collective du futur

Présentation en 15 minutes de la mécanique et de l’intérêt des marchés prédictifs pour repousser les limites de la prévision. Ode à l’intelligence collective à contre courant de l’engouement général pour le Big Data et l’intelligence artificielle.

Présentation d’Emile Servan-Schreiber, directeur de Lumenogic et de Hypermind, au Hubday Predictions 2016 (7 janvier à Paris).

ESS_Hubday_2016

 

CHIPS_NYT

Intelligence collective : pourquoi il vaut mieux parier que voter

Ce n’est pas par hasard si les grecs, inventeurs de la démocratie, furent aussi les premiers à parler d’intelligence collective. Dans son traité de Politique, Aristote explique déjà que « de nombreux individus, dont aucun n’est un homme vertueux, peuvent, quand ils s’assemblent, être meilleurs que les quelques meilleurs d’entre eux, non pas individuellement mais collectivement … »

De nos jours, l’intelligence collective s’exprime au travers de plateformes dites “participatives”. Pour agréger nos choix, on nous propose le plus souvent des sondages sous forme de votes ou de “likes”. Plus rarement, on nous propose d’anticiper ou de parier. Les plateformes de paris étant plus exigeantes pour les participants, on peut se demander si l’effort supplémentaire requis par rapport au simple sondage en vaut la peine.

LES PARIEURS PLUS FORTS QUE LES SONDAGES

Depuis 1952, à l’occasion de chaque élection présidentielle, les sondeurs américains posent deux questions en parallèle : d’une part « pour qui voteriez-vous si l’élection avait lieu aujourd’hui ? », et d’autre part « indépendamment de votre préférence, qui selon vous va gagner l’élection ? » La première question recueille les préférences des électeurs, tandis que la seconde recueille leurs prévisions. Paradoxalement, ce sont nos préférences (intentions de vote), plutôt que nos prévisions qui sont traditionnellement relayées dans les médias, et considérées par les sondeurs comme l’indicateur le plus fiable du résultat probable de l’élection.

Ce n’est que très récemment que deux économistes américains ont enfin pensé à comparer la qualité des prévisions issues des deux questions, et leur conclusion va à l’encontre des (mauvaises) habitudes médiatiques : la prévision collective anticipe en fait beaucoup mieux le résultat d’une élection que la préférence collective. (1) Par exemple, en 2004, alors que les sondages d’intentions de vote peinaient à départager le sortant George Bush et son adversaire John Kerry, deux tiers des sondés disaient dans les mêmes enquêtes s’attendre à la victoire de Bush.

Ce résultat fait écho à un autre phénomène richement documenté : celui de l’avantage des paris sur les sondages. Un pari n’étant rien d’autre qu’une prévision agrémentée d’une récompense ou d’une punition. Déjà bien avant l’invention des sondages d’opinion par George Gallup en 1935, les cotes proposées par les bookmakers de Wall Street étaient la principale source de prévisions pendant les campagnes électorales, et sur quinze élections présidentielles entre 1884 et 1940, le favori des parieurs n’a perdu qu’une seule fois ! (2)

Longtemps tombés en désuétude, pour cause d’interdiction ou d’opprobre publique, les paris politiques sont progressivement revenus à la mode grâce à Internet, rendant ainsi possible des comparaisons directes entre les prévisions des parieurs et celles des sondages d’intentions.

Par exemple, l’Université de l’Iowa opère depuis 1988 un site de paris politiques pour ses étudiants. En comparant ses prévisions avec celles de 964 sondages conduits par les grands instituts au cours de 5 élections présidentielles américaines, on constate que les parieurs voient plus juste dans 72,5% des cas. (3)

C’est d’autant plus impressionnant quand on se rend compte que le panel des parieurs, contrairement à celui des sondés, n’est aucunement représentatif de l’électorat national : dans le cas de l’Université de l’Iowa, les parieurs sont surtout mâles, blancs, jeunes, éduqués et aisés.

Dès 2007, le magazine The Economist prenait acte de la performance des parieurs, avérée par ailleurs dans une variété d’autres domaines allant du sport à la géopolitique, en passant par le box-office et l’économie, pour conclure que « les futurologues les plus écoutés de nos jours ne sont pas des individus mais les marchés prédictifs, où les pronostics d’une multitude de gens informés sont consolidés en probabilités fiables. » (4)

INTÉRÊT POUR LES ENTREPRISES

Ces résultats sont importants car ils remettent en question la dominance presque totale de la méthode des sondages dans la “science” du marketing en général, pas seulement en politique.

Par exemple, quand il s’agit d’évaluer le succès potentiel de nouveaux produits, on a pris l’habitude de sonder la préférence collective d’un panel représentatif de consommateurs. Une alternative serait de recueillir les prévisions d’un panel de gens informés recrutés parmi experts, clients, et surtout employés.

Nous avons testé cette approche chez un géant américain de l’industrie alimentaire (Fortune 100). Sur 530 employés invités à participer, 156 (30%) ont répondu à l’appel de tous les départements de l’entreprise: R&D, marketing, RH, supply-chain, finance, ventes, etc. Ils devaient prévoir le plus précisément possible le succès de 6 nouveaux produits qui seraient bientôt mis sur le marché. Les meilleures estimations seraient récompensées de quelques centaines de dollars. La simple moyenne de leurs prévisions – la prévision collective – était ensuite comparée aux prévisions issues des méthodes classiquement utilisées par l’entreprise, et aux résultats réels. La prévision collective fut plus proche de la réalité pour 4 produits sur 6, et 35% plus performante en moyenne. (5)

D’autres études conduites dans des entreprises aussi différentes que Google, Arcelor-Mittal, Campbell’s, et Ford ont toutes mené à des réductions d’erreur de 20% à 30%, et des prévisions collectives plus proches de la réalité les deux tiers ou trois quarts du temps. (6,7)

Mais au delà de générer de meilleures prévisions, le pari collectif permet aussi d’impliquer plus largement les employés dans une réflexion stratégique, par exemple autour de l’innovation :

« Nous souhaitions interroger un groupe de créatifs dont les idées ne sont pas souvent prises en compte » expliqua ainsi au New York Times le vice président pour les nouvelles technologies du groupe hôtelier InterContinental, à propos de la plateforme de paris déployée en interne pour tamiser les idées innovantes des ses 1000 informaticiens. (8) Et de conclure : « c’est beaucoup plus efficace qu’un sondage pour recueillir et prioriser des idées. » (9)

POURQUOI CELA FONCTIONNE SI BIEN

Voici les 7 raisons principales de l’avantage du pari comme méthode d’anticipation :

1) On pose les bonnes questions – Par exemple, pour établir des priorités entre plusieurs idées de nouveaux produits, au lieu de demander “quelle idée/produit préférez-vous ?“, on demandera “à votre avis, quelle idée/produit a le plus de chances de réussir ?” On en appelle ainsi à la raison plutôt qu’à l’émotion, et on a d’autant plus de chances de faire émerger les meilleures idées ou produits, au lieu des plus populaires.

2) On réfléchit plus et mieux – Confronté au risque et à la possibilité de récompense, le cerveau fonctionne différemment. Des réseaux cérébraux spécialisés sont soudainement activés. L’émotionnel est réprimé, le rationnel est privilégié. (10,11) On réfléchit plus objectivement, en prenant moins ses désirs pour des réalités. C’est comme si l’on changeait le logiciel interne de notre pensée. Think Different !

3) On traite plus de données pertinentes – Celui à qui l’on demande d’anticiper le choix d’une population – que ce soit entre deux candidats à une élection (électeurs), ou entre deux pots de yaourt sur une étagère de supermarché (consommateurs) – va naturellement prendre en compte, en plus de sa propre préférence, celles des personnes qu’il côtoie : famille, amis, collègues, etc. En sollicitant des prévisions, on traite donc – selon les estimations des chercheurs – jusqu’à 20 fois plus de données pertinentes qu’en sollicitant des préférences individuelles.

4) On valorise plus l’information que la représentativité – La préférence d’un panel n’a de valeur prédictive que dans la mesure où ce panel est représentatif d’une population plus large. Le sondage électoral typique requiert ainsi de recruter environ 1000 personnes pour avoir une marge d’erreur acceptable. Un panel de consommateurs sera quant à lui composé d’une douzaine d’âmes. En revanche, le seul critère qui compte dans un panel de parieurs ou de prévisionnistes est la quantité globale d’information pertinente qu’ils apportent, et leur motivation à s’informer sans cesse davantage pour gagner ! Comme le montre si bien l’exemple des parieurs de l’Iowa, la représentativité est moins importante que la connaissance et la motivation des participants.

5) On encourage l’originalité plutôt que le conformisme – Pour gagner un pari, il faut avoir raison avant les autres. Par définition, on ne peut pas gagner en étant d’accord avec le consensus. L’indépendance d’esprit nécessaire à toute intelligence collective est ainsi fortement encouragée.

6) On attire la connaissance et on repousse l’ignorance – Avec le risque et la récompense qu’il implique, le pari joue le rôle de carotte pour ceux qui ont des informations pertinentes, et de bâton pour ceux qui n’en ont pas. Les premiers sont attirés et s’auto-recrutent dans le panel volontairement sans que l’on ait besoin de les identifier au préalable. Les seconds restent à l’écart de peur de perdre leur temps, ou plus. Ce tamis est très efficace pour constituer un panel informé et motivé en un temps record. On peut sans inquiétude inviter tout le monde à participer, avec la garantie que seuls ceux qui peuvent contribuer quelque chose participeront effectivement. Pour ceux là, l’aspect ludique de la compétition, allié à une récompense proportionnée, fait des merveilles pour contrer ce qu’il est convenu d’appeler “survey fatigue” (ras-le-bol des enquêtes).

7) On améliore la performance au fur et à mesure – Alors que toutes les préférences sont bonnes – on ne discute pas des goûts et des couleurs –, toutes les prévisions ne se valent pas. On peut juger objectivement de la qualité des prévisions de chacun, et s’en servir pour donner plus de poids à l’opinion de ceux qui ont le plus souvent raison. Dans un système de paris cette pondération est automatique, car ceux qui gagnent souvent peuvent miser de plus en plus gros, tandis que les mises des perdants réguliers vont en s’amenuisant. Ainsi, par une sorte d’apprentissage, le panel des parieurs devient de plus en plus performant.

CONCLUSION

L’intelligence est intimement liée à l’anticipation. Au cours de l’évolution, ceux dont le cerveau n’était pas capable de prévoir, par exemple, le prochain danger sur le chemin, ou le terrain de chasse le plus fertile, ont eu moins de descendants que les autres. En terrain hostile, on ne prospère pas en suivant ses préférences, mais en anticipant correctement le réel.

Il en est de même en affaires : de l’intelligence collective d’une entreprise dépend sa capacité à anticiper la réalité du marché. Et comme nous venons de le voir, le pari collectif est un moyen privilégié pour cultiver cette capacité.


Références

(1) Rothschild & Wolfers (2012) – Forecasting elections: voter intentions versus expectations. http://users.nber.org/~jwolfers/Papers/VoterExpectations.pdf
(2) Strumpf & Rhode (2004) – Historical presidential betting markets. Journal of Economic perspectives
(3) Berg, Nelson, & Rietz (2008) – Prediction market accuracy in the long run. International Journal of Forecasting
(4) Cottrell (2007) – The future of futurology. The Economist : The World In 2008
(5) Lang, Bharadwaj, & DiBenedetto (2014) – Can the emerging prediction market methodology aid in improving demand forecasting of new products? Proceedings of the American Marketing Association, Winter Educators Conference, Orlando, FL
(6) Cowgill & Zitzewitz (2014) – Corporate prediction markets: evidence from Google, Ford, and Firm X. Proceedings of the fifteenth ACM conference on Economics and computation
(7) Llera (2006) – Sparc : Arcelor’s Prediction Market. Presentation at the First European Prediction Markets Summit, Vienna
(8) Lohr (2008) – Betting to improve the odds. New York Times (9) Tedeschi (2007) – The wisdom of sales trend predictions. New York Times
(10) Tom, Fox, Trepel, & Poldrak (2007) – The neural basis of loss aversion in decision-making under risk. Science
(11) Pochon, Levy, Fosati, Lehericy, Poline, Pillon, Le Bihan, & Dubois (2007) – The neural system that bridges reward and cognition in humans : an fMRI study. Proceedings of the National Academy of Sciences