Apories

C'est en lisant un article du Monde parlant du décollage de certains candidats dans les sondages mais aussi sur les réseaux sociaux que je me suis demandé quelle était la réalité de ces allégations car chaque élection amène son lot de surprises.

Je me suis alors souvenu que Twitter possède une API ouverte aux développeurs qui permet d'aspirer quelques statistiques de manière très limitée. Après une demi journée à lire la documentation de twitter, survoler les conditions juridiques et jouer avec les implémentations qui en sont faites que j'ai réussi à finaliser un petit morceau de script qui permet de collecter les statistiques sur les derniers followers d'un utilisateur.

En gros, twitter permet de récolter des données de 3 000 comptes toutes les 15 minutes, je me suis limité à 1 000 comptes par candidat à la présidentielle pour tous les candidats parce que...ça ne coûte guère plus de travail de tous les traiter et que ça me fait aussi plaisir de les traiter à égalité.

Sur de petits candidats, ça peut représenter une partie non négligeable de leur parc mais sur les gros, c'est un instantané assez court, très limité et très probablement pas représentatif mais ça a l'avantage de faire cogiter. Et voici ce que ça donne après un petit traitement LibreOffice.

J'ai filtré les langues les plus majoritaires pour que le tableau soit plus lisible.

Autre stat, twitter donne la date de création du compte que j'ai retranscrite en journée d'ancienneté du compte. Un compte "nouveau" est un compte créé le jour même et qui adhère dans la foulée au candidat, "semaine" un compte qui a entre 1 et 8 jours d'ancienneté au moment de l'adhésion, "mois" entre 9 et 31, etc...

Même si j'y pensais lors de la rédaction du dernier article, l'annonce de François Hollande a été une surprise pour moi. Pas mal de choses ont été dites sur son bilan, mais curieusement on ne parle plus de son livre: était-ce un message préfigurant sa "non entrée dans la course" ? J'ai le sentiment que d'ici quelques années les français seront nostalgiques de son mandat vues les difficultés qui s'annoncent.

Sa position vis à vis de la justice était insultante mais je l'ai surtout trouvée révélatrice de son caractère: au fond si François Hollande rabaisse les magistrats, c'est parce qu'il pense que la distance qu'ils ont avec les justiciables leur rend la vie plus facile que la sienne où il arbitre avec des gens qu'il connaît. Il me semble qu'il montre ici son incapacité à faire son autocritique.

Cette remarque dédouane aussi partiellement Christiane Taubira dont on dit qu'au final elle aura assez peu fait à la justice. Quand on connaît la position du président c'est déjà bien d'avoir réussi à tenir le poste.

Les résultats des dernières élections nous montrent que les méthodes de sondage sont devenues obsolètes. Beaucoup d'électeurs ne répondent pas aux instituts, vont voter en masse et font la différence, on en a eu la preuve à la primaire de la droite.

Nicolas Poirier propose un indicateur très simple basé sur les statistiques mises à disposition par Google.

Il existe de même certaines Intelligences artificielles qui utilisent les réseaux sociaux pour prédire les résultats des élections

J'ai un avis plus modéré sur la question mais je pense que les gens "se sentent" plus libres d'exprimer leur opinion sur Internet et donc qu'un indicateur google (90% des recherches sur le web) ou qu'une IA sera plus efficace pour donner une tendance qu'un institut de sondage avec ses 1000 personnes interrogées dont un bon lot ne veut pas répondre.

A defaut d'IA, si on applique l'indicateur de Nicolas Poirier que donne-t-il sur les primaires à gauche sur les 30 derniers jours?

D'abord, je pense qu'il est faussé pour l'instant pour Valls qui bénéficiait de sa médiatisation de premier ministre (et qui a bénéficié de l'effet démission d'Hollande).

Il montre ensuite que le choix se fait plutôt entre Emmanuel Macron et Jean-Luc Méluchon mais que le premier s'érode alors que le deuxième fait preuve d'endurance.

Quand on compare avec la primaire de la droite, on mesure le manque d'engouement pour cette primaire et que les "leaders" du graphe précédent sont très loin derrière: le "sursaut" de Valls est mineur en comparaison.

Et le FN dans tout ça? Il semble avoir disparu. Je suis allé voir les statistiques de 2012 et en comparaison, il montrait des scores comparables alors qu'il est ici relégué au dernier plan.

Quelle conclusion tirer ?

Il faut se méfier de ces courbes, c'est le candidat qui fait la campagne. La seule chose que j'y verrais, c'est que personne ne fait mieux qu'Alain Juppé et que personne ne semble pouvoir y arriver pour l'instant.

Il est difficile faire des propositions mais ce post de blog avait attiré mon attention.

Ce mode de scrutin permet de sélectionner le candidat qui agrège le plus d'adhésion, neutralise les manoeuvres tactiques classiques d'alliance du deuxième tour et évite les effets néfastes des petits candidats.

Au lieu de voter pour un candidat, vous évaluez chaque candidat et la comparaison des évaluations donne le candidat qui a le plus d'adhésion.

Les inconnues de ce mode de scrutin: il n'a jamais été utilisé, il n'y a qu'un tour (surprise du vainqueur), le mode de calcul peut susciter la défiance...

Affaire peu connue du grand public, Newsoo.fr était une société permettant d’avoir accès aux Newsgroups. L'éditeur a été condamné à six mois de prison avec sursis et à payer 20 000 euros pour la SACEM (article de Next Inpact dont je me suis inspiré).

Le but n'est pas ici de donner un avis sur la question juridique du dossier car ce n'est pas mon domaine mais de parler des passages du jugement qui m'ont interpelés sur la technique.Je donne ici mon avis et n'ai qu'une connaissance relative du sujet mais qui m'a l'air déjà plus au fait que ce j'ai pu lire dans le jugement.

Pour comprendre ce qui s'est passé, il faut une petite explication de ce que sont les Newsgroups.

En 1979, un groupe d'étudiants de Caroline du Nord créent un réseau de forum (à l'image des forums web actuels) reliés entre eux. Ce réseau est organisé en groupes dont les noms sont un peu construits à l'inverse des URLs des sites web.

Pour donner un exemple fr.education.entraide.maths est un groupe de langue française sur lequel on peut venir demander de l'aide sur les mathématiques. Au contraire du web, pas besoin de moteur de recherche (qui n'existaient pas à l'époque) pour trouver le groupe dont on a besoin, un peu de jugeote suffit...

Les utilisateurs du réseau se connectent au serveur récupèrent les messages dans le groupe pour les lire et éventuellement postent leurs questions/réponses et autres commentaires. Les logiciels qui permettent d'utiliser ces réseaux ressemblent pour les utilisateurs fortement à ceux qui envoient les emails.

Bientôt, ils éprouvent le besoin de joindre des logiciels à leurs messages. Cette pratique étant optionnelle et fortement consommatrice de ressources, elle est limitée à certains groupes que l'on qualifie de binaires (en opposition aux groupes qui contiennent du texte).

Avec le temps (milieu 90), les serveurs gagnent en puissance et les accès à ces réseaux se démocratisent avec l'arrivée des fournisseurs d'accès à Internet grand public. Les pirates  profitent alors des fonctionnalités des groupes binaires pour y poster des logiciels piratés...Et vous l'aurez compris Newsoo permettait entre autres de télécharger illégalement différents types de fichiers.

Pour ma part, c'est un service que j'ai découvert en école d'ingénieur, très pratique à une époque où il n'avait pas de moteur de recherche efficace mais aussi difficile à maintenir. En effet, le serveur auquel vous êtes relié est lui-même connecté à d'autres qui ne lui envoient pas forcément l'intégralité de tous les groupes.

Il faut comprendre que c'est un réseau où chaque groupe d'administrateur définit ses règles et il est fréquent de ne pas avoir tous les messages d'un groupe ou de ne voir que certaines réponses et de n'avoir l'historique que sur une période restreinte appelée durée de rétention (car il faut un budget pour cet espace de stockage).

Pour me faire une idée, je suis allé voir ce matin si la partie texte des newsgroups étaient encore active et après quelques recherches pour trouver un serveur français gratuit, je suis rapidement tombé sur ça (durée de rétention 1 mois):

Le tribunal a retenu que Newsoo (je grasse les passages qui m'interpèlent):

« proposait à ses clients payants, non pas un service de stockage de données provenant de tiers, mais un accès, sélectionné par ses soins, à des groupes binaires du réseau Usenet.

Cette implication dans le choix des accès, puisqu'1/15 seulement des groupes Usenet étaient accessibles via newsoo.fr et que ce choix s’est porté notamment sur des groupes binaires permettant le téléchargement illégal, fait obstacle à la qualification revendiquée d’hébergeur ».

Il faut voir ici qu'il existe 150 000 groupes sur usenet (source le jugement) que beaucoup sont inactifs ou peu actifs, que conserver des groupes de toutes les langues présente peu voire aucun intérêt et donc 10 000 groupes maintenus proprement, c'est déjà un travail important et ça pourrait déjà contenir 95% de la partie active de usenet lisible par des français anglophones.

Le "notamment" n'éclaire pas non plus sur la part des groupes binaires vs texte: en volume de trafic un film DVD fait 4 Go alors qu'un message texte fait un million de fois moins...

Edit du 01/11/2016: Il existe une petite phrase humoristique célèbre au sujet de l'accès complet à usenet.

"Even more amazing was the realization that God has Internet access.  I
wonder if He has a full newsfeed?" (Matt Welsh)

Il est possible que la montée en puissance des machines et des connexions réseaux ait rendue cette phrase obsolète mais la petite connexion que j'ai faite me laisse à penser que c'est toujours un peu le chaos.

Une grosse partie du jugement cherche également à démontrer que l'activité de newsoo ne relève ni de l'opérateur technique, ni de l'hébergeur mais du logiciel. Je ne partage pas cet avis.

Historiquement, les fournisseurs d'accès à Internet ont été les premiers fournisseurs d'accès à USENET, c'est typiquement un service de FAI:

FDN est le premier FAI Français (juin 1992) encore en activité et l'un des premiers services (peut-être le premier) qu'ils ont fourni était les newsgroups.

Wanadoo fournissait un accès (j'ai retrouvé rapidement un lien d'utilisateur CA MARCHE PAS  de 2002)

AOL a fourni un accès jusqu'en 2005.

Avec la baisse des utilisateurs et les risques juridiques, il ne reste aujourd'hui plus que Free.

Edit du 06/11/2016:

Dernière partie que je voudrais commenter:

«Le tribunal retient que le statut d'hébergeur, défini par l'article 6 I 2° de la LCEN comme étant la mise à disposition du public par des services de communication au public en ligne par le stockage de signaux, d'écrits d'images de sons ou de messages de toute nature fourni par des destinataires de ces services ne caractérise pas l'activité du site newsoo.fr»

Le protocole NNTP traite de messages. La RFC 977 (1986) faisait le parallèle avec SMTP utilisé pour les emails:

«The news server specified by this document uses a stream connection (such as TCP) and SMTP-like commands and responses.»

Cette RFC est devenue obsolète mais il est possible de trouver deux articles de Stéphane Bortzmeyer résumant le sujet sur des RFC .

Le premier sur les protocoles de bavardage  qui explique le mode de propagation des articles par les news et le deuxième qui détaille le format des messages.

Le reste du jugement dit d'autres choses sur la personnalité de l'éditeur qui dépasse le côté technique et que je préfère ne pas aborder vu que je ne suis pas familier de ces procédures.

Edit du 01/11/2016: Si vous souhaitez vous faire votre propre opinion et aller faire un tour sur fr-newsnet. Vous pouvez peut-être utilisé votre logiciel de gestion d'emails pour y accéder (usenet fonctionne sur la base de messages envoyés à des serveurs, ce ne sont pas les mêmes mais il y a une analogie): Windows Live Mail, Thunderbird.

Pour ce qui est du serveur, il faudra essayer dans cette liste.