Tous vos tweets sont là, correctement liés à votre profil. Mais trouver les anciens messages a toujours été un défi : la recherche sur Twitter ne répertorie que les publications les plus récentes. Mais grâce à une mise à jour interne, ce problème est resté dans le passé.
Twitter est un réseau social qui donne la priorité au présent. Si vous entrez dans le profil de quelqu’un pour lire ses messages, beaucoup d’entre eux vous sembleront parfaitement compréhensibles, mais beaucoup d’autres vous sembleront vagues car leur contexte est lié au moment de leur publication.
C’est pourquoi le moteur de recherche Twitter a été conçu à l’origine pour n’afficher que les tweets les plus récents. Il est fort probable que des restrictions techniques ont également limité la portée des recherches : les systèmes de ce type sont complexes et nécessitent fréquemment une infrastructure de parruda pour fonctionner.
Il n’a pas fallu longtemps pour que les utilisateurs aient besoin de consulter des tweets moins récents. Ce besoin a conduit à la création de services spécialisés sur le sujet, notamment Topsy.
Malgré cela, Twitter n’a commencé à s’intéresser davantage au sujet qu’en 2011, après l’arrivée de l’ingénieur en logiciel Paul Burstein qui, à son tour, a rejoint une équipe nouvellement constituée pour créer précisément un meilleur système de recherche.
Burstein avait une bonne raison d’embrasser la cause. Dans son précédent emploi chez Salesforce.com, il avait essayé de localiser un tweet qui l’aiderait à résoudre un problème grave dans le système d’une entreprise. Il n’a pas pu. C’est l’une des raisons pour lesquelles il a accepté un poste sur Twitter.
L’équipe de Burstein a essayé plusieurs solutions au problème. L’un d’eux, un système qui laissait les tweets stockés dans une sorte de “réseau cache”, a bien fonctionné, mais seulement au début : il y avait des difficultés à inclure les tweets récents en temps voulu.
Après d’autres essais, les ingénieurs se sont finalement concentrés sur un système Big Data basé sur Hadoop. Grâce à elle, il est possible d’inclure et d’extraire des données de la base en temps quasi réel.
C’est pourquoi Twitter peut désormais renvoyer à l’utilisateur n’importe quel tweet, du plus récent à ceux publiés en 2006, année de lancement du réseau social (mais la mise à jour vient d’être mise en place, donc il peut tre nécessaire plusieurs jours pour que le système couvre tous les profils).
L’histoire ne s’arrête pas là. Burstein et son équipe travaillent actuellement à rendre le moteur de recherche plus rapide et, à un stade ultérieur, à proposer davantage de paramètres de recherche. Cela ne devrait pas prendre longtemps après tout, l’étape la plus difficile a déjà été franchie.
