Science

Un algorithme a permis à la Dropbox de gagner plusieurs pétaoctets d’espace

Dropbox stocke plus de 500 pétaoctets de données sur vos serveurs, de sorte que tout algorithme de compression efficace peut vous aider à économiser beaucoup d’argent. C’est le cas avec Lepton, une technologie qui permet de réduire la taille des images JPEG de 22 %, rapidement et sans trop dépenser de ressources matérielles. Le meilleur : il n’y a pas de perte de qualité.

Le Lepton a été développé par Dropbox lui-même et appliqué à 16 milliards d’images jusqu’à présent, ce qui a permis au service de cloud computing d’économiser “plusieurs pétaoctets d’espace”. Les anciennes photos sont également compressées avec le nouvel algorithme à une vitesse considérable : sur un Intel Xeon E5?2650v2, il est possible d’atteindre 5 Mo/s en compression et 15 Mo/s en décompression.

Et comment cela fonctionne-t-il ? Les choses sont évidemment complexes, mais essayons de comprendre. Imaginez que vous avez une photo JPEG. L’algorithme divise l’image en plusieurs blocs de 8×8 pixels (soit 64 pixels par bloc). Chaque bloc est codé avec des transformées en cossene discrètes, très utilisées dans les algorithmes de compression. L’un des 64 coefficients (DC) représente la luminosité du bloc, et l’autre 63 (AC) stocke les informations détaillées du bloc (la texture d’un objet, par exemple).

  Des scientifiques de Stanford créent une batterie lithium-ion non explosée

En fin de compte, les “informations détaillées” ne sont que des bits (dans ce cas, chaque coefficient comporte 10 bits). Lepton balaye le bloc en zigzag, en ignorant tout ce qui est nul, et sauvegarde la taille binaire des coefficients AC en unaire (?2 ? est représenté comme 110, ?5 ? est 111110 et ainsi de suite).

Ensuite, il écrit ?1 ? si le coefficient est positif ou ?0 ? s’il est négatif. Enfin, Lepton représente en binaire la valeur du coefficient AC. En binaire, tout nombre supérieur à 0 commence par ?1 ?, donc Lepton omet simplement ce ?1 ? au moment de l’enregistrement. D’accord, nous enregistrons les données ici.

Et le coefficient DC (luminosité), qui est généralement enregistré avant le AC dans la plupart des formats d’image, est ensuite enregistré en Lepton. Comme il y a de nombreux coefficients AC dans le bloc, il est possible de prévoir ce que sera le DC. L’algorithme ne sauvegarde donc que la différence entre la DC réelle et la DC prédite par Lepton, ce qui contribue également à réduire l’espace occupé. Boom ! Et c’est totalement sans perte, c’est-à-dire que vous pouvez restaurer exactement le JPEG original, petit à petit.

  Shutterstock s'est déjà protégé contre l'algorithme de suppression du filigrane de Google

Pour ceux qui étaient curieux, les détails sont sur le blog de la technologie Dropbox. Et si vous n’avez rien compris à l’explication et que vous ne le souhaitez pas, il n’y a pas de problème : ce qui compte vraiment, c’est que Dropbox a ouvert le code source de Lepton ce jeudi (14), ce qui signifie que d’autres entreprises pourront bénéficier de la technologie et l’appliquer à d’autres produits que vous utilisez. Le code peut être téléchargé sur GitHub.

En fait, je me suis souvenu que j’avais des épisodes tardifs de Silicon Valley.

A propos de l'auteur

Véronique

La trentaine, maman de deux petits monstres de 10 ans. Je pèse chaque jour le pour et le contre dans l'utilisation des écrans pour mes bambins !
J'écris souvent depuis les transports en commun (#teamTablette).

Laisser un commentaire