Commentaires sur : Google trie 1 PetaByte de données !

Par : Dr. Goulu

Dr. Goulu — Thu, 08 Apr 2010 20:07:18 +0000

Le record d’efficacité énergétique du tri (Joule sur http://sortbenchmark.org/ ) vient d’être battu par un processeur Intel Atom utilisant 4 « disques » SSD plutôt que des disques durs.

source :http://www.techno-science.net/?onglet=news&news=7666

Par : Tri réversible ? « Dr. Goulu

Tri réversible ? « Dr. Goulu — Sat, 30 Jan 2010 20:29:27 +0000

[...] besoin de 4096*log(4096) bits, soit 6K, plus que les données! En passant, ça signifie qu’en triant beaucoup de petites données, on peut perdre plus de la moitié de l’information contenu dans la liste [...]

Par : Dr. Goulu

Dr. Goulu — Wed, 25 Feb 2009 18:04:39 +0000

La conclusion de l’article [2] te répond ceci :

The MapReduce programming model has been successfully used at Google for many different purposes. We attribute this success to several reasons.

First, the model is easy to use, even for programmers without experience with parallel and distributed systems, since it hides the details of parallelization, fault-tolerance, locality optimization, and load balancing.

Second, a large variety of problems are easily expressible as MapReduce computations. For example, MapReduce is used for the generation of data for Google’s production web search service, for sorting, for data mining, for machine learning, and many other systems.

Third, we have developed an implementation of MapReduce that scales to large clusters of machines comprising thousands of machines. The implementation makes efficient use of these machine resources and therefore is suitable for use on many of the large computational problems encountered at Google.

En bref, MapReduce permet de faire une parallélisation réellement bête et méchante car le programmeur n’a rien besoin de connaitre à la programmation parallèle ni à l’architecture de la machine cible !

Par : Tom Roud

Tom Roud — Wed, 25 Feb 2009 04:24:16 +0000

J’ai du mal à comprendre la différence entre un MapReduce et une parallélisation bête et méchante en fait …

Par : Dr. Goulu

Dr. Goulu — Sat, 22 Nov 2008 19:01:16 +0000

@Hervé : oui, effectivement il existe des méthodes de tri O(n), mais elles ne sont pas générales, elles supposent que les données satisfont certaines hypothèses. Le tri par dénombrement (ou comptage) par exemple est assez spectaculaire mais suppose qu’on puisse faire correspondre un petit nombre entier à chaque enregistrement, donc suppose aussi qu’il existe beaucoup de données redondantes.

A noter que c’est aussi le cas pour le jeu de cartes : si je réserve 4 colonnes de 18 places pour les cartes sur la table, je peux placer chaque carte directement à sa place rien qu’en la regardant car je « sais » quelles sont les autres cartes, et qu’il n’y a qu’une carte de chaque couple (couleur, valeur).

Le « Terabyte Sort Benchmark » fournit un générateur de données aléatoires qui empêche d’utiliser ce genre de méthodes…

Mais il est vrai que ma phrase « il n’existe pas de tri informatique en O(N). » est trop brutale, je l’adoucis en ajoutant « général », merci de ta remarque.

Par : Herve Kabla

Herve Kabla — Sat, 22 Nov 2008 17:43:23 +0000

Les tris avec comparaison ont effectivement une borne inférieure en O(nLogn). Mais il existe des tris lineaires! Je les ai decouverts en lisant l’excellent pavé de Cormen/Leiserson/Rivest: tri par paquets, tri par base, tri par dénombrement. Ces algos ne font pas de comparaison directe entre les valeurs à trier! Incroyable, mais vrai…

Par : Tom Roud

Tom Roud — Sat, 22 Nov 2008 17:03:18 +0000

Excellent billet, merci !
J’adore le tri spaghetti, c’est génial. Je ne sais pas si ça existe, mais on pourrait aussi faire un tris par tamis : on fabrique des particules de taille proportionnelle aux données qu’on veut trier, et on laisse faire la physique, en tamisant avec une série de tamis superposés de taille décroissante; les particules les plus grosses seront en haut, celles les plus petites en bas. Un système physique qui ferait de la ségragation de particules en fonction de leur taille marcherait aussi bien.