Google | Dr. Goulu

Bits en vrac

Wed, 09 Apr 2014 00:00:00 +0000

Quelques découvertes informatiques en vrac

Les formulaires Google Drive

Le m’a permis d’expérimenter la puissance et la facilité d’utilisation des . C’est simplement génial :

dans , on crée un document de type formulaire
on se retrouve dans un éditeur permettant de composer le formulaire. On peut définir le type de chaque champ : texte, choix multiple, cases à cocher, échelle d’évaluation, tout y est. On peut ajouter des règles de validation et des actions à effectuer en fonction des réponses

Editeur de Formulaire Google Drive
En cliquant le bouton “afficher le formulaire en ligne” on peut voir à quoi ça ressemble pour les utilisateurs et même tester le système, car la collecte des réponses est immédiate : rien à faire de particulier !
Lorsque le formulaire est prêt, il suffit d’envoyer le lien disponible par “Envoyer le formulaire” à des personnes choisies, ou d’intégrer la page sur un site web dans un . Plusieurs blogs du C@fé des sciences l’ont même fait simultanément sans aucun problème car le formulaire n’existe en réalité (virtuelle…) que chez Google.
Les réponses sont automatiquement collectées dans un document “tableur” sur Google Drive : une ligne est créée pour chaque formulaire rempli, chaque colonne correspondant à un champ. Notez la colonne “horodateur” remplie automatiquement, bien utile.

Table des résultats

Ce que j’ai trouvé assez impressionnant est que l’on peut modifier le tableau sans perturber les votes suivants. Apparemment chaque champ du formulaire est attaché à une colonne par un lien invisible, mais solide : même si on ajoute ou déplace des colonnes, les réponses suivantes restent cohérentes avec les réponses précédentes. Pour le quiz, j’ai ajouté la ligne 2 avec les bonnes réponses ainsi que la colonne D Score. Notez au passage la géniale formule qui compte le nombre de réponses correctes avec et sumproduct. Elle n’est pas de moi, et il parait qu’elle est possible aussi en Excel…
résumé des réponses

Une petite dernière pour la route : dans le menu “Formulaire” on peut “afficher le résumé des réponses” qui présente les résultats sous une forme graphique qui peut être bien utile.

Les formulaires Google Drive permettent de réaliser facilement des sondages, quiz et concours divers avec toute la puissance et la sécurité (…) de l’infrastructure Google. Ca fait déjà des dans le C@fé …

Curation V.3.0‎

Rien à faire, il n’y a toujours pas mieux pour suivre les sites intéressants que les . J’ai longtemps utilisé avec lequel j’ai commencé à faire de la . En effet, en cochant simplement les articles que je trouvais intéressants, Google Reader les agrégeait dans un flux RSS “de sortie” que je pouvais publier sur .

Puis Google a annoncé la fermeture de Reader (toujours incompréhensible pour moi) et j’ai utilisé . C’était une bonne idée : Scoop.it permet d’agréger non seulement des flux RSS, mais aussi des tweets, le contenu de pages Facebook et de recherches Google. On peut créer ainsi plusieurs “topics” thématiques, et de jolis widgets comme celui ci-contre à droite. Mais le point fort de Scoop.it, c’est ses possibilités de partage : chaque contenu “scoopé” peut être partagé automatiquement sur Twitter, Facebook, Gogle+ et Tumblr, entre autres.

Scoop.it, c’est vraiment bien, mais … il y a un problème rédhibitoire : les liens du contenu partagé sont modifiés pour conduire les visiteurs sur la page Scoop.it du topic, et pas directement vers l’article original. Ceci a trois conséquences que je trouve gênantes:

La première n’est pas trop grave : les lecteurs doivent cliquer deux fois pour arriver à l’article qui les intéresse, une fois sur la page où ils voient le contenu partagé, puis une seconde fois sur la page Scoop.it.
La seconde fausse les analyses de trafic, qui semble provenir de Scoop.it plutôt que du site de partage. Ainsi par exemple mon site a accueilli plus de 2000 visiteurs passés par Scoop.it en un an sans qu’il me soit possible de déterminer où ces 2000 personnes ont initialement découvert l’article qui les intéressait.
La troisième touche le droit d’auteur : les outils de partage qui changent les liens diffusent le contenu d’autrui en coupant le lien vers la source, qui est parfois le seul élément identifiant l’auteur. Je me suis soudain aperçu que “rebloguait” automatiquement les articles que je trouvais intéressants, parfois en me les attribuant implicitement puisqu’il n’y avait plus de mention du site original.

Je me suis donc mis en chasse de nouveaux outils de curation, et après quelques essais j’ai choisi le “trio de la curation V.3” :

comme agrégateur de flux. Il offre grosso-modo les fonctionnalités de Google Reader, une , plus une (en fait un plugin d’un agrégateur plus général). Chaque jours je parcours une centaine d’articles en sautant d’un à l’autre en pressant la touche \[j\], et si je le trouve intéressant je le lis et je presse \[s\]comme “star”. Ca le marque comme favori et l’ajoute à mon .
Je pourrais utiliser directement CommaFeed pour partager le contenu sur Facebook, Twitter, Google+ et autres (mais pas Tumblr). Mais surtout, il me faudrait le faire manuellement : 6 ou 8 clicks de plus, c’est trop. Alors j’ai utilisé , un service qui permet d’automatiser des tâches internet en créant des “recettes” de la forme If This Then That . J’ai ainsi créé des “recettes” qui partagent automatiquement le contenu de mon flux de sortie vers mes pages Facebook, Google+, App.net et Tumblr. Automatiquement. Rien d’autre à faire :-) (Pour Twitter j’hésite encore…)
Et j’utilise toujours Scoop.it pour atteindre les utilisateurs de cette plateforme et profiter des beaux widgets, mais je n’utilise plus les outils de partage. En attendant qu’IFTTT permette de “scooper” automatiquement, j’utilise le flux de sortie comme unique source dans Scoop.it et je “scoope” à la main tout ce que j’ai préalablement sélectionné dans CommaFeed.

Tout ça ne me demande en définitive pas plus d’efforts que de tourner les pages d’un journal en papier, et je peux me concentrer sur la lecture tout en gardant une trace dont vous pouvez profiter où vous le souhaitez.

NetworkX

est une librairie Python permettant de représenter et traiter des problèmes de graphes. Je l’utilise professionnellement assez intensivement ces temps-ci pour un , mais l’autre jour il m’a permis de résoudre le du en quelques lignes seulement. En fait la plupart servent à lire le fichier des données, puis la partie intéressante tient en une seule ligne :

\[source lang="Python"\]

print G.size(weight=‘weight’) - minimum_spanning_tree(G, weight=‘weight’).size(weight=‘weight’)

\[/source\]

Fort non ? Hélas il me semble que peu de problèmes du Project Euler concernent les graphes, donc je ne vais pas pouvoir améliorer mon score rapidement …

2048

Cet article serait paru il y a trois jours si je n’étais pas tombé sur , le jeu addictif du moment. C’est un jeu tellement simple qu’il aurait du être inventé avant Pac-Man. Et on voit tout de suite comment faire : placer les puissances de 2 les unes à côté des autres pour former une chaîne croissante et propager ainsi les sommes pour arriver à former enfin, après 1024 coups au minimum, la tant convoitée pièce 2048. Il m’a fallu 3 jours. Enfin 3 soirs. 3 nuits…

A un certain moment j’en ai eu marre et voulu utiliser la bonne vieille méthode pour résoudre les problèmes compliqués : programmer. Mais Matt Overlan a été plus rapide et efficace : et est très instructif. Je crois que c’est la première fois de ma vie qu’un ordinateur m’apprend à résoudre un casse-tête plutôt que l’inverse. Peu après avoir observé le solveur parvenir au 2048, j’ai appris à dominer ma tentation d’additionner coûte que coûte les nombres les plus élevés et à conserver des lignes ou des colonnes de 4 cases “bloquées”, et j’ai gagné.

Après certains passent au voire au , mais je crois que je vais plutôt attaquer la version “ ” de Valentine. Un peu déroutant de prime abord, mais j’aime beaucoup l’idée un peu holiste qu’il y a là derrière… Bravo !

Tels que Le Corbeau, Le Renard

Thu, 14 May 2009 00:00:00 +0000

Une petite oeuvre pour changer. Suite à un petit délire autour de la machine à café, voici la célèbre fable de La Fontaine et re-traduit du chinois en français :

_Tels que Le Corbeau, L_e Renard

Maître Corbeau sur arbre Walsh Organisation des Nations Unies, Un fromage dans sa bouche. Maître Renard, par l’odorat, C’est dans cette langue: “Hé, Monsieur Bonjour, Du Corbeau. Tu es magnifique! Vous voyez! Ne pas mentir, si votre Ramage Relatif à vos plumes Vous êtes le Tiger Woods de Phoenix. " International Consumer Electronics Show mots musique arabe Corbeau connecter Golf Club Nord-Pas de Deux Envoyer; Montrer leurs belles voix Il ouvre un large bec et d’ouvrir de sa proie. Fox, la fin de l’année, a dit: “Mon bon Monsieur, Chaque flatteur Le coût de la vie de ceux qui l’écoutent Cette leçon vaut bien un fromage, sans doute à ce sujet. " Crow, la honte et la confusion, Swear, un peu plus tar_d que cela prendrait plus._

Un certain nombre de mots anglais et la merveilleuse allusion à Tiger Woods trahissent l’utilisation de l’anglais comme langue intermédiaire.

Quelques essais de passage par d’autres langues révèlent des demi surprises , comme le fait que le mot “Corbeau” n’est pas traduit partout : dans les expressions “Maître Corbeau” ou “Monsieur du Corbeau”, il est interprété comme un nom propre.

Quant aux Nations Unies j’imagine que l’idéogramme correspondant signifie aussi “perché”, et que l’International Consumer Electronics Show résulte du “ces” de “à ces mots” interprété comme un acronyme…

Bref, il y a encore quelques bricoles à améliorer dans le domaine de la traduction automatique, mais en attendant ça peut quand même être un peu utile, et très rigolo.

(edit : j’ai répété le test tous les 2 ans environ, les résultats sont dans les commentaires)

Google trie 1 PetaByte de données !

Sat, 22 Nov 2008 00:00:00 +0000

Pour trier un jeu de 72 cartes, je prends une carte de mon jeu mélangé, et je la pose sur la table. J’en prends une seconde, et je la place sur la table avant ou après la première selon l’ordre que je souhaite. La troisième carte peut aller avant ou après les deux premières, ou être insérée entre les précédentes, et ainsi de suite jusqu’à ce que toutes les cartes soient triées dans l’ordre sur la table, ce qui me prend un peu plus d’une minute.

Un TeraByte pour commencer

Dans le même temps de 68 secondes, , améliorant d’un facteur 3 le obtenu plus tôt cette année. Suivant les règles du “ ” proposé par en 1998, les cartes contenaient 100 bytes, ce qui représente au total un TeraByte, l’équivalent, grosso-modo, d’un annuaire qui inclurait tous les habitants de la planète.

Un TeraByte, c’est la capacité d’un gros disque dur actuel, mais on ne peut y lire ou écrire “que” 300 MegaByte par seconde : il faudrait au mieux une heure pour lire les donner à trier dans une mémoire de 1000 GigaByte (qui n’existe pas…) et une autre heure pour réécrire la liste triée, sans compter le temps du tri proprement dit . Google a donc utilisé 1000 ordinateurs, et au moins autant de disques durs formant une partie du “Google File System” , le gigantesque système de stockage de Google.

Trions en parallèle

Mais comment trier les mêmes données à plusieurs? Reprenons le jeu de 72 cartes et divisions le en 2 tas de 36 cartes mélangées, un pour toi, un pour moi. Nous pourrions placer nos cartes sur une seule ligne sur la table et espérer le faire 2 fois plus vite, mais problème peut survenir si nous voulons simultanément insérer nos cartes au même endroit : comment les placer dans le bon ordre dans ce cas ? Soit on doit alors comparer nos deux cartes et éventuellement les intervertir avant de les insérer, soit on doit convenir d’insérer les cartes à tour de rôle, ce qui ralentit considérablement l’opération. Avec 1000 ordinateurs, on ne va pas s’en sortir beaucoup mieux car c’est visiblement l’accès à la table (=mémoire), unique, qui forme un goulot d’étranglement : pas efficace.

Une autre approche serait que je trie mes 36 cartes et toi tes 36 cartes indépendamment, puis que nous réunissions nos deux piles triées, ce qui est très rapide : je pose mes cartes une à une tant qu’elles viennent avant celle que je vois sur le haut de ta pile, et quand je ne peux plus en poser, tu poses les tiennes tant qu’elles viennent avant celle que je ne pouvais plus poser etc.

On peut faire même mieux en échangeant astucieusement nos cartes plutôt que de reformer une seule pile. Si je trie les carreaux et coeur, et toi les trèfles et pique, plus besoin de reformer une pile unique à la fin : commençons par nous échanger les cartes qui n’ont pas la bonne couleur, puis trions nos tas chacun sur notre table, et voilà !

Animation de l’algorithme de tri "quicksort".

QuickSort

Voilà qui ressemble furieusement à l’ illustré ci-contre : on commence par échanger les données plus grande qu’un pivot (seuil bleu) de la première moitié contre celles plus petites que le seuil de la 2ème moitié. Puis on peut répéter l’opération entre le premier quart et le second d’une part, et le 3ème et le 4ème d’autre part, et ainsi de suite. Si on a un nombre de données qui est une puissance de 2, on peut tout trier par simples échanges, et si on dispose aussi d’un nombre de processeurs qui soit une puissance de deux, on peut répartir le travail très efficacement. A quelques variations près, c’est cet algorithme qui est utilisé pour trier de très grosses quantités de données.

MapReduce

S’il y a un sujet sur lesquel j’aurais du me documenter avant d’ , c’est . Le principe est tout simple :

le programmeur écrit :
- une fonction “map” qui sera appliquée à chaque donnée et produira un résultat intermédiaire
- une fonction “reduce” qui regroupera les résultats intermédiaires de “map” pour produire le résultat final
on donne ces deux fonctions à MapReduce, qui se charge de les exécuter de façon efficace sur beaucoup de donnée sur beaucoup de disques durs et beaucoup d’ordinateurs.

Le MapReduce de Google contient en fait un algorithme de partitionnement qui répartir les résultats des “map” sur les “reduce”, et un algorithme de tri incorporé à la partie “Reduce”, car les fonctions “reduce” peuvent presque toujours être rendues plus efficaces si leurs données sont triées. De ce fait, il semblerait que le record du tri ait été obtenu avec une fonction “map” triviale, et une “reduce” qui ne l’est pas moins!

MapReduce est probablement la plus géniale idée des ingénieurs de Google, et une contribution majeure à l’informatique du futur. Le code n’est pas public, mais . D’autre part la fondation Apache a un , qui se base sur , leur équivalent du Google File System. C’est en utilisant ce système + 1000 lignes de Java seulement que Yahoo! a pu trier le TeraByte en 209 secondes . 3x moins bien que Google, c’est quand même pas mal du tout…

Pour en savoir plus sur MapReduce vous pouvez lire la référence , et/ou :

regarder cette vidéo
consulter ces , plus techniques, avec exemple de code et performances

Et un , un !

Une fois qu’on a un stockage distribué (GFS), un système de traitement parallèle massif (MapReduce) et quelques milliers d’ordinateurs, pourquoi se limiter à trier un TeraByte ? Comme ils le disent dans , Google était “curieux de voir ce qui arrive si on essaie avec un PetaByte”. 1000x plus quoi. Juste pour voir…

Ca a pris 6 heures et 2 minutes, soit 21720 secondes sur 4000 ordinateurs. Ramené au même nombre d’ordinateurs, ça a donc pris “seulement” 1277x plus de temps pour trier 1000x plus de données. C’est assez efficace si l’on considère que la complexité d’un algorithme comme QuickSort est O(N.log N) : sur un seul ordinateur, trier 1000x plus de données prend théoriquement 1000x10 = 10'000x plus de temps. Mais en répartissant le tri sur 4 fois plus d’ordinateurs, on divise ce temps par 4 et en plus on divise par 4 la taille des données : on devrait se retrouver avec 250x8/4 = environ 500x plus de temps. Un facteur 1277 c’peut sembler nettement plus, mais c’est normal en raison des communications supplémentaires entre les ordinateurs.

Le tri du PetaByte pose une autre problème intéressant : les données étaient réparties sur 48'000 disques durs et statistiquement, en 6 heures de calcul, au moins un des disques tombe en panne ! Il faut donc que les données triées soient redondantes pour que l’on puisse remplacer le disque fautif sans interrompre l’exécution du tri, ce qui illustre une autre fonctionnalité remarquable du Google File System …

Et après ?

Peu de groupes au monde disposent d’assez de ressources pour tenter de faire mieux que Google. Mais heureusement, les sont ouverts à d’autres catégories:

la catégorie “penny” consiste à trier le plus de nombres possibles pour un “cout” d’un penny, environ 1.3 centimes d’Euro. Le record actuel a été obtenu sur un PC doté d’un AMD 64 sous Linux, mais surtout de 4 disques dur SATA, qui a trié 1'812'000 enregistrements de 100 bytes en 2.408 secondes
la catégorie “Minute” limite le temps de calcul à 60 secondes. Une machine parallèle du MIT a trié 2.140 Milliards d’enregistrements de 100 bytes toujours en 2007.
la catégorie “ ” me semble plus intéressante au niveau du matériel que du logiciel : il s’agit de trier un maximum de nombres par d’énergie consommée par l’ordinateur. Le record appartient à un ordinateur portable utilisant un processeur intel Mobile Core 2 Duo doté de 13 (!) disques durs, et qui trie environ 11'300 enregistrements par Joule . Si les machines de Google avaient la même efficacité énergiétique, le tri du PetyBytes aurait consommé 0.885 GigaJoule, soit 246KWh. Répartis sur 6 jours, ça donne une puissance de 1.7 KW seulement. . Mais avec 4000 gros PC et 48'000 disques durs, Google est probablemet autour de 20x plus.

Et les spaghetti dans tout ça ?

Je ne peux me résoudre à terminer un article sur le tri sans parler du qui m’avait émerveillé il y a près de 25 ans déjà .

Comme on l’a vu plus haut, les meilleurs algorithmes de tri existant ont une complexité O(N.Log N) : le temps de calcul augmente plus vite que le nombre des données, et malgré quelques progrès dus à la parallélisation, il n’existe pas de tri informatique général* en O(N).

Pourtant, des spaghettis pourraient réussir là où les patinent :

on coupe un spaghetti à une longueur représentant le premier enregistrement à trier ramené à un nombre. On coupe un autre spaghetti à la longueur du second nombre, et ainsi de suite pour tous les nombres, et en un temps O(N) on obtient N spaghettis.
on pose verticalement la botte de spaghettis sur une table plane de façon à tasser tous les spaghettis contre la table. Ceci prend un temps constant, très court et indépendant de N et ne compte donc pas dans la complexité globale
En posant une planche enduite de colle sur la botte, on extrait le spaghetti le plus long, on le mesure, on retransforme le nombre en une donnée qu’on écrit au bas de la liste triée et on recommence N fois, pour chaque spaghetti.

Voilà, les spaghettis permettent de trier nos enregistrements en un temps proportionnel à N ! Trier 1000x plus de spaghettis prendra exactement 1000x plus de temps. En fait, si on disposait d’une machine capable de couper puis de mesurer 150 millions de spaghetti à la seconde, elle aurait égalé la machine de Google sur le TeraByte, et l’aurait battu sur le PetaByte, en 18.8 heures seulement :-)

Plus sérieusement, si on a besoin de trier des objets physiques (des grains de sable, des protéines, des ADN ?), il pourrait être intéressant de ne pas oublier la leçon des spaghetti : certains dispositifs physiques peuvent être plus rapides que les plus puissants ordinateurs

Références

Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung “ ”, 19th ACM Symposium on Operating Systems Principles, Lake George, NY, October, 2003.
Jeffrey Dean and Sanjay Ghemawat, “ ” OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December, 2004.
Jim Wyllie, “ ”, IBM, February 4, 1999
Owen O’Malley, “ ”, Yahoo!, May 2008
: records de tri de données depuis 1987
“ “ Datamation, V 31.7, April 1985, pp 112-118.
Eduardo Pinheiro, Wolf-Dietrich Weber and Luiz André Barroso, “ ”, Google Inc. Proceedings of the 5th USENIX Conference on File and Storage Technologies (FAST’07), February 2007.
Suzanne Rivoire et al. “ ",SIGMOD’07, June 11–14, 2007, Beijing, China
Dewdney, A. K.“On the spaghetti computer and other analog gadgets for problem solving”, Scientific American, (June 1984), 250 (6): 19-26
Niall Murphy et al. “ ”, ,2008, Vol 4 nr 1, pages 3-12

Note* : il existe des algorithmes de tri de complexité linéaire sur des données satisfaisant certaines hypothèses, comme Hervé me l’a fait remarquer dans un commentaire

Sommes Egales de Nombres Premiers Consécutifs

Tue, 03 Jun 2008 00:00:00 +0000

Le quatrième et dernier problème de la mérite un article à lui tout seul. (J’ai parlé des trois autres dans )

Il s’agit de trouver le plus petit P qui soit en même temps :

la somme de 9 nombres premiers consécutifs
la somme de 119 nombres premiers consécutifs
la somme de 215 nombres premiers consécutifs
et la somme de 675 nombres premiers consécutifs !

(les nombres 9, 119, 215 et 675 sont différents pour chaque concurrent…)

C’est étonnant, mais beaucoup de nombres premiers sont des sommes de nombres premiers consécutifs (abrégé SNPC ci après), par exemple :

5+7+11+13+17 = 53 7+11+13+17+19 =67 11+13+17+19+23 =83

De plus, il est fréquent qu’un même nombre premier soit égal à plusieurs SNPC. Par exemple sur on mentionne:

34421 = 269 + … + 709 (71 nombres premiers) 34421 = 1429 + … + 1571 (23 nombres premiers) 34421 = 3793 + … + 3853 (9 nombres premiers) 34421 = 4889 + … + 4937 (7 nombres premiers) 34421 = 11467 + … + 11483 (3 nombres premiers)

Le nombre P recherché n’est donc peut-être pas très grand, d’autant que la somme des 675 premiers nombres premiers ne vaut que 1'578'242. Il n’y a probablement pas besoin de calculer en “bigint”, les entiers sur 32 bits, voire 64 disponibles avec n’importe quel langage de programmation devraient suffire. Par contre, il est pratique de disposer de fonctions prédéfinies pour manipuler des nombres premiers, c’est pourquoi j’ai choisi d’utiliser .

Les fonctions suivantes suffisent pour résoudre le problème posé: (code modifié le 4/6/8 suite aux commentaires de b0z0)

\[gist id="0e35207dedf4e337c937"\]

La fonction SCP (Sum of Consecutive Primes) renvoie la somme des n nombres premiers consécutifs en commençant par le i-ème nombre premier en utilisant la fonction prédéfinie Prime

\[j\]

qui renvoie directement le j-ème nombre premier.

Cette somme n’étant pas forcément un nombre premier, la fonction PSP (Prime Sum of Primes) appelle répétitivement SCP en augmentant i jusqu’à ce que la somme soit un nombre premier, vérifié grâce au test de primalité , une fonction non triviale bien utile ici. Pour une raison expliquée plus bas, PSP renvoie une paire de résultats : la somme, et l’indice du premier nombre premier de la somme.

Enfin, la fonction CPSP (Compound Prime Sum of Primes) implante l’algorithme que j’ai inventé pour la circonstance. Elle prend en paramêtre la liste des nombres de nombres premiers consécutifs sommés. Pour résoudre notre problème, on appellera CPSP

\[{675, 215, 119, 9}\]

on initialise une liste p avec les n résultats de PSP obtenus pour chacun des nombres de nombres premiers consécutifs à additioner. Ainsi, pour CPSP \[{675, 215, 119, 9}\], p est initialisé à {{1583291,2},{149993,15},{41641,10},{127,2}}. Autrement dit, 1583291 est le plus petit nombre premier qui soit la somme de 675 nombres premiers consécutifs, et cette somme commence avec le 2ème nombre premier. 149993 est le plus petit nombre premier qui soit la somme de 215 nombres premiers, en commençant par le 15ème, et ainsi de suite
par paresse (qualité indispensable chez les programmeurs…) , la détection de la fin de l’algorithme est réduite au minimum vital : dès que la liste p n’est plus modifiée par l’algorithme, on arrête
Pour chaque élément de la liste p en commençant par le deuxième, on regarde si la somme est inférieure à la somme du premier indice. Si c’est le cas, on calcule une somme supérieure en incrémentant l’indice correspondant, jusqu’à ce que la somme soit égale à la première, ou la dépasse. Après cette étape, la liste p devient {{1583291,10},{1600981,840},{1589563,1526},{1584829,15997}} : on voit que les sommes 2,3 et 4 ont dépassé la somme 1
Si la somme 1 est plus petite que la somme 2, on augmente la somme 1 jusqu’à ce que’elle atteigne ou dépasse la somme 2. On arrive ainsi à {{1623917,10},{1600981,840},{1589563,1526},{1584829,15997}}. On boucle au point 2

Les trois dernières boucles donnent les listes suivantes qui montrent bien le fonctionnement de l’algorithme:

{{8256361,1127},{8112103,3883},{8115539,6728},{8112787,71376}} {{8275409,1130},{8259353,3947},{8264171,6833},{8256383,72536}} {{8275409,1130},{8275409,3954},{8275409,6841},{8275409,72696}}

et voilà : 8'275'409 est égale à la somme des:

675 nombres premiers consécutifs à partir du 1130-ème (9109)
215 nombres premiers consécutifs à partir du 3954-ème (37339)
119 nombres premiers consécutifs à partir du 6841-ème (68821)
9 nombres premiers consécutifs à partir du 72696-ème (919421)

Quelques minutes pour choisir le bon outil (Mathematica) + quelques minutes de programmation + 30 secondes de calcul, c’est gagné !

Recrutement et Casse-Tête

Sat, 17 May 2008 00:00:00 +0000

Si vous souhaitez travailler chez Google ou facebook, voici un petit tuyau : cultivez l’art de résoudre des casse-tête, et montrez vos talents sur internet.

, on testera votre raisonnement logique dès les premières minutes du premier interview téléphonique, puis on vous cuisinera sur de nombreux autres problèmes plus mathématico-informatiques lors des interviews suivants. En parallèle, vous recevrez un e-mail qui vous incitera à participer aux , un site extraordinaire sponsorisé par de nombreuses entreprises qui recherchent à la fois des solutions originales à des problèmes très pointus et des développeurs de haut niveau. Un très bon endroit pour se faire remarquer (pas seulement par Google) si vous êtes un mordu d’algorithmes. Dommage qu’on doive s’engager à ne pas parler des problèmes à l’extérieur du site TopCoder, parce qu’ils sont très jolis.

Google lance aussi des “chasses au trésor” sur internet. Là je viens de commencer à participer à , qui commence très fort: si le robot ci-dessous ne peut aller que vers la droite ou vers le bas, combien y’a-t-il de chemins distincts qui le mènent au but ?

Vous avez trouvé ? En comptant à la main ? Bien. Mais en fait, pour la chasse au trésor, il faut répondre pour un damier de 56x32 cases (le nombre change pour chaque participant) … Dans ce cas, la réponse est 232059241971866600926656, ce qui suppose de et de disposer d’une bonne calculatrice …

Si c’est facebook qui vous tente, il faut visiter , chosir un des jolis problèmes qui s’y trouvent, le résoudre avec un programme en C++, Java, JavaScript, OCaml/SML, Perl, PHP ou Python, ce qui montre bien que les langages de programmation n’ont que peu d’importance pour ceux qui savent ce qu’est un algorithme, et que toutes ces jolis sites web ne sont que du vernis. Ensuite, il faut envoyer la réponse à { (0xFACEB00C » 2) en décimal } @ facebook.com. .

Pourquoi n'y a-t-il pas plus de Google s ?

Wed, 16 Apr 2008 00:00:00 +0000

Dans Umair Haque analyse pourquoi très peu de startups innovantes arrivent à bouleverser l’économie comme Google. Selon lui “la raison est très simple. Parce que chaque entreprise qui avait le potentiel de révolutionner l’économie dans les 5 dernières années a été vendue bien avant d’avoir la possibilité de révolutionner quoi que ce soit.” Et si Google n’a pas été ainsi tué dans l’oeuf, c’est parce que ses fondateurs avaient “la conviction de changer le monde pour le meilleur” et n’ont pas cherché à se vendre.

Paul Graham répond à ceci dans , un excellent essai qui semble plus pertinent si on ou lu “ ”. Voici la traduction de quelques passages :

Les fondateurs de Google étaient disposés à vendre dès le début. Ils voulaient simplement plus que ce que les acquéreurs étaient prêts à payer. C’est la même chose avec Facebook. Ils auraient vendu, mais Yahoo a offert trop peu (…)

D’après ce que j’ai vu jusqu’ici, les startups qui refusent une offre d’acquisition finissent généralement par mieux réussir. Pas toujours, mais souvent arrive une offre plus élevée, ou une introduction en Bourse. (…)

Même si je suis sûr que Larry Page et Sergey Brin veulent changer le monde, au moins maintenant, la raison pour laquelle Google a survécu pour devenir une grande entreprise indépendante est la même que celle pour laquelle Facebook est jusqu’ici restée indépendante : elle est sous-estimée par les acquéreurs. (…)

Alors, quelle est la véritable raison pour laquelle il n’y a pas plus de Googles? Curieusement, c’est la même raison pour laquelle Google et Facebook sont restés indépendants: la finance sous-estime les jeunes entreprises novatrices.

La raison pour laquelle il n’y a pas plus de Googles est que les investisseurs encouragent les jeunes entreprises novatrices à se vendre au lieu de les financer.

Graham se livre ensuite à une attaque en règle du business actuel du capital-risque, montrant que leur objectif de maximiser rendement/risque les conduit à prendre le contrôle, puis à vendre une entreprise réellement innovante plutôt que de financer sa croissance sous la direction de ses fondateurs visionnaires. Graham y voit cependant une opportunité pour une nouvelle espèce d’investisseurs, un genre de super business angels qui partageraient la vision des fondateurs, mais avec des moyens leur permettant d’assurer le développement de l’entrprise, et pas seulement son lancement.

Référence : Daniel Ichbiah (2007). Comment Google mangera le monde. Archipel.

Google ouvre son infrastructure

Tue, 08 Apr 2008 00:00:00 +0000

Stupéfaction : Google vient de permettre à 10'000 programmeurs d’utiliser , un environnement permettant de développer (en Python) des applications qui fonctionneront directement sur les serveurs de Google, en utilisant certaines technologies propriétaires de Google, et tout ça gratuitement.

Jusqu’ici, Google gardait jalousement sa technologie permettant de stocker et d’indexer pratiquement toute l’information du web sur des milliers d’ordinateurs disséminés à travers le monde. On connaissait cependant l’architecture et les principales briques du système :

le (GFS), permettant de gérer d’énormes fichiers répartis et redondants
, la base de données “orienté colonnes” et reposant sur GFS. Bigtable est utilisé par énormément d’applications Google, l’index du moteur de recherche n’étant pas le moindre : c’est Bigtable qui retrouve en quelques secondes toutes les pages internet contenant des mots donnés…
est un programme général permettant de faire simultanément 2 choses avec un très grand nombre de données : une transformation de chaque donnée (Map) et une agrégation des résultats (Reduce). MapReduce sert par exemple à compter le nombre de liens pointant vers chaque page (web link graph reversal), information utilisée pour calculée le .

Tout ceci est expliqué cette passionnante vidéo d’une heure, à regarder absolument si vous voulez comprendre.

Pourquoi Google met-il ceci à disposition gratuitement ? Lorsqu’on sait qu’ ils n’arrivent pas à recruter autant qu’ils aimeraient, que les 10'000 comptes ont été réservés en quelques minutes, et qu’ils ont les moyens de contrôler puis de racheter toute application intéressante qui résulterait de cette initiative, on peut commencer à apprécier ce coup à sa juste valeur…

sources:

Michael Arrington “ , TechCrunch, 5 avril 2008
Fay Chang & al, “ ”,
Jeffrey Dean and Sanjay Ghemawat, “ ”, OSDI 2004