mardi, octobre 21, 2008
2 eme Essai sur le calcul de la consommation électrique de Google
J'avais essayé d'estimer ici la consommation totale de Google. Il se trouve qu'au moins une des hypothèses retenue lors de ce calcul était inexacte.
Il semblerait que le PUE ( Power Usage Effectiveness, la puissance totale consommée par un Datacenter / par la puissance utile -alimentation des serveurs, équipements réseau...-) de Google soit nettement inférieur à celui que j'avais retenu à l'époque.
Le chiffre publié par google est de 1.21 en moyenne, j'avais fait mes calculs avec une base de 1.7.
Ce qui nous donne en gardant les estimations précédentes (200 watts de consommation par serveur , 1.21 de PUE, et 824 667 serveurs)
200*1.21*24*365*824667=1 748 228 066 640 Watts Heure de consommation en 2008.
Il est intéressant de noter que le gain fait en passant de 1.7 à 1.21 est considérable:
2. 45 - 1.75 = 0.7 TWH.
A noter également que le même Google, avec un PUE européen moyen de 2.4, consommerait
3, 47 TWH soit 1.72 TWH annuel de plus (Une centrale nucléaire de type EPR produisant potentiellement 1.6 TWH... )...
EDIT 16:02 Microsoft annonce a son tour un PUE de 1.22.
mercredi, octobre 15, 2008
Consommation des datacenters européens
Quelques chiffres:
En 2007 la consommation électrique des datacenters en Europe a augmenté de 13%. Les raisons:
"cette augmentation de la consommation s'explique par celle du nombre de serveurs installés, mais aussi -et surtout - par les besoins de plus en plus importants des machines."La consommation des DC européens en 2007 est de 40 TWH/an (pour comparaison, une centrale nucléaire de type EPR produit 1.4 TWH/an ).
La consommation des serveurs étant estimée à 16.3 TWH/an.
=> PUE = 2.4
La facture directe est au dessus 4 Milliard d'euros.
A comparer avec les consommations de Google.
vendredi, octobre 10, 2008
le crach...
La thèse est la suivante: la machine est incontrolable car les mouvements financiers internetisés/réseautisés sont trop rapides pour être analysables à l'échelle humaine.
C'est cette vitesse qui induirait, au moins en partie, le caractère visiblement aléatoire (et donc déconnecté du réél) du "marché".
jeudi, octobre 09, 2008
datacenter et efficacité énergétique
La firme explique que son "PUE" (Power Usage Effectiveness) est deux fois meilleur que celui de datacenter classiques. 1.21 pour Google contre 2 ou 2.5 pour la moyenne.
Cela est illustré par la figure ci dessous:
Si l'effort est effectivement louable, le PUE ne mesure "que" l'électricité efficace. Le chiffre est calculé en divisant le total de l’énergie consommée par le datacenter par le total de l’énergie utilisée par l’équipement informatique (serveur, stockage, réseau).
Ces chiffres sont obtenus, si l'on en croit cette explication haut-niveau en utilisant le refroidissement créé par l'évaporation de l'eau (le passage de l'état liquide à l'état gazeux nécessite un apport énergétique, qui refroidit donc le milieu d'origine de la molécule d'eau. C'est le principe de la transpiration). Cette évaporation est réalisée dans des "cooling towers" illustrées comme suit:
Notons tout de même, que si son PUE est faible, la consommation électrique du mastodonte reste faramineuse (probablement bien supérieure à la production moyenne de 2 centrales nucléaires)! Cette consommation est en effet liée au nombre de serveurs...
Ainsi, le PUE ne mesure pas l'efficacité énergétique d'un service informatique. Le PUE ne répond pas, par exemple, à la question
"Quel est le cout énergétique relatif de la même recherche sur google et sur yahoo"?(Pour rappel chaque recherche sur google est estimée à 11WH.)
Tout ceci dit, quant on sait que les datacenters en construction aujourd'hui, sont souvent mis en chantiers pour être capables de fournir des quantités d'électricité énormes à des grappes de blades (les vieux DC ne sont souvent pas capables de les alimenter), sans tenir vraiment compte de considérations liées au PUE, on ne peut qu'encourager une adoption généralisée des ces "bonnes" pratiques...
mardi, septembre 02, 2008
Chrome...
La pierre angulaire de l'OS google est donc la. Les données et les applications seront hébergées dans les datacenters du mastodonte, et google sécurise ainsi l'accés vers tout ca. Il creuse un sillon en espérant créér de facto des standards qui avantageront définitivement sa position dominante sur le web.
C'est une pierre jetée sur Mozilla, et un pavé sur Microsoft, qui reste aujourd'hui avec internet explorer le leader des browsers.
Quelques notes rapides sur Chrome prises en lisant la BD créée pour accompagner le lancement:
http://books.google.com/books?id=8UsqHohwwVYC&printsec=frontcover#PPT1,M1
1) Ils multi thread leur browser ! (ca rappelle le passage de dos a Windows…), en isolant tous les threads les uns des autres (Securité accrue, aujourd’hui un site ouvert dans une tab, peut interagir avec un site ouvert dans une autres tab, et en plus si un thread plante, il plante tout seul, les autres continuent à marcher)!
2) Ils se débarassent des JVM javascript traditionnelles jugées dépassées et mauvaise pour l'expérience user (exemple du drag and drop trop long). Ils réécrivent une JVM complète plus efficace. Comme elle est open source, tout le petit monde des browsers pourra la réutiliser. L'expérience user vis à vis des applications en lignes (googliennnes... ) sera meilleure...
3) Ils imposent Gears de facto !!! Une application web devra etre développée en utilisant gears ! Il verrouillent tout le monde des applications internet avec ca. Les autres browsers ne seront pas obligés d’implémenter gears, mais ce sera tres tres simple et tout en open source….
4) La réflexion sur la sécurité est poussée, avec une attaque frontale sur le modèle adopté par Vista, qui est d'ailleurs cité. Chrome joue donc bien sur le terrain des OS.
5) Au niveau interface, ils imposent un espèce de igoogle.com comme page d’acces….
6) Tout est open source...
7) Ils utilisent Webkit la techno déja choisie par Mac, cela ressemble donc à une alliance...
Google veut verrouiller définitivement le web, et malheureusement la fondation Mozilla aveuglée par son conflit avec Microsoft s'est jeté dans la gueule du loup (Google est la seule source de revenus pour la fondation dans les trois prochaines années)...
On va finir par souhaiter que Microsoft se reprenne...
mercredi, juillet 30, 2008
Les bouillons Knols...
Jean-Marie Le Ray vient de poster un article très efficace sur le conflit d'intéret entre les différents services de Google.
En résumant très rapidement, Google qui est en position quasi monopolistique sur la recherche risque de favoriser les Knols dans ses résultats au détriment d'autres fournisseurs de contenus comme wikipédia (par exemple).
Je suis tout à fait d'accord avec Jean-Marie. Il y a cependant un aspect sur lequel j'aimerais revenir: en favorisant artificiellement les knols, Google prend le risque de faire perdre en pertinence son moteur de recherche (qui est le coeur de son activité).
Et ce pour plusieurs raisons:
1) Rien ne prouve que les knols seront, en général, de qualités. C'est même plutôt l'inverse qui risque de se produire. A titre d'exemple on trouve 33 pages de tests, qui ont un contenu avec peu de valeur ajoutée...
2) Les premiers knols sont pour beaucoup copiés d'autres sites et souvent de Wikipédia. Le meilleur exemple est sans doute ce Knol sur Wikipedia (On notera dans les commentaires de cet article des remarques instructives, à confirmer, sur l'incompatibilté entres les licenses de WP et de Knol.).
Ne vaut il pas mieux, dans ce cas chercher directement dans Wikipédia pour avoir la dernière version, par l'intermédiaire, pratique, du search de son navigateur?
3) Il est possible de gagner de l'argent grâce aux google Ads, disposés sur les knols. La tentation est alors grande de créer des knols uniquement destinés à exploiter la longue queue. Peu de valeurs par knol, mais beaucoup de knols. On peut même le scripter assez facilement, en prenant du contenu ailleurs (wikipédia?).
Et tant qu'on y est à scripter, pourquoi ne pas faire des faux clics...
Le coeur du business de google est mis en danger si cela arrive.
Wait and see donc...
mardi, juillet 22, 2008
vendredi, juillet 18, 2008
Consommation d'internet
EDIT du 23 Juillet:
J'ai remis la main sur cet article de France-info que je stocke ici (à noter l'interview de Jancovici attachée à l'article)...
jeudi, juillet 10, 2008
Petit calcul matinal autour de Google
Quelques recherches dans Google justement montrent que d'autres se sont déja essayés à l'exercice. Le Monde par exemple a pondu en Juin 2007 un excellent article sur le sujet. Leur calcul, il y a un an, donnait -avec comme hypothèses 450 000 serveurs et une moyenne de 250W par serveur-:
"Google consommerait donc 2,1 terawattheures par an, l'équivalent de deux centrales nucléaires"
A nous maintenant de jouer!
- Le nombre de serveurs
D'abord le nombre de serveurs de Google. Le nombre de serveurs détenus par Google est un des secrets les mieux gardés de la planête. Une chose est certaine ils en ont beaucoup.
Certains parlent de 450 000 (chiffre avancé par Le vénérable New-york times en Juin 2006 dans cet article par exemple), d'autres vont jusqu'à parler, mais le chiffre est peu repris, en Juillet 2007 (en reprenant Gartner) d'1 Million de serveurs.
Trois chiffres semblent peu discutés, 8000 serveurs en 2001, 100000 en 2003 et 450000 en 2006 donc. Le nombre de datacenters ayant augmenté (36 sont recensés ici aujourd'hui) il est probable que le nombre de serveurs aussi.
A quelle vitesse? Mystère...
Une régression linéaire entre 2001 et 2006 nous permet d'extrapoler le chiffre de 620 000 serveurs aujourd'hui.
La même régression linéaire entre 2003 et 2006 donne 680 000 serveurs.
Une approximation avec un pôlynome de type aX*X + bX+C résolu à l'aide des trois points que nous avons ( 2001, 2003 et 2006) donne pour 2008, 824 667 serveurs
(avec a=14133.33, b=-10533.32 et c=4399.99). - La quantité d'électricité consommée par serveur
Cette donnée est moins confidentielle que le nombre de serveur lui même.
Le monde parle de 250Watts par machine. Cette étude de J.G Koomey parle de 200Watts par machine. Une chose est certaine, google fait beaucoup d'effort pour réduire sa consommation (voir ceci par exemple).
Retenons donc 200 Watts comme chiffre possible. - La quantité d'électricité nécessaire pour refroidir ces serveurs
Le rapport ci dessus parle de 1 watt consommé par les serveurs = 1 watt utilisé en cooling. Un chiffre admis dans l'entreprise est de 0.7Watts tout compris. - Quantité d'électricité consommée
En considérant que les serveurs sont allumés en permanence on en arrive donc au chiffre made in Loran: 200*1.7*24*365*824667= 2 456 188 192 800 Watts Heure en 2008.
En 2008 la consommation énergétique de google serait donc de 2.456 TWH/an.
(Ce qui est cohérent avec le calcul du monde d'il y a un an 2.1 TWH/an en tenant compte de l'augmentation du nombre de serveurs.)
EDIT du 21/10/2008: un calcul actualisé avec une modification des hypothèses est disponible ici
mardi, juillet 08, 2008
La vérité qui dérange
jeudi, mai 15, 2008
Grève, mémoire du web et réputation numérique
La situtation a bien changé, Amen est une société dont les journaux numériques ne parlent plus.
Mais voila, le web a la mémoire longue.Comme en plus les blogs les plus influents ont à l'époque relayé l'information, celle-ci est toujours bien visible.
3 ans après, la situation ayant radicalement changé, Amen essaie, par l'intermédiaire d'une société tierce de faire disparaitre ces liens qui restent aujourd'hui génant pour sa notoriété.
Il m'a été demandé de retirer ce que j'avais écrit à l'époque, j'avoue que je ne sais pas trop quoi faire, tant il est vrai que le web ne doit pas interdire le droit à l'oubli, mais en même temps, cette grève a bien eu lieu...
Loic le moeur a retiré le lien, Google garde le contenu en cache...
Réputation et web font définitivement un mélange explosif...
jeudi, mai 01, 2008
Internet, le droit et les romains... Acte2
L'excellentissime site d'information Rue89, vient de publier un article sur les "Nettoyeurs du web".
Ces nettoyeurs du web se font payer pour faire disparaitre sur le web les traces qui peuvent être compromettantes.
Ce qui laisse dubitatif le pirate "white hat"- Crashfr, du collectif Hackerzvoice, Rue89 le cite:
"Les fabricants de logiciels comme Windows ne parviennent pas à faire fermer des sites de piratage, alors je ne vois pas comment ces sociétés qui prétendent 'nettoyer' le Web peuvent réussir à effacer toutes les traces."
Le même problème se pose dans les mêmes termes pour les sites poubelles qui vivent des ragots.
La justice francaise n'a pas les moyens de les faire fermer, malgré les mécanismes juridiques sur lesquels s'appuie Eolas pour dire qu'héberger un contenu condamnable dans un pays tier n'est pas "une garantie d'impunité".
Elle n'a ni les moyens techniques, ni humains et peut-être même pas juridique.
Elle ne peut s'exercer que sur les entreprises en France, ou pas loin...
.
lundi, avril 28, 2008
Internet, le droit et les romains...
Je vais essayer de revenir sur la condamnation de Fuzz (et des autres ).
Je vais essayer d'être synthétique... Et ca ne va pas être simple... Pour me diriger sur des considérations de bon sens (si si) qui me posent problèmes.
Le site Fuzz est (était?) un digg-like français. C'est un site communautaire, qui propose aux internautes de soumettre des contenus, ou des liens vers des contenus, et de voter pour les contenus proposés par les autres. Plus un contenu est populaire, plus il est visible, ce qui réjouit le ventre mou des internautes fainéants (comme moi), qui peuvent parcourir d'un coup d'œil, les contenus les plus populaires à un instant T.
Si cette explication n'est pas claire, vous pouvez vous ruer sur Scoopeo qui résiste encore à nos juges.
Fuzz a été condamné par un juge francais, parce-qu'un internaute avait proposé le titre d'une news (passionnante) sur la relation entre un acteur et une chanteuse.
Cette news, n'a pas plu, très peu de gens ont voté pour elle, elle était au fond du classement, ce qui fait que personne n'a cliqué sur le lien pour allez voir l'article.
Il est important de noter que Fuzz n'hébergeait pas l'article complet, mais seulement le titre.
Et le propriétaire de Fuzz a été condamné au motif que son site attentait à la vie privée de cet acteur très très très connu.
Le chef des avocats, Eolas, nous explique, doctement, que cette décision est logique et cohérente au vu du droit français. Dont acte.
Un juge français, condamne un site français, suite à la plainte d'un artiste français eu égard au droit français. Très bien.
Ce qui chiffonne mon bon sens c'est qu'Internet, contrairement au minitel, dépasse, un peu, le cadre du territoire français...
Ce à quoi le bon Eolas répond, si j'ai tout bien compris (je suis un peu limité), que le droit français s'applique à tous les pays du Monde (c'est ici vers la fin).
EOLAS: J'avoue que je suis étonné. On ne cesse de me seriner avec l'ultramodernité du web qui abolit les frontières et soudainement, quand on réalise que ça ne veut pas dire qu'aucun État n'est compétent mais que tous le sont, on redécouvre que les frontières, finalement, c'est pas si mal.
La réponse à votre question constitue une des plus vieilles disciplines juridiques : le droit international privé. Ça remonte aux romains, c'est vous dire si les problèmes posés par l'internet sont nouveaux. Et ça fait longtemps qu'on accepte le principe que la détermination du juge compétent et de la loi applicable soient dissociées, et que des décisions étrangères aient force obligatoire dans un autre pays ; donc des juges d'un pays peuvent appliquer les lois d'un autre sauf si celles-ci sont contraires aux lois de police internes du pays du juge (disons, aux lois d'ordre public).
et plus loin (j'ai enlevé les amabilités):
Ce que vous avez à retenir : les frontières ne sont pas des murs imperméables au droit, contrairement à une croyance répandue (le bon sens, vous savez). Ça remonte aux romains, qui étaient comme des poissons dans l'eau avec des règles différentes à appliquer selon les provinces, selon la citoyenneté romaine ou non, selon la qualité de peuplades assimilées ou non, selon la religion, etc. Bref : aller publier la vie privée d'Olivier Martinez depuis l'Angleterre ou les États-Unis n'est pas en soi une garantie d'impunité. Donc l'argument de l'assassinat prochain des sociétés françaises 2.0 ne tient pas.
Fichtre!! Si les autres justices se comportent de la même façon toutes les justices de tous les pays s'appliquent à ce blog... Dès fois que je déroge au code pénal nord-coréen, je tremble...
Plus sérieusement, dans l'affaire qui nous préocupe, seuls les sites français ont été condamnés.
Le site qui est à l'origine du bouzin, hébergé sur la plus grosse plate-forme du monde, blogspot (qui appartient à Google), se gausse (c'est ici).
Adscriptum et Eric Dupin en parlent très très bien.
Malgré les romains, la justice française semble ici bien impuissante... La société Google est américaine et n'a pas de serveurs en France.
Admettons que le juge puisse se déclarer compétent (ce qui semble contredit par le disclosure de google, mais bon admettons), si l'on en croit Netcraft:
In the April 2008 survey we received responses from 165,719,150 sites. Most of this month's growth of 3.1 million sites is seen in the US, with Google's Blogger service alone adding 1.1 million extra sites.
165 Millions de sites donc. Et encore ce chiffre est forcément très largement sous-estimé (notion de web surfacique/ web profond).
Pratiquement comment la justice française, déjà exsangue, peut-elle une seconde imaginer pouvoir traiter tous ces délits potentiels ??? Et en plus tous ces vilains étrangers ne parlent pas français...
Si on ajoute à cela le problèmes des flux RSS et de la publicité contextualisée (les auteurs des sites n'ont pas de contrôle sur le contenu adsense par exemple) ca devient franchement le bordel.
Ne peut-on pas par exemple faire condamner Netvibes sous prétexte que sa page personnelle héberge un flux RSS qui ne respecte pas la loi française?
Je ne suis pas juriste, mais je ne suis pas aussi sur que le Maitre, que les romains avaient pensé à tout ça....
En revanche, je constate que les sites aux zétats-zunis ne sont pas condamnés.
.
jeudi, avril 24, 2008
contourner la muraille...
Le gouvernement chinois filtre ce que les chinois peuvent voir depuis la Chine par l'internet (Ce n'est pas nouveau).
Il semble que ce filtrage (J'écris il semble car je ne peux pas le constater...) soit réalisé à différents niveaux:
- interdiction d'accès aux urls subversives. Le client recoit une erreur de connexion. C'est simple et efficace.
- redirection des urls subversives vers des urls légales. Simple.
- Filtrage de mots clefs. C'est plus compliqué. Un exemple, lorsqu'un chinois cherche Tienammen dans google il a des réponses, mais aucune n'a un rapport aux manifestations estudiantines.
- Sur les urls inconnues, filtrage des mots clefs (pattern matching), si le site web les contient, la connexion est cassée par le grand firewall chinois.
2 développeurs ont décidé d'ouvrir une brèche dans ce grand firewall.
L'idée est d'utiliser un proxy (un serveur entre le serveur web qui doit être atteint et l'internaute) qui permet donc de masquer l'url destination. Jusque là ce n'est pas révolutionnaire.
Ceci peut marcher pour les urls mais ne permet pas d'empècher le filtrage qui s'exerce sur les mots clefs contenus dans les pages.
D'ou une idée assez sioux, le serveur proxy transforme le texte du site web cible en image et renvoie cette image au client.
Hors, il est très difficile de faire de la reconnaissance de caractères (et donc de mots) sur des images, surtout sur de gros volumes.
Reste le probleme de l'interaction avec la page. Les liens hypertextes et les formulaires par exemple.
Pour les liens, le problème est résolu en effectuant une analyse très fine de la page destination et en créant des zones cliquables sur l'image renvoyée.
Pour les formulaires, c'est résolu de la même facon: une analyse fine de la page destination permet au programme de mettre un champs formulaire exactement au bon endroit.
Et lorsque l'internaute veut remplir des formulaires, les mots tapés sont encryptés localement (javascript) sur la machine de l'internaute avant d'être envoyé
au proxy, ce qui permet d'éviter le pattern matching au niveau du post html.
Reste aux internautes chinois à trouver ces fameux proxys.
Ce beau projet s'appelle Picidae (http://www.picidae.net) (ami latinophone si tu sais ce que cela veut dire, je prends :o) )
jeudi, avril 10, 2008
lundi, mars 31, 2008
jeudi, mars 27, 2008
Triste et pas très cohérent...
C'est lamentable.
Et cela amène plusieurs questions à mon esprit un peu lent à comprendre les méandres des lois francaises (et de leurs interprétations):
1) l'article (pas un lien vers comme dans le cas de Fuzz) est toujours présent dans le cache (merci David :o) )de google. Notre ami Olivier va t'il attaquer le mastodonte?
2) Fuzz a t'il été attaqué et condamné par un tribunal Français car il était hébergé en France? Pour poser la question différemment, est ce que je risque la même amende si j'héberge le même contenu sur blogspot? (en esperant que le contenu ne soit pas délivré par un serveur dans un datacenter secret de google en France...).
3) Pourquoi n'attaque t'on pas les kiosques a journaux?? Ils participent, en montrant les unes des journaux et en créant des catégories (la création de catégories est l'argument sur lequel le juge s'est basé pour juger Fuzz responsable) , à la diffusion des titres les plus scabreux.
vendredi, mars 21, 2008
j'aime pas Olivier Martinez
Sous prétexte de protéger sa vie privée, il demande 35000 euros de dommages et intérêts aux propriétaires de sites qui ont (malgré eux!!) relayés une news bidon dont on se fout sur sa relation avec son ex....
En plus, de gacher la vie de ces gens (dont Eric cf la photo ci-dessus), il met en péril tout ce qui touche au web en France (et en premier lieux tous les agrégateurs de flux RSS).
vendredi, mars 14, 2008
Visionnaire
écrit "Smart Mobs", "Foules intelligentes" en Francais.
A cheval entre la Geekitude, le sociologie et la prospection technologique, il a prédit que la vulgarisation des technologies liées aux téléphones portables, internet et les réseaux sociaux donneraient naissance à de nouvelles formes de mouvements sociaux.
Son livre, génial, est à l'origine des flash mobs, par des admirateurs de Rheingold. Une flashmob est une manisfestation organisée de gens qui ne se connaissent pas, et qui tous au même moment vont réaliser au même endroit une action incongrue (c'est une définition libre, que les puristes m'excusent).
Les rassemblements "spontanés" ou des centaines de gens s'immobilisent au même moment, pendant quelques minutes, dans un lieu passant, à la surprise de ceux qui ne s'y attendent pas, sont la flash mob à la mode.
Un exemple parmi de nombreux autres:
Pas de message politique, pas de protestations que du fun. Les flash mobs ne sont pas les smart mobs, politisées, imaginées dans le livre.
L'objet même de la flash mob est la flash mob.
Ce qui était assez amusant finalement, le livre a auto-généré quelque chose qui n'était pas son sujet mais qui essayait de l'être (ca me fait définitivement penser au chat de Schrodinger).
En grand fan du livre, j'ai attendu, mais rien, rien qui soit LE phénomène décrit par Rheingold. On peut toujours ergoter et dire que les mouvements alters, de tous poils, décentralisés ont été des représentations de la vision. Certains on parlé d'AL-Qaida... Mais c'était à mon sens tiré par les cheveux.
Et puis, et puis sont arrivés les anonymous du projet Chanology.
Les anonymes estun groupe destructuré de gens qui ne se connaissent pas, qui ne veulent pas se connaitre, et qui ont décidé de détruire l'église de scientologie en utilisant les nouvelles technologies.
De forums en forums, de chat en chat, de SMS en SMS, de réseau social en réseau social, un mouvement se créé. Ce mouvement mélange les genres. De la "cyber protestation" assez classique qui vise a écrouler les systèmes d'informations (DOS attaque), au google bombing, en passant par une attaque au porte monnaie, avec la mise en ligne de tous les cours de la scientologie (vendus normalement très très cher), et enfin par des cyber-manifs d'anonymes IRL (Roooo IRL = In Real Life) .
Ce qui me frappe c'est le slogan "knowledge is Free" qui revient dans toutes les manifs.
Libre ou gratuit that is, peut-être, the question. Ou au moins le flou qui agrége des pré-dispositions différentes. Cela peut-être relié, par exemple, à cet article du standblog, sur les raisons qui poussent à promouvoir le mouvement libre (en informatique).
En attendant, chapeau l'artiste pour la prédiction :o)