Un article qui cartographie le Web du referendum

rtgi - réseaux, territoires & géographie de l'information - les productions

Un délice!!! à consommer sans modération!!

et des liens fort intéressants vers deux études (dont une provenant en partie d'HP :o) ):
http://www.blogpulse.com/papers/2005/AdamicGlanceBlogWWW.pdf

ou par la cité des sciences et de l'industrie:
http://www.utc.fr/rtgi/documents/WebCSTIAnalyseduDomaine.pdf

Le web profond (suite)

La notion de web profond (deep web) aussi appelé web invisible (invisible web) était un peu confuse dans mon esprit embrumé, je me suis plongée sur le sujet, voila ce que j'en retiens.

Wikipédia définit le web profond comme suit:

"Les ressources vers lesquelles les hyperliens sont créés dynamiquement pour répondre à une interrogation échappent aux robots d'indexation. En effet, un robot n'est pas capable d'émettre des interrogations pertinentes, aucun hyperlien n'est donc créé lors de sa visite."

Cette définition est un peu obscure... Allons voir toujours sur Wikipédia mais en anglais ce que ca dit...

"The deep web (or invisible web or hidden web) is the name given to pages on the World Wide Web that are not indexed by search engines. It consists of pages which are not linked to by other pages, such as Dynamic Web pages based on responses to database queries. The Deep Web also includes sites that require registration or otherwise limit access to their pages. It should not be confused with the term dark web or Dark internet which refers to machines or network segments not connected to the Internet. While deep web content is visible to people but not to search engines, dark internet content is accessible by neither people nor search engines."

C'est quand même plus clair!
Le web profond est donc l'ensemble des pages et documents, qui sont accessibles par les internautes, mais non accessibles aux robots d'indexations des moteurs de recherche.
Ce sont ces robots d'indexations qui permettent la constitution des indexs de recherche.

Il s'agit donc des documents, pourtant accessibles aux internautes, que l'on ne trouvera pas en cherchant dans un moteur de recherche classique (Google par exemple).

Le "web profond" s'oppose au "web surfacique".

Voilà la représentation qu'en fait BrightPlanet (les bateaux représentant les moteurs "profonds").

La limite entre web "surfacique" et web profond est bien entendue floue et changeante...
Elle dépent des moteurs et de leurs limites techniques.
Des bases s'ouvrent, les moteurs indexent de plus en plus de documents.
Ne serait que parceque certaines pages générées dynamiquement sont directement liées à partir de pages statiques exterieures.
Et puis certains formats comme le PDF, qui étaient hier "profonds", sont aujourd'hui faciles à "lire" pour les moteurs.

A contrario, l'acroissement, très rapide de la taille du web, est un problème pour les moteurs qui ont du mal à indexer complètement le contenu des tous les sites dont ils connaissent pourtant les urls d'entrées et qui n'opposent pas de problèmes techniques particuliers.
Ce problème d'indexation lié à la "profondeur" (c'est à dire à leur taille et pas à des contraintes techniques) des sites, est admis par les moteurs qui cherchent des solutions. Google a, par exemple, lancé de facon expérimentale " Google Sitemaps" .
Le webmaster fourni un plan du site en XML, qui permet au moteur d'apréhender plus facilement le contenu et les changements de structure.


Quant aux très grosses bases qui constituent le coeur du deep web, les moteurs traditionnels (Google, Yahoo, Askjeeves, Exalead, Msn) essaient de trouver des solutions pour les indexer et proposer leurs riches contenus à leurs utilisateurs (cf ces billets concernant Yahoo (lu sur le blog de yahoo) et Google (lu sur Betanews)).


Ou l'on parle du web profond (ceci n'est pas exhaustif):
Web invisible, web caché, web profond: Sur le site Intelligence center.
Il s'agit d'un dossier très complet, en francais, et clair sur le sujet (Malheureusement pas datée, mais elle semble assez récente). A lire!

invisible Web / Web invisible Jean-Pierre Lardy (Mars 2002)
Clair, assez concis et exhaustif. A lire.

Bases Publications Le site web de la société Bases Publications.
Le sous titre de ce site est "Connaitre et bien utiliser le web visible et invisible".
On y trouve des liens et des fiches pratiques bien faites, qui n'ont toutefois pas forcément toujours un rapport avec le "web profond".

Getting the most from the Internet and Deep d'August Jackson (Juin 2005).
Un cookbook sur comment organiser une recherche sur le net, plus qu'une analyse des sources que l'on ne trouve pas avec google...

Deep Web white paper de Michael K. Bergman (Juillet 2001).
Quoique la vesion PDF soit assez illisible, cet article est très intéressant, il quantifie et qualifie de manière expérimentale le web profond. Le chiffre quantifiant le web profond de 500 plus étendu que le web "surfacique" vient de là. On y trouve également la liste des "sources profondes" sur lesquelles l'auteur a travaillé.

Crawling the hidden web de Sriram Raghavan et Hector Garcia-Molina de Décembre 2000
(trouvé grâce Cam qu'il en soit vivement remercié).

Illuminating the web (Time) Un article assez général du Time

Llrx.com à peut être atteind l'exhaustivité du recensement de ce qui existe... On y trouve une base énorme de réferrences (à explorer). Ce site est tenu par Marcus Zillman tout comme:

Le blog deepwebresearch.info, qui possède lui aussi de très nombreuses références.


Annotation for the Deep Web est un article écrit en Mai 2003 par Siegfried Handschuh, Raphael Volz, Steffen Staab, qui parle de la génération automatique ou semi automatique de méta-datas.


"Sources profondes" :)

• Sources pour trouver des "sources pofondes" Fr
  

URFIST un point d'entrée vers de très nombreuses ressources et qui pointe entres autres vers:

• DADI Répertoire des bases de données scientifiques disponibles sur Internet.

• Thèses en ligne Hébérgé par le CNRS

Persée ("portail de revues scientifiques en sciences humaines et sociales")
APIGuide Une liste énorme de site FR non (ou pas bien) indexables sur le site.
Serveur de preprint Hébérgé par l'université de Clermont Ferrand

Sources US ou autres

La liste des sources (largest deepweb sites) utilisées par Brightplanet
The invisible web
The invisible web revealed (Une présentaion couplée d'une liste de ressources)
Science Research (Ce moteur est spécialisé dans la recherche de sources venant du monde scientifique).
AccessMylibrary (Un moteur pour bibliothécaire?)

inurl:"ViewerFrame?Mode=" dans Google

Pour faire suite a ce billet écrit cet hiver, une nouvelle signature,
Et de nouvelles cameras apparaissent....
Recherche Google: inurl:"ViewerFrame?Mode="

La presse traditionnelle n'existera plus en 2014!

C'est du moins une anticipation faite par "The Museum of Media History" ici:
EPIC 2014 en français

Je suis définitivement pessimiste et nombriliste mais je n'arrive pas à dissocier cette information du billet que j'ai posté hier: "L'avenir est-il aux technologies de l'information"?

"L'avenir est-il aux technologies de l'information ?"

C'est sous ce titre que Francis Pisani sur son très sérieux et documenté blog a écrit, il y a deux mois un article qui m'a marqué.

On y lit:
"Je commence à percevoir [les sciences de la vie] comme représentant l'avenir alors que les technologies
de l'information et de la communication ne seraient plus que le présent."


Cela souligne que les dernière avancées des sciences de la vie ou des nanotechnologies, comme les clônes (Dolly), ou ce qu'en prédisent
les films/Revues de sciences fictions, nous laissent entrevoir de phénoménales transformations du monde qui nous entoure.

C'est troublant. Si ces technologies s'avérent aussi prolifiques en changements que les TICs, il va devenir difficile de suivre le rythme du changement!
Que l'on y songe, il y a 15 ans Internet n'existait pas! Pas plus que les téléphones mobiles,
Et la vague des PCs commencait tout juste....

En si peu de temps, les TICs (plus particulièrement l'Internet) ont transformé et continuent de transformer quasiment tous les métiers( de l'informatique -et oui!- , en passant par le journalisme, la banque, l'éducation, la vente, l'architecture, la chirurgie, le métier de bibliothécaire, le transport...),
cela a également transformé une bonne partie de notre rapport à la connaissance (combien de personnes ouvrent encore un vieux dictionnaire papier?).
Et que dire des Loisirs? Les jeux, les voyages, les emplettes...

Plus étonnant, les évolutions techniques ont permis de créer des nouvelles formes d'organisations (cf cet essai passionnant d'E. Raymond sur Linux: La cathédrale et le Bazaar ),
qui ont elle même engendrées de nouvelles facons de gérer et d'exposer la connaissance (Le meilleur exemple est peut-être Wikipédia).

Toute la société, petit à petit se transforme! L'essence même de toutes les relations sociales changent.
En m'avançant un peu, on passe d'un monde d'émission (Des dominants vers les autres, le JT en est un bon exemple) à un monde de discussion ( Les Blogs, Forums...).

Et cela génére des résultats destabilisants pour l'appareil politique et médiatique en place (le non au référendum en est un exemple)...

Et cette liste de transformations constatables, pas toujours digérées n'est pas, très loin sans faux, exhaustive!

Et voila qu'on nous décrit d'autres modifications induites par les TICs pour demain (cf cet article du Monde: "Comment eBay révolutionne la création d'entreprises").

Et cette étude du nombre de sites web faites par Netcraft confirme que le mouvement s'accélère! Ceci annonce de forts tremblements de souris pour après-demain...


Et Pisani, un spécialiste du domaine nous explique que tout cela n'est plus que le présent, et que cela n'est rien par rapport a ce qui nous attend !!?!!


Vu les répercussions de ces transformations sur la planète et les dégats sociaux induits par ces changements très rapides, j'en viens à me dire que Bill Joy, le co-fondateur de Sun Microsystems, a raison, le futur n'a peut être pas besoin de nous...

Fin de la greve chez Amen

J'avais, il y a quelque temps, évoqué la grève des employés de la société Amen.
On apprend, toujours sur le blog AMEN EN GREVE :-( que la reprise du travail a eu lieu.

L'écho autour du blog n'y est peut être pas pour rien...

Je suis seul !!!

On savait que certains recherchaient mi-amusés mi-impressionés Dieu à travers Google.
Cet article, nous apprends, que de plus en plus d'internautes, jettent comme on jette une bouteille à la mer, leur solitude ou leur mal-être en pâture a Google.

Je suis seul, y'a quelqu'un? , recherche amitié désespérement, seront peut-être demain les adwords les plus prisés.
Quoi d'étonnant à cela? Tous ces blogs intimes ou pas, tournés vers le web, ne sont il pas déja un premier pas vers cette pythieifiction ;) du moteur de recherche?

Le web profond

Un papier, un peu ancien, sur le "web profond".

Le "deep Web" aussi appelé "web invisible" est l'ensemble des documents accessibles, mais difficilement trouvables car ils ne sont pas indexés par les moteurs de recherche classiques.
Moteurs, qui n'indexent "que", les contenus sur lesquels pointent une url, provenant d'une page elle même indexée. Ce qui exclut, les bases qu'il faut interroger dynamiquement ( à la liste de sites US que l'on trouve dans l'article, on pourrait ajouter ce, malheureusement, célèbre exemple bien de chez nous qu'est Gallica).
Un papier interessant donc ci apres:
BrightPlanet? ? Deep Web White Paper

La sandbox expliquée (?) par des ingénieurs Googliens...

Google engineer explains... - SEO Scoop

En clair il ne faut pas trop de backlinks d'un coup!
(c'est pas du vrai scoop ca coco, c'est pas du vrai...)

COMMposite Le journal des chercheurs en communication

COMMposite v2004 - Sommaire

Decouvert grâce a Urfist. le sous titre indique qu'il s'agit du " La revue électronique des jeunes chercheurs et chercheuses en communication".
On y voit des articles au titre alléchant (pas encore lu) comme:
La fin du politique : une critique de la cyberdémocratie
par Félix Weygand.

A lire donc

Google Print en ligne!!

Google Print. Google Print est le projet de bibliothèque virtuelle de Google, qui a fait couler énormément d'encre, car il vise à créer la plus grande bibliothèque du monde en ligne.

C'est un événement!!

Coral: la surcouche nécessaire du net ?

Coral: The NYU Distribution Network

Je suis tombé par hasard sur cette solution P2P entiérement GNU/GPL.
Coral est un proxy http distribué en P2P sur des serveurs volontaires...

Afin de résoudre le problème de la résolution DNS, il suffit d'ajouter à la fin de l'url souhaitée dans son browser, le domaine suivant:
.nyud.net:8090 (Si comme moi vous trouvez le port 8090 un peu exotique, sachez qu'il est expliqué dans le faq que c'est une réminiscence "historique").
Ce domaine renvoyant (par l'intermédiaire d'un DNS classique) vers un serveur Coral qui dit quel est le serveur de cache le plus proche ou l'on peut récupérer l'info souhaitée...



Quel intérêt?
1) Cela permet d'économiser la bande passante du serveur... dans le cas de serveurs de fichiers ce n'est pas négligeable... surtout si on a pas une grosse infrastructure.
2) Cela permet d'optimiser (au moins théoriquement) la bande passante du client qui va chercher les infos moins loin (et donc il y a moins de routeurs encombrés, de switchs dépassés...)
3) C'est a mon avis une réponse aux engorgements volontaires (Dos attack) ou non (joliement qualifiés de "slashdot.net effect" dans le FAQ. On parle d'un lien mis a prtir d'un site à tres gros traffic vers un blog pas construit pour cela).

Coral est donc un énorme système de caching GPL planétaire qui n'évite pourtant pas (à première vue au moins) certains écueils:
- Il est compatible avec le millénium act... comment la dérive sécuritaire américaine s'applique au reste du monde....
- Des problèmes de droits liés au caching public ne vont pas tarder à se poser (même si apparement le système est concu pour effacer les infos au bout de 24heures). Un exemple, le journal "Le Monde" vend l'accès à ses "vieux" articles... qui restent disponibles gratuitement de fait au niveau du cache du système....


Coral est quand même je pense une idée assez originale pour être suivie.
Un lien interessant est l'aticle de Wikipédia (en anglais)

Weblogues.com - Liste des blogues francophones récemment mis à jour

Weblogues.com - Liste des blogues francophones récemment mis à jour.
Au détour d'un blog l'équivalent francophone de weblog.com! :)

La liste des blogs compatibles est donnée sur le site. Il y a de quoi faire de belles découvertes :)

je cite donc:
"

1. Solutions de blogues compatibles

   • Ublog.net La notification est automatique pour les blogues payants uniquement.
   • Typepad.fr La notification est automatique.
   • c0wb0ys.org La notification est automatique.
   • Joueb.com : La notification est automatique.
   • Viabloga.com : La notification est automatique.
   • HautEtFort.com : La notification est automatique.
   • CanalBlog.com : La notification est automatique.
   • Blogg.org : La notification est automatique.
   • Blog-Art : La notification est automatique.
   • 20six.fr : La notification est automatique.
   • tooblog.fr : La notification est possible avec le plugin dotClear de Lionel Monge. Cliquez sur "Outils" puis "Ping".
   • MovableType (MT) : Allez sous Menu -> Weblog Config -> Preferences -> Publicity / Remote Interfaces / TrackBack. Dans le champ de formulaire "Others:", insérez l'adresse http://www.weblogues.com/RPC/ .
   • Radio Userland : Installez blogping.root et configurez-le pour pinguer http://www.weblogues.com/RPC/ (merci Gilles pour le tuyau).
   • WordPress Allez sous Options -> Writing. Dans le champ de formulaire "Update Services", indiquez http://www.weblogues.com/RPC/
   • b2 : Suivez les explications de Mr Peer ;-).
   • pMachine : Il suffit de modifier le code de la manière suivante (merci Mr Peer!).
   • Nucleus : Installez le plugin PingPong (merci Houssein!).
   • DotClear : Installez le plugin Ping de Lionel Monge.

"


Avec un moteur de recherche en plus!
En route vers l'étrange, l'intime, le proche, le lointain, l'original, l'ennui, la joie... la vie quoi! ;)

Le monde selon Google

Le monde selon Google.
Un article assez ancien mais excellent du monde diplo qui illustre bien, les derives possible du monde googleen... (Merci a Jean Veronys pour la referrence a cet article)

OUI ou NON?? That is the question

Un texte interessant, qui a l'avantage de poser les questions un peu differement...
Le dernier combat

La grève s'expose

Voici donc le temps de la grève avec relais numérique. Ce n'est pas la première fois -loin s'en faut- que l'Internet expose des conflits sociaux.
Mais la, il y a un retentissement que j'ai rarement rencontré.

A travers un blog, des employés grèvistes, ont trouvé un moyen d'exprimer leur point de vue et même de faire pression.

A la direction qui annonce, suivant le traditionnel communiqué de presse, que tout est sous contrôle et que les clients n'ont rien a perdre, les grévistes répondent, en 3 langues, que ce n'est pas vrai!
AMEN EN GREVE :-(

(On notera au passage le logo Creative Common sur la page de garde.)

Et cela fait grand bruit dans la blogosphère (et même au dela cf cet article dans www.netcraft.com site dédié à la sécurité - au sens large- du web) .

Il y a mon sens trois raisons à cela:
1) C'est une nouvelle utilisation des blogs. Il est normal que les gens qui s'intéressent aux blogs en parlent. Le blog c'est donc bien un site web pas comme les autres! :)

2) Cela touche une société informatique, le monde informatique en parle (A titre de comparaison pensons, au bruits que les journalistes font pour parler de leurs confrères hotages... je sais ce n'est pas politiquement correct de dire cela... mais des fois le nombrilisme de ceux qui ont la parole ca gave!)

3) Et si c'était le début de cette société d'échange prédite par je ne sais plus quelle huile de M6. En clair on passe du monde du push au monde de l'échange. C'est un peu tot pour s'emballer.
Mais si c'est un des prémisses, on assiste a une transformation qui aura de grandes consèquences.

Les massmédia oligarchiques entre t'ils en concurrence avec un massmédia distribué?
Le contenu est, à travers les blogs, developpé par des millions de bénévoles qui ne craignent pas les courroux des Murdochs like, et qui ont le moyen technique de dire a qui veut bien les lire ce qu'ils pensent ...

Je sais, ce n'est pas neuf comme analyse, je sais aussi que tous les grands groupes, ce sont lancés
dans la blogosphère, et distillent a travers des blogs plus ou moins corporate, leur marketing.
Ceci dit cela aussi, est porteur d'espoir, puisque les employés du coup sont les nouveaux garants de la com corp. Il vaut mieux qu'il soient contents! :).

En clair sous le blog de gars qui veulent garder leurs boulots, se cache un matin de printemps souriant à la démocratie!

Google and MSN search comparison

Google and MSN search comparison

Quand MSN search renvoie de preferences les resultats venant de serveurs IIS...

Rien de neuf... juste un petit coup de depoussierage... La strategie etrnelle MS collée sur un nouveau support...

Yatooweb : Outils google, pagerank, checksum sur les datacenters

Yatooweb : Outils google, pagerank, checksum sur les datacenters et beaucoup d'autres choses..... excellent!!

"Une banque déjoue une tentative de piratage à 424 millions de dollars" !!

Une banque déjoue une tentative de piratage à 424 millions de dollars. - Les Nouvelles.net

Tout est dit... Sachant qu'un piratage raté est surement accompagné d'autres braquages reussis!

Petits tests entre amis... - Dark Seo Team

Des tests qui permettent de mieux comprendre comment il faut choisir son url. En tout cas ca repond a pas mal de questions que je me posais sans oser les poser! :)