Les secrets de Qwant

Qwant indexe-t-elle vraiment le Web ou fait-elle semblant, comme certains l’en accusent, sous-traitant en réalité tout le travail à Microsoft ? Les doutes sont dus au moins en partie à un discours officiel qui n’a pas toujours été transparent et clair. Pour la première fois dans un média, nous allons vous révéler ce qu’il en est vraiment.

Car nous avons, enfin, pu visiter les serveurs de Qwant situés chez un hébergeur dans la banlieue nord de Paris, à une ou deux heures de route pour le personnel du moteur de recherche s’il faut un accès physique aux machines. Si les locaux sont gigantesques, les armoires d’ordinateurs louées par Qwant, désormais bien plus nombreuses que les deux seules « avouées » en 2018, n’en représentent qu’une infime partie dispersée dans plusieurs zones. L’ensemble reste, toutefois, plausible pour les 20 milliards de pages annoncées comme indexées.

Les premières machines à microprocesseur exclusivement (recyclées pour des usages internes notamment) laissent la place à des machines entièrement Nvidia équipées chacune de 8 puces graphiques, dont la puissance de calcul est détournée pour le référencement. Des tests sont actuellement effectués dans des cages montées exprès par l’hébergeur pour Qwant en suivant les concepts de l’Open Compute Project : des baies y contiennent de petits serveurs modulaires plus économiques où seule la partie graphique est de chez Nvidia et le reste de marques moins chères non précisées, le refroidissement et la consommation électrique étant optimisés eux aussi. À plus long terme, la société prévoit de migrer vers une technologie FPGA (des puces programmables matériellement), pour encore plus de vitesse et moins de coûts.

Des ordinateurs avec de gros disques durs (plusieurs centaines de pétaoctets en tout, avance un employé) sont spécialisés dans le parcours du Web. Lors de la seconde étape, d’autres ordinateurs calculent le pagerank (la popularité de chaque page Web est estimée en fonction du nombre de liens vers elle et de la qualité des pages pointant vers elle), un principe qui a fait ses preuves, mais qui a été abandonné par Google depuis quelques années. Enfin, d’autres ordinateurs avec d’énormes quantités de mémoire vive (selon le même interlocuteur, on parle de pétaoctets en tout) s’occupent de générer l’index (comme à la fin d’un livre, l’index indique dans quelles pages se trouve tel ou tel mot). La dernière catégorie de serveurs sert à faire l’interface avec les utilisateurs, ils répondent jusqu’à plusieurs centaines de requêtes par seconde, selon un autre employé.

...

Vous trouverez la suite de ce long dossier dans Virus Info 40

Vous voulez soutenir une information indépendante ? Rejoignez notre Club privé !

Vous pouvez recopier librement le contenu de cette page ailleurs (en indiquant le lien de cette page), mais sans le modifier ni en faire un usage commercial. Ce contenu est sous licence Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

[homepage] [RSS] [archives]
[contact & legal & cookies] [since 1997]