Valiz : Moteur de recherche open-source - contenu

Compte-rendu de la discussion jabber du 18 octobre 2008

Reivilo — Sun, 19 Oct 2008 11:56:00 +0200

J'ai été invité par le salon exalead de JabberFR à venir discuter de Valiz et plus généralement du principe d'un moteur de recherche open-source. Cela s'est donc déroulé hier, samedi 18 octobre 2008 de 20h30 à 22h30. J'ai décidé d'en faire un compte-rendu ici ce qui permet de faire le point sur l'état du projet mais aussi d'informer les absents.

L'indexation et le contenu

Nous avons parlé de la cible de Valiz, le contenu accessible. Indexer uniquement des sites pleinement conformes aux recommandation sur l'accessibilité est illusoire, il y en a trop peu. Mieux vaut se concentrer sur des sites faisant des efforts d'accessibilité.

Un moteur modulaire

L'intérêt d'un moteur de recherche modulaire a été souligné. Ce lui assure son évolution, lui permet d'évoluer dynamiquement. Cela permet également d'interfacer beaucoup d'outils au travers d'API.

BOINC et le calcul distribué

Une des faiblesse de Valiz sera sa faible infrastructure hardware comme nos moyens seront forcément limités. Une idée avancée lors de cette discussion était de sous-traiter des calculs à une plate-forme de calcul distribué via BOINC par exemple. Une partie du travail pourrait ainsi être traité en-dehors des serveurs de Valiz. Il ne s'agirait évidemment pas de calcul en temps réel mais plutôt de traitements de l'index, d'analyse de contenu, etc...

Faire participer les universités

Une autre idée qui a été proposé est de soumettre Valiz, ou du moins certains modules aux universités qui ont les moyens de le faire avancer et de mettre des serveurs à disposition. C'est probablement le chemin le plus plausible pour que Valiz devienne réalité.

Le site de Valiz

Le blog

Plusieurs personnes ont critiqué le blog comme support de discussion pour les débats. Ce n'est pas un support adapté, il devrait plutôt être utilisé pour faire des annonces sur l'avancement du projet. Ce n'est pas faux.

La page d'accueil

Cette page n'est pas suffisamment compréhensible, elle prête à confusion. Surtout la partie en anglais qui est du pure massacre (issu de Google Translate), il faudrait au minimum que je la réécrive. Je pense plutôt la remplacer par une explication beaucoup plus concise et mettrait en avant le blog et le wiki.

Le wiki

Beaucoup étaient de l'avis que le wiki était la forme la plus adaptée au projet. Il y en avait déjà un en place, un Dokuwiki. Mais il semblerait qu'il y ait besoin de quelque chose de plus costaud pour notamment y intégrer les discussions. C'est pourquoi je vais remplacer le Dokuwiki par un Mediawiki très prochainement.

Structure et cadre du projet

J'ai profité de la discussion pour situer le cadre de Valiz. Il s'agit d'un projet bénévole entretenu par des passionnés. Valiz sera un des projets de l'association Texuma, une association à but non-lucratif dont l'objectif et de faciliter le développement de projets software ou touchant à internet.

Le budget et la publicité

Le thème de la publicité a été abordé également. Allons-nous intégrer de la publicité dans les résultats des recherches ? Non évidemment. Pourquoi ?
Proposer de la publicité sur une page souhaitant présenter du contenu accessible dans ses résultats implique que la publicité aboutisse également vers des sites accessibles. Et si le site visé par la publicité était accessible, il figurerait naturellement en bonne place dans les résultats et n'aurait donc pas à payer. Par ailleurs le but de Valiz n'est pas lucratif.
Évidemment ça ne rend pas les choses simples pour autant, un moteur de recherche a besoin d'importantes ressources hardware (serveurs, baies, bande passante, switchs, routeurs ,spares, etc...) ce qui est extrêmement onéreux. Évidemment une partie du budget pourrait être constituée de dons, mais il faudrait avoir une popularité similaire à Wikipedia pour que ce soit significatif.
Même si cela reste un point capital, je préfère ne pas trop m'y attarder tant que nous n'avons pas un cahier des charges concret et réaliste.

Et maintenant ?

Vous êtes plus que jamais invité à continuer de débattre. Valiz n'est pas mort et cherche à avoir un maximum de contributeurs pour discuter du cahier des charges. Il n'y a pas besoin de compétences particulières, être un utilisateur d'un moteur de recherche suffit amplement pour dire ce qui nous manque, comment on veut obtenir l'information, ce qui ne va pas avec les résultats, etc... Pour cela je vais mettre en place le wiki sous quelques jours.
Comme l'expérience était concluante, il n'est pas impossible que de nouvelles discussions de ce type aient lieu, que ce soit sur le salon d'exalead ou ailleurs. L'idéal à moyen terme serait de réunir les personnes intéressées sur un salon dédié permanent. Le log complet de la discussion

Authentifier le contenu

Reivilo — Sun, 10 Jun 2007 20:06:00 +0200

Introduction

J'ai déjà évoqué le potentiel de la recherche universelle puis par secteur (bibliographie, évènement, article,...). À présent, je vais évoquer un autre type de séparation : le niveau de qualification d'un site.

Niveau de qualification

De nos jours, tout le monde peut créer un site. Tout le monde peut acheter un nom de domaine. Cela est du à deux paramètres principaux :

Le très faible cout d'un nom de domaine et de l'hébergement grand public
Le niveau de connaissances requis : nul (il existe des plate-formes de sites, des CMS,...)

Comme tout le monde peut générer du contenu sur internet, on peut y trouver n'importe quoi. Je peux tout à fait écrire sur ce blog un long article sur les risques dû aux transmissions micro-onde dans l'espace sans pour autant m'y connaitre. Un moteur de recherche ne fera pas la distinction entre un hurluberlu et un chercheur qualifié.
Comme le moteur de recherche ne peut faire la distinction, l'internaute qui posera sa requête au moteur de recherche peut très bien tomber sur un article fantaisiste et baser un mémoire dessus...

Distinguer

Dès lors, comment distinguer une page dont le contenu est issu de personnes qualifiées des pages impertinentes ? De mon point de vue, je vois deux types de pages pertinente :

Celles publiées sur le site d'université, hautes écoles,...
Celles diffusées sur le site personnel d'un passionné. Sans que l'auteur soit qualifié, son travail a de la valeur.

Un bot n'a que peu de chance de faire un bon tri sur ces aspects. Un filtre humain doit être appliqué.
Avec un travail communautaire, nous pourrions recenser les nom de domaine appartenant à des universités, hautes écoles, sites de passionnés, etc...

Autres domaines

Dans le même esprit, nous pourrions filtrer les sites des administrations pour chaque pays. Cela pourrait faciliter le recherche de texte de lois, d'informations sur les brevets, sur les entreprises, etc... sans que des sites amateurs viennent s'y emmêler. Tout ceci augmenterait largement la pertinence de certaines requêtes. Qu'en pensez-vous ?

Déterminer le contenu dupliqué et sa source

Reivilo — Sun, 07 Jan 2007 14:38:00 +0100

Le contenu dupliqué est un des gros obstacles aux moteurs de recherche actuellement. Le contenu dupliqué (ou duplicat content en anglais) peut se présenter sous plusieurs formes, voici les principales :

Au sein d'un même site, une même page est accessible via plusieurs urls différentes (typiquement avec ou sans www, ou avec la réécriture d'url)
Au sein d'un même site, le contenu est présent sur des pages de réponses (forum, wiki,...)
Sur des sites différents : contenu plagié
Sur des sites différents : contenu dupliqué grâce aux licences à la mode (creative commons et autres GPL), dans ce cas la source est citée.
Sur des sites externes : fils rss/atom, mais en général le titre pointe sur la source.

Le défi est donc double : trouver le contenu dupliqué et déterminer le résultat source pour supprimer ou pénaliser le duplicata.
Mais à partir de quelles proportions définir un contenu comme une copie ?
Au sein d'un même site, je pense que l'on peut facilement faire des tests via ValizBot pour vérifier l'accès avec/sans www ou encore si le site exploite l'url rewriting (et dans ce cas ne garder que les url réécrites). De même, il est relativement aisé de détecter si une page est un formulaire de réponse.
Le principal obstacle vient du contenu dupliqué sur plusieurs sites. Comment déterminer l'original ? Si un lien est présent pour citer la source, la chose est à nouveau plus ou moins aisée, mais dans le cas contraire ?

Le débat est ouvert...