Valiz : Moteur de recherche open-source

Valiz est un gros projet et comme en prime il est open-source, il doit être parfaitement lisible, récupérable par module ou encore facilement modifiable. Évidemment, il faut aussi qu'il soit portable, etc...
Bref, le choix des langages est primordial. Il faut aussi penser à coder léger et performant.
Donc il faut choisir les langages pour Valizbot, les divers algorithme, le site, la gestion des APIs, etc... le point commun sera les donnée, je pense aux bases du SGBDR PostgreSQL.
Je pensais faire valizbot principalement en python avec une gestion des regex par Perl (comme c'est son point fort). Peut-être Java pour les algorithme ?
Comment voyez-vous Valiz et avec quels langages ?

Bonjour à tous et merci pour votre curiosité,

Si vous êtes ici, c'est que vous vous intéressez au projet Valiz, je vais expliquer dans ce billet pourquoi j'ai lancé l'idée, pourquoi j'espère que Valiz voie le jour, comment sera organisé ce blog et ce que j'espère obtenir.
Vous connaissez tous le principe des moteurs de recherche : trouver rapidement la réponse à une question, des informations sur un sujet ou des sites de qualités traitant de quelque chose en particulier. Pour cela diverses sociétés proposent leurs moteurs de recherche, financés par la publicité intégrée aux résultats et l'une d'entre elle a quasiment le monopole.
Le problème, c'est qu'ils sont dépassés par l'ingéniosité des spammeurs car ils acceptent presque tout dans leurs index et leur algorithme accorde beaucoup d'importance aux critères externes des sites (liens pointant vers le site notamment).
Les objectif de Valiz sont les suivants :

• Développer un algorithme qui se base uniquement sur la pertinence du contenu en oubliant tout repaire externe
• Ne répertorier que les pages accessibles en se basant dans un premier temps sur la validation W3C.
• Faire un moteur 100% open-source : tout le code sera distribué et tout le monde peut y contribuer, un peu comme le projet Nutch
• À l'inverse de Nutch, le moteur sera un service public avec de nombreuses interface permettant d'exploiter ses résultats
• Rester totalement libre et gratuit : aucune publicité commerciale, association à but non-lucratif
• Suivre un développement totalement modulaire pour pouvoir facilement adapter les algorithme ou être intégré dans divers projets

Le but de Valiz n'est pas de concurrencer les moteurs actuels mais de proposer une alternative libre au monopole commercial actuel des moteurs de recherche et surtout des résultats accessibles à tous.

Si vous souhaitez soutenir Valiz, vous pouvez selon votre temps, compétence et motivation :

• Suivre le développement en alimentant et argumentant votre vision lors des billets sur ce blog ou sur les forums
• Nous aider en devenant rédacteur/traducteur (si vous avez une orthographe et grammaire correcte et que vous maitrisez au moins le français, le projet aura une documentation complète en français et anglais dans un premier temps puis ouvert à toutes les langues, donc si vous êtes bilingue, n'hésitez pas...)
• Nous aider au développement, si vous avez des connaissances en (pas besoin d'avoir tout à la fois...) : xHTML, CSS, PHP 5/6, PostgreSQL, cluster, Java, Python, Bash, SOAP, xml, accessibilité,...
• Nous soutenir financièrement, actuellement l'association n'est pas déclarée mais vous pouvez faire une promesse de don à don(@)valiz.org ou si vous êtes intéressé à fournir des serveurs, bande passante, baie,... on en aura grand besoin.
• Nous soutenir moralement : un commentaire, un mail ça fait toujours énormément plaisir.

Ce blog contiendra des billets sur l'avancée du projet, sur les débats (choix), etc...