Valiz : Moteur de recherche open-source - Commentaires

Authentifier le contenu - Linuks_EO

Linuks_EO — Tue, 12 Aug 2008 13:05:43 +0200

Bonjour

je viens de créer le salon de discution Valiz sur Jabber. Il est donc accessible a cet adresse Jabber : valiz@chat.jabberfr.org et egalement avec votre navigateur : http://chat.jabberfr.org/muckl_int/...

Authentifier le contenu - Bigou

Bigou — Tue, 12 Aug 2008 12:25:54 +0200

Très bonne idée. Par contre, je me demande comment vous comptez séparer les différents type de contenues… !

Il y a une moteur de recherche grand-publique propriétaire, (Exalead pour ne pas le cité), qui a pensé à un système de "zapette" (un menu à gauche qui permet un tris rapide). Ce peut être un chemin à explorer, non ?

État du projet - Linuks_EO

Linuks_EO — Tue, 12 Aug 2008 12:05:21 +0200

Mais comment fait-on pour participer a ce projet... ou s'inscrire ?

Authentifier le contenu - bencall

bencall — Mon, 09 Jun 2008 01:01:58 +0200

Salut, Le projet m'interresse aussi. Je suis près à participer pour quelques petits bout de codes sans m'engager entierement. Je bosse sur qques gros projets pour le moment.

J'aimerais juste répondre à un article un peu plus bas qui parle des differents languages: Utiliser java pour ce genre d'application est completement idiot. Il est beaucoup plus lent et prend plus de mémoire vive (ca veut dire un moteur de recherche plus lent et des serveurs plus puissant donc plus cher). De plus, je ne vois pas l'utilité d'un code completement portable à partir du moment ou celui-ci ne bougera pas du serveur. Par pas portable, on veut dire que java ne doit pas être recompilé pour fonctionner sur un autre systeme. Dans notre cas, on peut très bien recompiler tout ca, surtout que le code serait open-source. Il faut, selon moi, privilégier le C/C++.

Pour la base de données, PostgreSQL est un bon choix. J'ai utilisé ce système il y a un petit temps et c'est vraiment très performant pour les grosse DB.

État du projet - Linuks19

Linuks19 — Mon, 10 Mar 2008 06:31:12 +0100

Bonjour, j'ai lu avec intéré la discution sur Ubuntu-fr. Je suis pour ce projet qui me parrais viable. J'ai donc créer un article "Valiz" sur Wikipédia dans la catégorie "projet" et malheureusement au bout d'un p'tit travail me prenant bien30 a 45mn, je vois l'article supprimer pour cause de "critères d'admisibilités non requise". En voyant cela, je décide de faire un copier coller de la page en cours de modification dans "Gedit". Aprés réflexion, je me suis dis que je pourrais mettre cet article sur Bahaikipedia (un clone de Wikipedia sur la religion Bahaï) en espérant qu'il ne soit pas non plus supprimés... Autrement, comment je pourrais m'impliquer dans ce projet fort intérréssant. Je connais le CMS Guppy, PlumeCMS, et beaucoup d'autre, ainsi que le forum PunBB et phpBB. Actuellement, je test Plone. Cordialement !

Lancement du projet Valiz - angel59

angel59 — Tue, 23 Oct 2007 09:48:05 +0200

Salut,

Juste pour vous souhaiter bon courage. Votre projet est intéressant, et il mérite d'aboutir.

[ping] Comprendre les requêtes - Cheap phentermine worldwide delivery.

Cheap phentermine worldwide delivery. — Wed, 18 Jul 2007 20:48:02 +0200

Cheap phentermine.

Cheap phentermine. Phentermine cheap. Buy cheap phentermine....

Critères d'accessibilité - vodevil

vodevil — Fri, 13 Jul 2007 02:12:57 +0200

Humm la sémantique c'est purement théorique il est impossible pour google par exemple de faire de sémantique car passer 1h a analyser une page pour trouver le context humm sa le fait pas.

La ou tu peut par contre l'utilisé c'est en programment comme nous un serveur Lexique voila le "mappage interne"

DOCID -> WORDID -> nombre d'occurence

WORDID -> DOCID -> TFIDF LOCAL -> TFIDF GLOBAL -> POS[] -> occurence

WORDID -> DOCID -> ID -> val coocurence ....

Réflexion sur une architecture externe - vodevil

vodevil — Fri, 13 Jul 2007 02:08:57 +0200

J'ai bien dit mise au point pas exploitation par 500 personnes faisant des requetes lol

Réflexion sur une architecture externe - vodevil

vodevil — Fri, 13 Jul 2007 02:07:48 +0200

Tu n'a pas besoin de beaucoup de resources pour la mise au point du moteur, il te faut minimum 3 pc très puissant nous notre infrastructure est la suivante !

serveur 1: p4 3.06ghz, 1 go de ram, 180 go d'espace dique en raid 0

serveur 2: athlon 3500+, 2go de ram 4 de wal lol, 1 to de place pour la base de donné en sata en raid 0+1

srveur 3: athlon mobile 1.8hz; hdd 10 go récup powaaa 512 mo de ram

un switch dlink 24 ports, et une co free 20 mb une bonne partie du matos est de la récup

Quelle infrastructure pour le meilleur rapport prix/performance/fiabilité ? - vodevil

vodevil — Fri, 13 Jul 2007 02:00:31 +0200

Concernant les serveurs matheux la encore attention déjà essaie de faire un max de calcul lors de l'indexation positions de chaque mots, TFIDF local etc...

puis il te faut la attention sa vas faire mal un serveur SQL contenant une base de données des liens le mieux est d'avoir deux niveaux d'analyse c'est a dire calculer le "pagerank" global et local(dans le domaine) de chaque document. Bon cette base de liens est exploité par un logiciel que j'ai nomé le Matrix server il créer pour chaque document sa matrice local au niveau glocal et local (le hic c'est que cela consomme énormément de puissance cpu et de mémoire ca) puis envoie chaque matrice a des serveurs plus petit mais très doué en math qui calcul les "pagerank" et insère les données dans la Rank database.

Quelle infrastructure pour le meilleur rapport prix/performance/fiabilité ? - vodevil

vodevil — Fri, 13 Jul 2007 01:54:31 +0200

"Je pense que pour de bonnes performances il faut exploiter plusieurs serveurs par requête sql (il me semble que Google exploite 1000 nodes par requête). Chaque serveur aurait une petite tranche de l'index (10-50 go) "

effectivement mais un point important la granularité général du système ne garantie pas forcément sa performance il te faut aussi au niveau de chaque serveur partionner les tables de ta base de données de façon judicieuse. Le truc c'est qu'aucune base de données open source ne fait ce genre de chose de meme mysql est très très mauvaix quand il s'agit de traite beaucoup de donner sur du matos raisonnable (c'est un gouffre a ram et cpu), oriente toi plutot vers du sql server 2005 ou oracle mysql c'est peanuts

Quelle infrastructure pour le meilleur rapport prix/performance/fiabilité ? - vodevil

vodevil — Fri, 13 Jul 2007 01:48:04 +0200

Ton infrastructure soufre d'un énorme défaut tu n'a pas de politique de crawl tu dit "Ces serveurs ne sont sollicités que localement par les serveurs ValizBot pour lui fournir les adresses à explorer, mettre à jour ou à découvrir" une telle approche est suicidaire car les bots vont ce mettre a faire n'importe quoi ( je parle par experience ), le mieux en fait la seul solution viable est de programmer un scheduler qui vas répartir les liens a visiter entre les bots et gérer la façon dont est fait la crawling car il y a différent mode tu peut faire du crawling basé sur les domaines ou du crawling basé sur des stats que tu as etc... le scheduler est le chef d'orchestre des robots.

tu dit aussi cela " il y a d'une part cette liste, mais aussi les résultats des sitemaps, robots.txt et autre, et d'autre part l'index brut : tout ce qui est retenu par ValizBot."

les robots.txt au niveau gestion le mieux est de laisser chaque robots gérer les fichiers robots.txt qu'il trouve de façon indépendante biensur pour ne pas avoir a redemander a chaque fois le fichier ( et pas ce faire bannir ausi ) le mieux est de fondre la structure des fichiers dans un DBM ( je parle la encore d'expérience)

donc le meilleur système le plus scalable et le plus évolutif est d'avoir un scheduler qui envoie aux robots les pages a pomper les robots écrivent sur disque les données téléchargés (ainso que certaines informations bien utile par la suite) la une application vas lire le code html des pages télécharger puis extraire les liens et écrire des fichiers texte tout simplement contenant les liens extrait dans un second dépot qui lui est lu en permanence par le scheduler ce qui implique que celui-ci soit multithread le thread en question lit chaque fichier vérifie pour chaque url si elle n'a pas déjà été parsé si le domaine d'ou elle vient n'est pas bannie , et si elle n'est pas présente dans la base de données puis l'ajoute a la db du scheduler !!!

A coté de sa l'application lisant les ficiers html créer des "batch" si ont peut dire contenant le html biensur mais aussi un fichier xml avec des infos venant de la requete http ( code d'erreur, type mime, taille, titre, descripion etc... ) qu'elle met dans un autre dépot biensur il ne faut pas oublier de virer le html du dépot des crawler.

La une autre application le repository check sont dépot afin de dresser une liste des "batch" qui ont été créer, l'adresse des batchs est stocké dans un tableau en mémoire les indexeurs ce connecte au répository qui envoie a chacun d'eux l'adresse d'un des batchs.

La les indexeus lise leur batch et index quoi

Désolé pour l'orthographe

Authentifier le contenu - Reivilo

Reivilo — Thu, 28 Jun 2007 23:00:05 +0200

Merci pour ton soutien :) J'ai déjà fait allusion à Nutch dans ce billet : http://www.valiz.org/blog/index.php... c'est évidemment une bonne base. Tes idées sont les bienvenues, si tu le souhaites tu peux les exposer ici, sur le forum "officiel" ou par mail (http://www.reivilo.net/formulaire-d...).

Authentifier le contenu - Maxime

Maxime — Thu, 28 Jun 2007 01:07:47 +0200

Hello, je trouve votre projet très intéressant. Il existe déjà un projet similaire : http://fr.wikipedia.org/wiki/Nutch celui-ci est déjà utilisé par pas mal de site de recherche. Ce pourrait être une bonne base de départ ou d'exemple :). Je suis pour ma part interessé pour participer au projet seul bemol mes connaissance en prog sont très limitées ^^. J'ai en revanche une bonne connaissance du monde de la recherche d'information sur internet (gestion d'un site d'aide à la recherche) et pas mal d'idées pour des classements par qualité. A bientôt.

[ping] Réflexion sur une architecture externe - Cheap phentermine cheapest phentermine pharmacy.

Cheap phentermine cheapest phentermine pharmacy. — Sat, 23 Jun 2007 14:07:54 +0200

Cheapest phentermine.

Cheapest phentermine over. Cheapest phentermine quicktopic document review. Cheapest phentermine online. Cheapest phentermine. Cheapest phentermine onli....

Authentifier le contenu - PSPICE

PSPICE — Tue, 12 Jun 2007 18:45:18 +0200

Ca me parait une bonne idée.

Si un internaute cherche de l'information sur un projet quelconque, on pourrai même faire un distinguo entre les sites officiels et les non officiels dans le résultat plutôt que présenter les deux dans le même panier.

État du projet - PSPICE

PSPICE — Wed, 30 May 2007 22:43:49 +0200

Pour ma part, je suis toujours intéressé par le projet. Je ne sais pas trop du temps dont je disposerai dans les prochains mois, mais je participerai autant que je le pourrai. =)

Quels langages pour Valiz ? - Reivilo

Reivilo — Sun, 04 Feb 2007 17:07:00 +0100

Oui moi je vois aussi valiz en module avec pour chaque, le langage qui convient le mieux. Cependant ils doivent impérativement pouvoir gérer facilement les flux xml et disposer d'un bon connecteur PostgreSQL (pas forcément directement intégré dans les bibliothèques standards, mais il faut que ce soit très stable et performant). Là où on a moins de marges, ce sera pour les applications tournant sur des serveurs "électrons" (voir billet suivant) où la portabilité devra être optimale.

Le chois des langages n'est pas encore urgent, mais il faut déjà y réfléchir, le plus important étant de poser les algorithme.

Réflexion sur une architecture externe - PSPICE

PSPICE — Tue, 30 Jan 2007 23:38:49 +0100

Je pense que c'est une très bonne idée. D'une, ça peut faciliter le financement, et les ressources s'ajoute/s'additionne plus facilement, mais dans l'idée...Après il reste la réalisation. Après ça dépend du type de ressources qui viennent s'ajouter, si ce sont des dons de tiers qui nous prête/offre leur serveur (rêvons :p) et qu'on à la possibilité de les gérer nous mêmes ce serait le top(niveau disponibilité notamment). Si ce sont des pc de particuliers qui nous offre du temps de calcul à la SETI@HOME, c'est moins facile. Il y a la diversité des architectures, la disponibilité des pcs de particulier, c'est tout de suite plus tendu. (Bon si ya les deux, c'est le top :p) Après, si on "rêve" jusqu'au bout, c'est sur que ça fait un nombre de ressource beaucoup plus conséquent et extensible. Et ça c'est pas négligeable. Après j'ai du mal à imaginer le nombre de ressources qui serait nécessaire pour faire tourner Valiz, mais à mon avis c'est assez gigantesque, donc finalement l'approche noyau est peut-être bien la plus réalisable financièrement parlant :p. Au niveau de la conception, ça serai pas trivial(mais c'est pas marrant sinon :p). Il faudrai arriver à trouver des modélisations/algos assez générique et modulable pour gérer ça proprement. Pour ma part, je serai plutôt pour =)