http://www.valiz.org/blog/index.php/ Blog francophone du développement du projet de moteur libre Valiz. fr Tue, 16 Dec 2008 17:15:57 +0100 Le contenu de ce blog peut être copié à condition de citer la source avec un lien en dur. http://blogs.law.harvard.edu/tech/rss Dotclear http://www.valiz.org/blog/index.php/post/2007/01/08/Rafraichissement-des-resultats urn:md5:ab60e5c2e6dd13d5a2e3fce61510c350 Mon, 08 Jan 2007 20:52:00 +0100 Reivilo Débats cachecalculflagindexlastmodrequête <p>Calculer les résultats pour une requête requiert beaucoup de ressources, il serait suicidaire d'appliquer un calcul en temps réel pour chaque requête. Même les plus grands moteurs ne font pas du calcul instantané (et si plus est la base est de 8 milliards de pages...).<br /> Comment économiser les ressources tout en restant le plus possible à jour&nbsp;?</p> <ul> <li>Diminuer l'étendue de la recherche en séparant par thématique et autres flags attribués lors de l'indexation</li> <li>Effectuer des calculs de pertinence permanents en arrière-plan</li> <li>Générer de manière autonome les requêtes courantes</li> <li>Mettre en cache les requêtes effectuées</li> <li>Calcul instantané basé sur les requêtes proches en cache&nbsp;?</li> <li>etc...</li> </ul> <p>Mais à quelle fréquence mettre à jour le cache&nbsp;? On pourrait établir des niveaux de popularités/fréquence de nouveautés et ainsi faire des mises à jour toutes les 24/48h voir une fois par semaine. Mais le plus important serait probablement un cache intelligent&nbsp;:</p> <ul> <li>Mise à jour lorsque de nouveaux résultats détectés comme pertinents sont ajoutés ou mis à jour dans l'index</li> <li>Requêtes <em>chaudes</em> (actualité, débats, évènement) où les informations évoluent très rapidement&nbsp;: donc mise à jour très fréquentes</li> </ul> <p>Un autre domaine à examiner serait la catégorie actualité des résultats, je pense que le plus pertinent serait de se baser sur les flux rss (pour avoir le plus récent sans avoir à aller le chercher avec valizbot) et cette sous-catégorie serait gérée indépendamment du cache ou alors bénéficierait d'un cache séparé (reconstruit selon le même principe).<br /> Dans la même lancée, nous pourrions nous interroger sur la fréquence de mise à jour par valizbot, la solution la plus simple de se baser sur le couple sitemaps/lastmod, mais ce concept est encore très peu utilisé et souvent de manière incorrecte. Mais ceci fera l'objet d'un autre article...</p> http://www.valiz.org/blog/index.php/post/2007/01/08/Rafraichissement-des-resultats#comment-form http://www.valiz.org/blog/index.php/post/2007/01/08/Rafraichissement-des-resultats#comment-form http://www.valiz.org/blog/index.php/feed/rss2/comments/5