L’indexation de la recherche Magento

[dropcap label=”L” custom_label_background_color=”#4ca5d9″ label_color=”#ffffff”]a recherche Magento peut devenir un frein à l’optimisation de votre boutique. Des milliers d’urls peuvent être générées et indexées à tort par les moteurs de recherche. Nous avons tendance à croire que plus le nombre d’urls envoyé sera important et plus notre référencement et positionnement auront de change d’être en première page. En fait, c’est totalement faux et c’est même le contraire. Un site avec 10 urls – comprendre « pages » – de qualité aura plus de chance d’être correctement positionné qu’un autre site avec 12000 urls de mauvaise ou moyenne qualité.[/dropcap]

Pourquoi la recherche Magento génère t’elle autant de résultats ?

En fait, chaque page de résultat va créer une url unique associée à une recherche. Il est très facile de vérifier si vous êtes concernés.

[items_list additembutton=””][item icon=”bullet style_1″ text_color=””] Parcourez votre site Magento, lancez une recherche avec un terme existant [/item]
[item icon=”bullet style_1″ text_color=””] Copiez l’url – par exemple https://www.palaisdesthes.com/fr/catalogsearch/result/?q=sasasa [/item]
[item icon=”bullet style_1″ text_color=””] Ouvrez un nouvel onglet [/item]
[item icon=”bullet style_1″ text_color=””] Saisissez : site:https://www.palaisdesthes.com/fr/catalogsearch/result/?q=sasasa dans la recherche Google[/item][/items_list]

Si vous trouvez plus d’une dizaine de résultat, il est temps d’agir !

[vc_separator_pr]
[featured_item icon=”not_found” title=”PRÉCAUTIONS”]Attention, cet article date de 2012, il sera actualisé prochainement. Modifier le fichier robots.txt peut entrainer une chute du positionnement, du référencement et avoir un impact considérable sur votre commerce en ligne. Si vous n’êtes pas certain de ce que vous faites, n’hésitez pas faire appel à un consultant en web-marketing.[/featured_item]
[vc_separator_pr]

Optimiser l’indexation de la recherche Magento /Catalogsearch/

Exemple de l'URL de recherche sous Magento
Exemple de l’URL de recherche sous Magento

On remarque que Magento utilise la navigation par « dossier » pour sa structure d’url. À moins que celles-ci soient travaillées – termes populaires, pages personnalisée en fonction de la requête, landing pages – je vous conseille fortement, dans un premier temps, de bloquer l’indexation des pages de résultats de recherche dans votre fichier robots.txt :

Procédure d’optimisation de la recherche Magento

La ligne User-Agent permet de spécifier sur quels robots on souhaite interdire l’indexation, dans cet exemple : tous, et la ligne Disallow de sélectionner le dossier. Ça fonctionne aussi avec une page.

Ouvrir le fichier robots.txt via votre explorateur FTP – S’il n’est pas présent à la racine de l’installation, c’est probablement qu’il n’y en a pas, il faut le créer.

[items_list additembutton=”” additemwindow=””][item icon=”bullet style_1″ text_color=””] Rajouter la ligne suivante : [/item]

User-Agent: * 
Disallow: /catalogsearch/

[/item]
[item icon=”bullet style_1″ text_color=””] Renvoyer le fichier [/item]
[item icon=”bullet style_1″ text_color=””] Surveiller l’indexation de votre site dans les outils GWT [/item]
[item icon=”bullet style_1″ text_color=””] Analyser votre site et rajouter d’autres règles en fonction des pages indexées [/item][/items_list]

Exemple de fichier robots.txt

Voici un exemple de fichier robots.txt modifié par mes soins :

Version simplifiée :

User-agent: *
Allow: /
User-agent: *
Crawl-delay: 10

Disallow: /index.php/
Disallow: /checkout/
Disallow: /tag/
Disallow: /catalogsearch/
Disallow: /app/
Disallow: /review/
Disallow: /downloader/
Disallow: /js/
Disallow: /lib/
Disallow: /media/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /skin/
Disallow: /wishlist/
Disallow: /var/
Disallow: /customer/
Disallow: *?SID=

Sitemap: http://www.ma-boutique.fr/sitemap.xml

Version complète :

# $Id: robots.txt,v magento-specific 2010/28/01 18:24:19 goba Exp $
# Edited: 2012/06/11 by Byte
#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these “robots” where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used: http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

# Website Sitemap
Sitemap: http://www.example.com/sitemap.xml

# Crawlers Setup
User-agent: *
Crawl-delay: 10

# Allowable Index
# Mind that Allow is not an official standard
Allow: /*?p=
Allow: /index.php/blog/
Allow: /catalog/seo_sitemap/category/
# Allow: /catalogsearch/result/
Allow: /media/catalog/

# Directories
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/

# Disallow: /media/
Disallow: /media/captcha/
# Disallow: /media/catalog/
Disallow: /media/css/
Disallow: /media/css_secure/
Disallow: /media/customer/
Disallow: /media/dhl/
Disallow: /media/downloadable/
Disallow: /media/import/
Disallow: /media/js/
Disallow: /media/pdf/
Disallow: /media/sales/
Disallow: /media/tmp/
Disallow: /media/wysiwyg/
Disallow: /media/xmlconnect/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
Disallow: /skin/
Disallow: /stats/
Disallow: /var/

# Paths (clean URLs)
Disallow: /index.php/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalog/product/gallery/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/

# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt
Disallow: /get.php # Magento 1.5+

# Paths (no clean URLs)
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?SID=
Disallow: /rss*
Disallow: /*PHPSESSID

 

Nouveautés 2013 du robots.txt pour Magento

Après analyse, il y a quelques lignes à rajouter au précédent fichier robots.txt, en effet, j’ai parcouru le menu des GWT : Configuration => Paramètres d’URL et j’ai isolé les paramètres « inutiles » à l’indexation et probablement cause de duplicate content, pour les rajouter à mon fichier de gestion des robots, les voici :

Disallow: /?q=
Disallow: /?dir=
Disallow: /?order=
Disallow: /?limit=
Disallow: /?mode=

N’hésitez pas à créer des règles dans les outils de GWT par la même occasion, le fichier robots.txt seul n’est pas infaillible !

[items_list additembutton=””][item icon=”bullet style_1″ text_color=””]q = Terme de recherche (déjà désindexé normalement)[/item][item icon=”bullet style_1″ text_color=””]dir = tri des produits ascendant ou descendant[/item][item icon=”bullet style_1″ text_color=””]order = Type de tri des produits[/item][item icon=”bullet style_1″ text_color=””]limit = Nombre de produits à afficher au maximum[/item][item icon=”bullet style_1″ text_color=””]mode = Affichage en grille ou en liste[/item][/items_list]

Recent articles

Apprendre le SEO pas-à-pas

Lorsque je parle de référencement, j'évoque une pratique ayant pour objectif d'améliorer le positionnement. J'optimise la visibilité de mon site dans les...

Agence web offshore pour vos projets

Laisser la gestion de votre projet en toute confiance à une entreprise qui n’est pas installée en France c'est possible. Pourquoi je travaille avec l’agence web offshore Gopadma ?

Apprendre le SEO pas-à-pas

Version adaptée de mon mémoire de licence sur le SEO destiné à un public débutant souhaitant découvrir le monde du référencement web.

Les plugins indispensables au référencement d’un WordPress

Retrouvez ma liste des plugins 2018 pour optimiser le référencement et le positionnement d'un site WordPress.

Internet pour référencer une entreprise localement

Améliorer la visibilité locale de votre entreprise ? AlternWeb vous propose une prestation clef-en-main pour améliorer votre référencement.

Connaitre les mots clés des concurrents

Quelles sont les étapes permettant de trouver les mots-clés utilisés par vos concurrents ? Suivez ce guide et découvrez les en quelques clics !
Johnny

Diplômé en management de la stratégie e-commerce, j'ai commencé à travaillé à l'étranger en 2016, pour l'entreprise Hangar17 ICT LTD, basée à Pondichéry, en Inde.



Mes expériences de travail précédentes incluent :
  • Analyse et création de stratégies de marketing en ligne, analyse de marchés.
  • Animation de site à l'aide de newsletters et bannières (Adobe CC)
  • Gestion des communautés (Facebook, Instagram, Twitter)
  • Gestion de projet web
  • Analyse des statistiques via Google Analytics, suivi de la stratégie de référencement selon vos indicateurs de performance
  • Accompagnement à la vente sur Amazon


Ma première année à l'étranger ayant été un franc succès sur le plan personnel et professionnel, j'ai décidé de vivre et travailler depuis l'Asie. Mes expériences précédentes, ma passion pour les nouvelles technologies et mes connaissances en marketing sont les principaux points forts de mon profil.

Principalement basé en Asie et en France, j'ai vécu un peu plus de 3 années en Inde.


Contactez-moi et travaillons ensemble.

4 Commentaires

  1. La balise canonical n’est pas toujours respecter par google, il n’est pas rare de voir des url’s indexées malgré une canonical bien mise en place (surtout sur magento, navigation facettes …)

    • Oui, je n’ai jamais fais confiance à la balise Canonical seule, et pour la navigation multi-facettes du module Amasty par exemple, c’est une calamité en terme de page générées si l’on ne les contrôle pas !

  2. Je suis pas tout à fait d’accord sur certains points. Les reviews sont gérées par la balise canonique pour éviter le duplicate avec la fiche produit principale. Empecher sont crawl va faire perdre du contenu, quand il y a des avis.

    • Merci de ta réaction, je viens de constater que sur de nombreux sites, il n’y a pas de balises canonical sur ces pages « review »… Maintenant je comprends la problématique : Ne pas indexer ou ne pas crawler la page, c’est vrai qu’il y a une différence, j’ai vu sur certain site une méthode alternative qui me parait plus pertinente : http://www.floraquatic.com/caridina-cf-cantonensis-red-crystal-grade-a-a-s.html

      J’ai un problème avec la canonical, je trouve qu’elle est pas toujours efficace, qu’en penses-tu ?

      À mon avis, il vaut mieux ne pas l’indexer mais autoriser les robots à suivre les liens de cette dernière.

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.