Les fichiers robots.txt et sitemap.xml permettent d'organiser l'indexation des sites. Ces deux dossiers se complètent bien, même s’ils résolvent en même temps des problèmes opposés. Si robots.txt sert à interdire l'indexation de sections entières ou de pages individuelles, alors sitemap.xml, au contraire, invite robots de recherche, quelles URL doivent être indexées. Analysons chacun des fichiers séparément.
Fichier Robots.txt
robots.txt est un fichier dans lequel sont écrites des règles qui restreignent l’accès des robots de recherche aux répertoires et aux fichiers du site afin d’éviter que leur contenu ne soit inclus dans l’index du moteur de recherche. Le fichier doit se trouver dans le répertoire racine du site et être disponible sur : site.ru/robots.txt.
Dans robots.txt, vous devez bloquer l'indexation de toutes les pages en double et de service du site. Souvent les CMS publics créent des doublons, les articles sont accessibles dans plusieurs URL en même temps par exemple ; dans les catégories site.ru/category/post-1/, les balises site.ru/tag/post-1/ et l'archive site.ru/arhive/post-1/. Afin d'éviter les doublons, il est nécessaire d'interdire l'indexation des tags et de l'archive, seules les catégories resteront dans l'index. Par pages de service, j'entends les pages de la partie administrative du site et les pages générées automatiquement, par exemple : résultats lors d'une recherche sur le site.
Il faut simplement se débarrasser des doublons, car ils privent les pages du site de leur unicité. Après tout, si l'index contient plusieurs pages avec le même contenu, mais accessibles à des URL différentes, alors le contenu d'aucune d'entre elles ne sera considéré comme unique. En conséquence, les moteurs de recherche abaisseront de force les positions de ces pages dans les résultats de recherche.
Directives Robots.txt
Les directives sont des règles, ou vous pouvez également dire des commandes pour les robots de recherche. Le plus important est User-agent, avec son aide, vous pouvez définir des règles pour tous les robots ou pour un bot spécifique. Cette directive est écrite en premier, puis toutes les autres règles sont indiquées.
# Pour tous les robots Agent utilisateur : * # Pour l'agent utilisateur du robot Yandex : Yandex
Une autre directive obligatoire est Disallow, avec son aide les sections et pages du site sont fermées, et son opposé est la directive Allow, qui, au contraire, autorise de force l'indexation des sections et pages spécifiées du site.
# Interdire l'indexation de la section Interdire : /dossier/ # Autoriser l'indexation de la sous-section avec des images Autoriser : /dossier/images/
Afin d'indiquer le miroir principal du site, par exemple : avec ou sans www, utilisez Directive hôte. Il convient de noter que le miroir principal est enregistré sans spécifier le protocole http://, mais le protocole https:// doit être spécifié. L'hôte n'est compris que par les robots Yandex et Mail.ru et vous ne devez saisir la directive qu'une seule fois.
# Si le miroir principal fonctionne via le protocole http sans www Host : site.ru # Si le miroir principal fonctionne via protocole https de l'hébergeur www : https://www.site.ru
Sitemap est une directive indiquant le chemin d'accès au fichier sitemap.xml, le chemin doit être précisé en entier avec le protocole, cette directive peut être écrite n'importe où dans le fichier.
# Préciser chemin complet au fichier sitemap.xml Plan du site : http://site.ru/sitemap.xml
Pour simplifier les règles d'écriture, il existe des opérateurs symboliques particuliers :
- * - désigne un nombre quelconque de caractères, ainsi que leur absence ;
- $ - signifie que le symbole avant le signe dollar est le dernier ;
- # - désigne un commentaire, tout ce qui se trouve sur la ligne après de cet opérateur sera ignoré par les robots de recherche.
Après vous être familiarisé avec les directives de base et opérateurs spéciaux Vous pouvez déjà esquisser le contenu d’un simple fichier robots.txt.
Agent utilisateur : * Interdire : /admin/ Interdire : /arhive/ Interdire : /tag/ Interdire : /modules/ Interdire : /search/ Interdire : *?s= Interdire : /login.php Agent utilisateur : Yandex Interdire : / admin/ Interdire : /arhive/ Interdire : /tag/ Interdire : /modules/ Interdire : /search/ Interdire : *?s= Interdire : /login.php # Autoriser le robot Yandex à indexer les images dans la section des modules Autoriser : /modules /*.png Autoriser : /modules/*.jpg Hôte : site.ru Plan du site : http://site.ru/sitemap.xml
Familiarisé avec Description détaillée Toutes les directives avec des exemples de leur utilisation peuvent être trouvées dans la publication sur le site Web de Yandex dans la section d'aide.
Fichier plan du site.xml
sitemap.xml est ce qu'on appelle un plan de site pour les moteurs de recherche. Le fichier sitemap.xml contient des informations destinées aux robots de recherche sur les pages du site qui doivent être indexées. Le contenu du fichier doit contenir les adresses URL des pages, mais il n'est pas nécessaire d'indiquer la priorité des pages, la fréquence de réexploration des pages, la date et l'heure. dernier changement pages.
Il est à noter que sitemap.xml n'est pas obligatoire et que les moteurs de recherche peuvent ne pas en tenir compte, mais en même temps, tous les moteurs de recherche disent qu'avoir le fichier est souhaitable et permet d'indexer correctement le site, surtout si les pages sont créé dynamiquement ou le site présente une structure d'imbrication complexe.
Il n’y a qu’une seule conclusion : que les fichiers robots.txt et sitemap.xml sont nécessaires. Réglage correct l'indexation est l'un des facteurs permettant de placer les pages du site à des endroits plus élevés dans Résultats de recherche, et c'est le but de tout site plus ou moins sérieux.
(Dernière mise à jour : 17/02/2019)
Bonjour collègues! Dans cet article, je vais vous dire comment créer et configurer un plan de site pour WordPress, pour les moteurs de recherche tels que Yandex, Google, Bing, [email protected]. Ne confondez pas XML et HTML. Le premier convient aux moteurs de recherche et le second est destiné principalement aux utilisateurs. Vous savez probablement déjà ce qu'est un plan de site XML. Je vous le rappelle : il s'agit d'une liste de pages de votre site/blog que vos visiteurs ne voient pas, mais sont seulement clairement visibles. Le fichier XML Sitemap vous permet d'informer Google et Yandex des pages de votre site afin qu'elles soient garanties d'être incluses dans l'index des moteurs de recherche.
Plugin de plans de site XML Google pour WordPress
Les plans de site XML peuvent aider les moteurs de recherche à déterminer l'emplacement des pages sur un site, un blog et leur heure. dernière mise à jour, la fréquence et l'importance des mises à jour par rapport aux autres pages de la ressource Web afin que le moteur de recherche puisse indexer le site de manière plus intelligente.
Qu'est-ce qu'un plan du site ?
Plan du site - Fichiers XML contenant des informations destinées aux moteurs de recherche (tels que Google, Yandex, Bing, [email protected]) sur les pages de sites Web soumises à l'indexation. En termes simples, ce sont les URL de sites que vous envoyez aux moteurs de recherche.
Yandex prend en charge les formats XML et TXT. Le format XML permet de transmettre des informations complémentaires.
Le plugin nous aidera à créer un blog ou un plan de site sur WordPress Plans de site XML Google. Ce qui génère un fichier XML, le met à jour, etc. Tout ce dont vous avez besoin est un plugin, configurez-le et oubliez-le. Installation de Google Norme de plans de site XML.
Plugin WordPress pour les plans de site XML Google
L'un des meilleurs plugins WP. Il fournira un plan de site XML complet pour les moteurs de recherche. Il a déjà été installé plus de 24 243 146 fois.
Plugin de plans de site XML Google Utilisez ce plugin, il améliorera grandement votre référencement. Il créera un plan de site XML spécial et aidera les moteurs de recherche tels que Google, Bing, Yandex et Mail Ru à mieux indexer votre ressource Web. Avec un plan de site comme celui-ci, il est beaucoup plus facile pour les robots d'exploration de voir la structure complète de votre site et de l'extraire plus efficacement. Le plugin prend en charge toutes sortes de pages générées par WordPress, ainsi que les URL personnalisées.
De plus, il avertit tous les principaux moteurs de recherche chaque fois que vous publiez un nouveau contenu. Le module est entièrement gratuit et traduit en russe (mais pas complètement, mais les choses les plus importantes ont été traduites).
Installez le plug-in de la manière habituelle en utilisant la fonction Plugins - Ajouter un nouveau. Dans le champ de recherche, saisissez son nom Google XML Sitemaps :
Installer le plugin depuis le panneau d'administration Configuration de plans de site XML
Après avoir installé et activé avec succès le plugin, vous devez le configurer. Dans la section « Paramètres », cliquez sur :
paramètres du plan de site XML La page : XML Sitemap Generator pour WordPress s'ouvrira, où vous devrez le configurer. Sur cette page, tout en haut, vous verrez un lien vers votre carte :
Lien vers le plan du site XML de votre site Vous pouvez cliquer dessus et voir à quoi cela ressemble :
Plan de site XML pour les moteurs de recherche Les paramètres importants sont dans notre langue russe native et puissante, il ne vous sera donc pas difficile de tout comprendre. Quels réglages peuvent être effectués ? Le développeur du plugin indique que les valeurs par défaut conviennent à la plupart des sites. Mais néanmoins, chaque utilisateur doit décider pour lui-même. Indiquez les catégories à exclure de la carte, le contenu du plan du site, les priorités, la fréquence des changements, etc. Cela devrait ressembler à ceci :
Paramètres de votre site de cartes XML Après tous les paramètres, assurez-vous de cliquer sur « Mettre à jour les paramètres ». Prêt. L'étape suivante Il s’agit d’ajouter un fichier Sitemap dans le webmaster des moteurs de recherche pour accélérer l’indexation du site WordPress. Et ajoutez également un lien vers la carte dans robots.txt.
Alors, quelles pages devriez-vous inclure dans votre carte ? Pour des raisons de référencement, il est recommandé d’inclure uniquement les pages que vous souhaiteriez voir dans les recherches.
Désormais, lors de la rédaction d'un article, le plugin informera les moteurs de recherche (pas tous, mais uniquement Google, Bing, Yahoo et Ask.com) de la mise à jour de votre blog. Le plugin mettra automatiquement à jour votre plan de site si vous publiez, vous n'avez donc rien d'autre à faire
Pour les autres moteurs de recherche, vous devez le faire : lisez.
Attention les amis, la fonction XML Sitemaps est disponible dans les plugins SEO et .
Bonne chance et à bientôt. Bye Bye!
Déposer Plan du site- il s'agit d'un fichier contenant des informations sur les pages du site, autrement appelé Plan du site. Avec un plan du site, vous pouvez indiquer aux moteurs de recherche quelles pages de votre site doivent être indexées, à quelle fréquence les informations sur les pages sont mises à jour et quelles pages sont les plus importantes à indexer.
Ici, vous pouvez générer le code XML Google et Yandex nécessaire pour le plan du site. Et créez également un plan visuel du site en ligne, que vous pourrez placer sur l’une de vos pages.
Vous pouvez en savoir plus sur le format de fichier XML Sitemap sur sitemaps.org
Débutant Expert Informations VIP Structure XML Historique FAQ
Détails techniques du plan du site
Balises du fichier Sitemap.xml :
- changement de fréquence- la fréquence la plus probable des changements dans le contenu de l'URL spécifiée ;
- dernier mod- date réelle de la dernière mise à jour de l'URL ;
- lieu- l'URL elle-même ;
- priorité- priorité de la page spécifiée par rapport aux autres pages du site ;
- URL- cette balise sert de parent aux quatre premières balises spécifiées ;
- ensemble d'URL- cette balise regroupe les balises des cinq premiers types.
Une caractéristique de l'utilisation du format XML est la nécessité de remplacer tous les caractères de service par leur représentation sûre. Vous trouverez ci-dessous un tableau des caractères qui apparaissent dans les URL et sont soumis à remplacement obligatoire:
- & - esperluette ;
- " - Guillemets simples;
- " - double citation;
- > - le signe « supérieur à » ;
- < - signe "inférieur à".
Le fichier Sitemap a une limite de taille de fichier d'index de 10 Mo. Pour garantir que cette limitation n'affecte pas les propriétaires de petits sites Web, il est possible de compresser les fichiers destinés au plan du site à l'aide d'Open format d'archive gz (archiveur gzip).
Vous pouvez spécifier l'emplacement du fichier Plan du site en utilisant un fichier robots.txt. Pour ce faire, ajoutez simplement au fichier robots.txt la ligne suivante :
Plan du site : http://DOMEN.ru/sitemap.xml
L'URL doit être l'URL complète du plan du site.
Pour transmettre de nouvelles informations aux moteurs de recherche Plan du site utilisez une ligne comme :
Moteur de recherche/ping?sitemap=http://DOMEN.ru/sitemap.xml
Pour Google : http://www.google.com/webmasters/sitemaps/ping?sitemap=http://DOMAIN.ru/sitemap.xml
Pour vérifier l'exactitude du plan de votre site, vous devez d'abord vérifier son exactitude. Le moyen le plus simple de procéder consiste à utiliser l'un des utilitaires situés sur les sites Web ou sur xml.org. Vous aurez besoin d'un schéma XML pour les données du fichier d'index du plan Sitemap. Pour indiquer un lien vers le schéma de vérification dans le fichier XML, cochez la case " Ajouter un lien vers Schéma XSD pour chèque". Après cela, lorsque vous ouvrez le plan du site. fichier XML et dans le navigateur, s'il y a des erreurs dans la structure, vous recevrez un message correspondant.
Historique de développement du plan du site
D'aussi loin qu'Internet se souvienne, les webmasters ont toujours essayé de plaire rechercher des araignées- aidez-les à collecter des informations détaillées sur la structure du site promu.
La première, la plus ancienne et la plus naturelle, fut la création page spéciale, sur lequel tous les liens du site ont été placés. Ces pages étaient et sont appelées plans du site. Le principe de leur fonctionnement est simple : lorsqu'un robot de recherche visitera cette page, il suivra automatiquement les liens qui y sont publiés et les ajoutera à l'index.
Ce schéma était pratique pour le moment. Plus tard, lorsque les sites ont cessé d'être exclusivement des pages statiques avec un petit nombre de pages, est apparu nouveau problème, associé à l'inefficacité du mode de publication de la version classique du plan du site, car Il n'y avait pas assez de place pour les liens, les pages se sont avérées volumineuses et peu pratiques.
Sur certains sites, le nombre de pages a dépassé les 1 000 ; il est naturellement devenu impossible de placer absolument tous les liens sur le plan du site. Le taux d'indexation de ces sites a commencé à baisser. Le monde a besoin d’une nouvelle solution efficace au problème qui s’est posé.
Et le problème a été résolu. En juin 2005, la société Google un nouveau format pratique de description des nouvelles pages du site a été créé pour améliorer la qualité de leur indexation moteurs de recherche.
La norme a été nommée Plans de site 0.84. Le principe d'une base de données texte XML a été adopté comme base, permettant une description compacte de la structure du site dans un fichier texte, y compris les pages du site nouvelles et précédemment publiées avec la possibilité de spécifier des informations META supplémentaires. Solution efficace Plans du site, proposé Google, a commencé à jouir d’une popularité folle.
La popularité a également affecté l'opinion des autres moteurs de recherche à l'égard de la nouvelle approche de création de plans de site. Ainsi, en novembre 2006, des géants de la recherche tels que MSN Et Yahoo, et en avril et Demandez.com. Format joyeux Plans du site reçu nouvelle version Plan du site 0.90, étendant les fonctionnalités.
En mai 2007, la prise en charge de la connexion de la norme a été officiellement annoncée. Plans du site dans le fichier robots.txt moteurs de recherche Demander, Google Et Yahoo, c'est à dire retrouver le plan du site Plan du site c'est devenu plus simple : il suffit d'indiquer son emplacement dans ce fichier, et la source de l'information pour Plan du site utilisez des flux RSS ou des fichiers texte ordinaires.
2 juin 2008, 3 ans après l'annonce du protocole Google un message sur la prise en charge de ce protocole est apparu sur le blog Yandex pour les webmasters Yandex ohm
Comment s'assurer que votre site Web dispose toujours d'une nouvelle carte ? A cet effet, un service gratuit de maintenance du plan du site a été créé.
Vous pouvez également acheter un script de recherche universel prêt à l'emploi sur votre site Internet, prenant en compte la morphologie de la langue russe + générateur de plan du site.
.
Le fichier sitemap.xml, tout comme un plan de site classique, est un ensemble de pages formatées en balises XML. En utilisant ce fichier, les moteurs de recherche comprennent quelles pages de votre site doivent être indexées en premier.
Plan du site dans Format XML:
Chaque option a ses avantages et ses inconvénients. Avantage clé plans de site au format XML - éliminant la possibilité de brouiller le poids statique des pages du site.
Dans cet article, je vais vous expliquer comment créer un fichier Sitemap.xml correct.
Si vous savez déjà tout sur la création d’un Sitemap, passez directement au dernier chapitre, qui s’appelle « Astuces ».
1. Directives du fichier Sitemap.xml
Il y a 3 directives obligatoires qu'il faut remplir dans tous les cas, ce sont des balises :
Et aussi 3 balises optionnelles :
Voici un rappel sur le décodage de chaque balise du site officiel http://www.sitemaps.org/ru/protocol.html :
Attribut | Statut | Description |
requis | Encapsule ce fichier et spécifie la norme de protocole actuelle. |
|
requis | La balise parent pour chaque URL. D'autres balises sont subordonnées à cette balise. |
|
requis | L'URL de la page elle-même. Commence toujours par un préfixe (par exemple HTTP) et se termine par une barre oblique (si le serveur de votre site l'exige). Attention : la longueur de l'URL ne doit pas dépasser 2 048 caractères. |
|
facultatif | Date à laquelle le fichier a été modifié pour la dernière fois. Spécifié strictement au format Datetime W3C. Il permet, si nécessaire, d'ignorer la tranche horaire et d'utiliser le format AAAA-MM-JJ. |
|
facultatif | Vous permet de spécifier la fréquence à laquelle les informations sur la page changent. Cette valeur est approximative. Valeurs valides :
Si la page change à chaque fois qu'elle est ouverte, utilisez la valeur « toujours ». S'il s'agit d'une page d'archive, ne mettez jamais. Veuillez noter que cet attribut sert d'indice au robot de recherche et non de règle. Par conséquent, la relation entre cela et la fréquence réelle des visites de pages par un robot de recherche n’est pas linéaire. |
|
facultatif | Permet de préciser la priorité de certaines pages de votre site par rapport à d'autres. La plage de valeurs va de 0,0 à 1,0. Par défaut, chaque page reçoit une priorité de 0,5. La valeur de l'attribut permet de comparer uniquement la priorité des pages de votre site. Autrement dit, cela n'affecte pas la comparaison de votre site avec les sites concurrents dans réseau de recherche. De plus, définir toutes les pages sur la priorité maximale est également inutile. Parce qu'alors les valeurs seront les mêmes pour le robot et l'attribut ne fonctionnera tout simplement pas. Ne cherchez donc pas de failles, mais indiquez des priorités objectives pour les pages. |
Enregistrez ce rappel. Cela vous sera certainement utile au début. Il convient de noter un autre avantage d'un plan de site XML : il est flexible. La flexibilité réside dans la combinaison de différentes directives facultatives.
Maintenant que vous savez clairement ce qu'est un plan de site XML et que vous connaissez les directives de base de ce fichier, vous pouvez passer à sa compilation.
2. Compilation du fichier sitemap.xml
Il existe 3 façons de créer un plan de site :
- Manuellement;
- Automatiquement, en utilisant des services spéciaux ;
- Automatiquement, en utilisant solutions prêtes à l'emploi sous forme de plugins pour CMS, etc.
Le processus de préparation d’un plan du site est le suivant :
- Nous créons un plan du site en utilisant l'une des méthodes répertoriées ci-dessus ;
- Nous vérifions la validité à l'aide des services des moteurs de recherche (https://webmaster.yandex.ru/sitemaptest.xml) ;
- Nous plaçons le fichier sur le site Internet ;
- Nous indiquons le chemin d'accès au plan du site pour les robots de recherche dans le fichier robots.txt (d'ailleurs, il existe un article séparé à ce sujet) ;
- Nous indiquons le plan du site dans les panneaux des webmasters Yandex et Google.
Alors, comment créer un fichier de plan de site ?
Regardons un exemple de compilation manuelle d'un fichier. Si vous souhaitez ajouter 5 pages de votre site au plan du site :
Voici à quoi devrait ressembler le plan du site au format XML :
Le code ci-dessus indique au moteur de recherche que la page est http://site.ru/
dernière modification le 1er janvier 2005. Mis à jour une fois par mois. Et la priorité de cette page est de 0,8 (le maximum possible est de 1).
La fonctionnalité de mise en évidence des balises appariées est particulièrement pratique.
Services de génération de plan de site
Si votre site comporte de nombreuses pages utiles et que vous ne voulez pas perdre de temps à compiler un fichier manuellement, alors les services suivants vous aideront :
Il existe de nombreux services de ce type. J'utilise https://www.xml-sitemaps.com/.
Permettez-moi d'expliquer brièvement tous les paramètres :
Le moteur de recherche Google recommande d'utiliser https://code.google.com/archive/p/sitemap-generators/wikis/SitemapGenerators.wiki
Plugins pour CMS
Il existe un grand nombre de plugins et de solutions prêtes à l'emploi pour les systèmes de gestion de sites Web. Par exemple:
Brancher |
|
Validité
Après avoir créé un plan du site, vous devez le vérifier pour détecter les erreurs. Pour vérifier, utilisez le service https://webmaster.yandex.ru/sitemaptest.xml
Après une vérification réussie, nous téléchargeons notre fichier sur le site.
Emplacement du fichier
Contrairement au fichier robots.txt, le fichier sitemap.xml peut se trouver n'importe où sur votre site. Par exemple, dans le dossier racine du site le fichier sera disponible à l'adresse suivante :
Si vous avez placé le fichier dans le dossier /files/, il sera disponible à cette adresse :
Après avoir téléchargé un fichier avec succès, assurez-vous d'indiquer aux robots de recherche comment trouver ce fichier. Cela se fait très simplement. Dans le fichier robots.txt() de la directive Sitemap, écrivez adresse complète au fichier. Par exemple, un fichier robots.txt pourrait ressembler à ceci :
Important! Contrairement aux robots. fichier txt Il peut y avoir plusieurs plans de site. Dans ce cas, vous devez indiquer l'adresse complète de tous les fichiers Sitemap dans les robots et webmasters.
Search Console et panneau Yandex.Webmaster
Reste la dernière étape. Précisez le chemin d'accès au plan du site dans les panneaux webmaster des moteurs de recherche.
- Mise en place de l'indexation
- Plans du site
- "Vérifier" et "Ajouter"
Il y a des limitations à noter dans le plan du site XML :
- Vous pouvez spécifier un maximum de 50 000 URL dans un seul fichier.
- Le poids du fichier ne dépasse pas 10 mégaoctets (les moteurs de recherche n'indexent pas les documents de plus de 10 mégaoctets). Si nécessaire, le fichier peut être compressé à l'aide de l'archiveur .gzip.
- L'encodage des fichiers est uniquement en UTF-8
À ce stade, les principales étapes sont franchies. Suivez tout ce qui est décrit règles simples et vous n'aurez aucune erreur. La deuxième partie de l'article est consacrée à plus paramètres détaillés, les subtilités et les fonctionnalités de sitemap.xml, vous aurez besoin de ces connaissances pour créer un plan de site professionnel pour les boutiques en ligne.
3. Regroupement des plans de site
Si vous dépassez la limite de 50 000 URL, vous devez utiliser une structure imbriquée et créer un groupe de plusieurs Sitemaps. Autrement dit, créez des plans de site dans un plan de site !
Pour un site Web classique (pas un grand portail ou une boutique en ligne), un tel volume de pages est rare, c'est pourquoi la plupart des spécialistes du référencement utilisent le regroupement Sitemap pour plus de commodité, par exemple pour regrouper des pages ou des sections de produits.
La syntaxe est la suivante :
http://site.ru/sitemap1.xml.gz 2004-10-01T18:23:17+00:00 http://site.ru/sitemap2.xml.gz |
Définition des balises XML :
Attribut | Description |
|
requis | Encapsule les informations sur tous les plans Sitemap dans ce fichier. |
|
requis | Encapsule les informations sur un seul fichier Sitemap. |
|
requis | Spécifie l'emplacement du fichier Sitemap. |
|
pas nécessaire | Indique l'heure de modification du fichier Sitemap correspondant. Le robot utilise ces informations pour comprendre quels fichiers Sitemap ont été modifiés. Indirectement, cette balise permet au robot de découvrir rapidement de nouvelles pages du site. |
Cela crée un plan de site groupé. Toutes les autres procédures sont les mêmes que celles décrites ci-dessus. N'oubliez pas d'indiquer le bon lien vers votre fichier dans le fichier robots.txt, dans la directive Sitemap.
4. Recherche
Fin 2014, j'ai mené une petite étude pour analyser l'efficacité d'avoir un fichier sitemap.xml sur un site web.
Un problème est survenu lors de l'indexation d'un groupe de produits sur le site Web d'une boutique en ligne (environ 10 000 produits). En même temps, rien n’empêchait leur indexation. Un fichier de plan du site a été compilé, composé uniquement de liens vers les produits du site. Le plan du site a été mis à jour automatiquement. En 2 mois, plus de 70 % des URL ont été incluses dans la base de données d'index du moteur de recherche Yandex. Une grande partie des pages incluses dans l'index sont des pages du plan du site. Je tiens à préciser que durant cette période aucune autre mesure n'a été prise pour accélérer l'indexation du site (par exemple, ajout de liens).
Voici les résultats eux-mêmes :
Conclusion : Le plan du site affecte toujours l'indexation de votre site. Il est nécessaire de mettre à jour et mettre à jour régulièrement ce fichier.
5. Puces
Pour éviter que cet article ne devienne ennuyeux pour les spécialistes SEO expérimentés, je vous propose de vous familiariser avec les « astuces » suivantes.
Plan du site en images
Attirer trafic supplémentaireà partir des moteurs de recherche (peut-être pas entièrement convertis), vous pouvez créer un plan de site supplémentaire pour les images.
La syntaxe d'un plan de site avec image ressemble à ceci :
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"> http://example.com/primer.html http://example.com/kartinka.jpg http://exemple.com/photo.jpg |
Rappel sur les balises XML :
Nécessairement? | Description |
|
Contient toutes les informations sur une image. Chaque URL (balise) peut inclure jusqu'à 1 000 balises. |
||
URL de l'image. Dans certains cas, le domaine de l'URL de l'image peut être différent du domaine utilisé par le site principal. Si les deux domaines sont vérifiés dans la Search Console, il n'y aura aucun problème. Mais si les images sont publiées à l'aide d'un système de gestion de contenu, par ex. Service Google Sites, vous devez vérifier votre site d'hébergement dans la Search Console. De plus, le fichier robots.txt ne doit pas empêcher l'exploration du contenu qui doit être indexé. |
||
Légende. |
||
Le lieu du tournage. Par exemple, Poronaysk, environ. Sakhaline. |
||
Titre de l'image. |
||
URL de la licence d’image. |
Astuce de vie pour ceux qui ont fini de lire
De nombreux spécialistes SEO génèrent des fichiers Sitemap une fois au début d’un projet. Ensuite, ils oublient le plan du site. Les pages ont été indexées – bien. Non, mais que pouvez-vous faire ?! Ils oublient généralement d’ajouter de nouvelles pages au plan du site.
Dans mes recherches, j'ai découvert que le plus d'une manière pratique La solution à ce problème est un fichier sitemap.xml distinct, qui contiendra uniquement les pages du site qui n'ont pas encore été incluses dans l'index.
Et c'est ce qui a permis d'inclure plus de 70 % des nouvelles URL dans l'index Yandex.
Le sitemap.xml est devenu un détail très important, nécessaire à la promotion réussie d’un site Web dans les moteurs de recherche. Tout comme « sitemep.xml » est utilisé pour corriger et indexation rapide ressource Web par les moteurs de recherche, mais ces deux documents présentent également quelques différences.
Il existe plusieurs façons de créer un plan du site pour votre site Web : en utilisant des plugins et des générateurs en ligne, ainsi qu'en le créant manuellement. Vous apprendrez comment procéder, quel générateur de plan de site utiliser et comment ajouter une carte aux moteurs de recherche Yandex et Google à partir de cet article.
Tout d'abord, voyons ce qu'est un sitemap.xml, à quoi il sert et quels types de cartes il existe.
Carte Plan du site – il s'agit de l'une des pages du site, contenant des liens vers toutes les autres pages ou vers les sections les plus importantes de cette ressource Web. En fait, c'est le « contenu » d'un site Internet qui sert de navigateur (pour les visiteurs) et contribue à une indexation plus rapide et meilleure (dans le cas des moteurs de recherche).
Un plan de site est généralement créé séparément pour les moteurs de recherche et séparément pour les utilisateurs. Dans le premier cas, la carte a l'extension « .xml » (fichier Sitemap.xml), et dans le second – « .html » (page Sitemap.html). Divers formats les cartes vous permettent de présenter les informations sous une forme pratique à la fois pour les moteurs de recherche et les visiteurs.
1.1 Plan du site Sitemap.html (pour les personnes)
Créé spécifiquement pour les visiteurs et représente page séparée site. Utilisé à plusieurs fins, la principale étant navigation améliorée.
Plan du site pour les visiteurs (Sitemap.html) – le plan de votre site, qui est une page distincte d'une ressource Web, accessible aux visiteurs et aux moteurs de recherche. L'objectif principal d'un tel document est d'améliorer la navigation sur le site.
Plan du site" et extension ".html", il peut être nommé comme vous le souhaitez. L'essentiel est qu'une telle carte soit une page de site Web.
Lors de la création d'un plan du site pour les visiteurs (sitemap.html), vous devez faire attention à un certain nombre de points importants.
Ainsi, l'objectif principal d'un plan de site destiné aux personnes (sitemap.html) est d'améliorer la navigation et la structure du site, en aidant les visiteurs à trouver le matériel dont ils ont besoin.
1.2 Plan du site Sitemap.xml (pour les moteurs de recherche)
Les moteurs de recherche acceptent également un plan du site pour les visiteurs (Sitemap.html), mais il est préférable de créer un document séparé pour eux - le fichier Sitemap.xml.
1.2.1 Qu'est-ce que Sitemap.xml
Plan du site Plan du site.xml est une carte de votre site, créée spécifiquement pour les moteurs de recherche dans un format spécial, inaccessible aux visiteurs. Il s'agit d'un document distinct qui ne doit pas être considéré comme une page du site (un tel plan du site n'est pas inclus dans l'index). L'objectif principal du document est d'améliorer l'indexation des pages de ressources Web.
Un plan de site n'a pas forcément un nom"Plan du site", tout nom est disponible à la demande du propriétaire du site. Mais l’expansion devrait être exactement « . XML". Une telle carte est généralement placée dans le répertoire racine du site (le plus souvent ce dossier est nommé « public_html » chez votre hébergeur).
1.2.2 Limites et fonctionnalités
Les moteurs de recherche privilégient les sites dotés d’un sitemap.xml. Le fait est que s'il est présent, les robots des moteurs de recherche indexent les pages du site plus rapidement et mieux (la probabilité qu'une page soit accidentellement ignorée est réduite). Évidemment, un plan du site contribue à accélérer le processus. Cependant, les moteurs de recherche superposent le plan du site avecPlan du site.xml certaines restrictions:
- le fichier Sitemap ne doit pas contenir plus de 50 000 liens et ne pas dépasser 10 Mo (l'archivage peut être utilisé pour réduire la taille du fichier).
Que faire si votre site est si grand que le plan du site dépasse les valeurs ci-dessus. Dans ce cas, vous pouvez procéder comme suit :
- placer des liens dans le plan du site non pas vers toutes les pages du site, mais uniquement vers des catégories, sous-catégories et balises ( mots clés), ce qui réduira considérablement le nombre de liens ;
- créez plusieurs plans de site (par exemple, un plan principal contenant des liens vers toutes les autres cartes, et plusieurs autres plans mineurs).
Et même si ces exigences sont remplies, rien ne garantit que les moteurs de recherche respecteront le plan du site. xml lors de l'indexation. Le fait est qu’un plan de site n’est qu’une recommandation aux moteurs de recherche sur la manière d’indexer un site, mais n’est en aucun cas une règle !
Le plan du site compressé aura une extension autre que « .xml », selon le type d'archiveur.
- Si l'archiveur est « zip », alors le format de fichier est « nom_carte.xml.zip ».
- Si l'archiveur est « gzip », alors le format de fichier est « map_name.xml.gz ».
- Si l'archiveur est « 7-zip », alors le format de fichier est « nom_carte.xml.7z ».
- Si l'archiveur est « rar », alors le format de fichier est « map_name.xml.rar ».
1.2.3 Format de fichier Sitemap.xml
Pour mieux comprendre le fonctionnement d’un plan de site de ce genre vous devez vous familiariser avec son format. Parce que Sitemap.xml peut être considéré comme un fichier HTML distinct destiné aux moteurs de recherche, et ses fonctions viseront à améliorer l'indexation. La structure a une certaine apparence.
1. En-tête du fichier (
).
2. Groupe de blocs répétitifs (
Adresse de la page 2.1 (
2.2 date et heure de la dernière mise à jour de la page (
2.3 taux de rafraîchissement « approximatif » des pages (
Priorité de 2,4 pages (
Compte tenu de cela, vous pouvez créer option la plus simple plans de site manuellement, en utilisant à ces fins Document texte avec l’extension « .txt » (fichier bloc-notes). Les balises et leur contenu sont écrits manuellement dans ce fichier, puis son extension passe de « .txt » à « .xml ».
Maintenant plus en détail sur chaque paramètre.
L’en-tête est standard, il vous suffit de le copier-coller tout en haut du fichier.
|
|
| < url> < loc>http://site/ < lastmod>2013 - 02 - 26T18 : 07 : 54 + 00 : 00 < changefreq>tous les jours < priority> 1.0 |
Chaque bloc commence par l'étiquette
L'URL de la page est écrit à l'intérieur
Date et heure de la dernière mise à jour sont conclus entre
Taux de rafraîchissement approximatif réside dans les balises
Priorité des pages situé entre
2. Plugins pour créer un plan de site
Un plan du site pour les visiteurs est créé par un plugin et pour les moteurs de recherche par un autre.
En utilisant cette méthode En créant un plan du site, il n'est pas nécessaire de reconstruire le plan du site lors de l'ajout de nouvelles pages, les plugins s'en occuperont eux-mêmes. De plus, les plugins ont des paramètres plus flexibles lors de la création d'une carte que les générateurs en ligne. Cependant, tout le monde nouveau plugin charge le serveur, ce qui affecte la vitesse de chargement des pages. Malgré cela, la charge n’est pas si lourde que vous devriez éviter d’utiliser des plugins pour créer des plans Sitemap.
Par conséquent, la méthode de génération d'un plan de site à l'aide de plugins est considérée comme la plus simple et la plus pratique.
2.1 Carte pour les visiteurs (pluginDDSG)
Le plugin qui génère le plan du site Sitemap.html s'appelle Dagon Design Sitemap Generator (DDSG). Vous pouvez le télécharger sur . Il est à noter qu’il s’agit du plugin le plus populaire pour créer carte de navigation site.
Les paramètres du plugin vous permettent de choisir le design et l'affichage des liens inclus dans la carte.
Pour que le plan du site commence à fonctionner, vous devez créer une page distincte dans laquelle vous devez ajouter un petit morceau de code HTML ( utilisez un éditeur HTML, pas visuel !).
Cette balise affichera un plan du site pour les visiteurs généré par le plugin Dagon Design Sitemap Generator.
2.2 Carte pour les moteurs de recherche (Google XML Sitemaps)
Le plugin « » génère un plan du site pour les moteurs de recherche, c'est-à-dire au format Sitemap.xml (et formats compressés).
Le plugin vous permet de choisir le type de pages à inclure dans le plan du site (pages principales, statiques, articles et publications, balises, archives, catégories, etc.), ainsi que d'en configurer un certain nombre d'autres. paramètres importants(par exemple, taux de rafraîchissement et priorité de la page).
Une fois le plugin configuré, vous pouvez l'activer. Le plan du site sera construit automatiquement. Le fichier Sitemap.xml sera également créé automatiquement ; vous n’avez rien à installer.
3. Générateurs de plans de site en ligne
Les générateurs en ligne (générateur Sitemap) permettent de créer un sitemap sous la forme fichier séparé. Dans ce cas, il n'est pas nécessaire d'ajouter des plugins au site, ce qui vous permet de protéger le site du chargement de scripts inutiles. Mais n'oubliez pas que dans ce cas, lors de l'ajout de nouvelles pages (ou lors de la suppression d'anciennes), vous devrez à nouveau générer un plan du site à l'aide du générateur et l'ajouter à nouveau à votre site. Par conséquent, l’utilisation de ressources telles que le « plan du site du générateur » n’est pas considérée comme la meilleure solution.
3.1 Générateur de plans de site XML
Un générateur de plan de site très simple et pratique, qui présente plusieurs inconvénients sérieux :
- le nombre de liens dans la carte ne peut pas dépasser 500 ;
- il n'existe aucun moyen de configurer la priorité pour des groupes individuels de pages (articles, pages, catégories, balises, etc.) ;
- il n'est pas possible de spécifier la fréquence de rafraîchissement pour des groupes de pages individuels ;
- le générateur regarde les liens « indésirables » qui ne devraient pas figurer dans le plan du site (liens vers des commentaires, liens-réponses, liens « imprimer », etc.).
Vous pouvez accéder au site Web du générateur. Vous verrez un formulaire que vous devez remplir.
Dans la première fenêtre, vous devez entrer adresse page d'accueil site.
La deuxième option est la sélection taux de rafraîchissement "approximatif" site.
Troisième fenêtre - paramètres dates de mise à jour pages du site (Aucun – ne pas utiliser ; Utiliser la réponse du serveur – déterminée automatiquement ; Utiliser cette date/heure – utiliser date actuelle et le temps).
Quatrième fenêtre - paramètres priorité des pages pour les moteurs de recherche (Aucun – ne pas utiliser ; Priorité calculée automatiquement – calculer automatiquement).
Bouton Start - démarrer le générateur.
Après un certain temps, la carte sera générée. Une page apparaîtra où vous pourrez télécharger le Sitemap.xml à l'aide du lien et l'ajouter au répertoire racine du site (il s'agit généralement du dossier « public_html »). 
Le chemin d'accès à la carte peut être écrit dans le fichier robots.txt à l'aide de l'instruction suivante :
| Plan du site : http://site/sitemap.xml |
Plan du site : http://site/sitemap.xml
http://Blog-artisanat.ru/plan du site.XML– chemin d'accès au plan du site (si un nom de carte non standard est sélectionné, vous devez alors saisir le nom sélectionné, pas « plan du site »).
3.2 Générateur de plan de site
Vous pouvez accéder au site de ce plan du générateur en utilisant . Ce générateur vous permet de créer jusqu'à 2500 liens dans votre plan de site gratuitement, mais une inscription est obligatoire. Vous pouvez générer une carte sans inscription, mais vous n'aurez alors pas accès aux paramètres de création de carte.
Une fois inscrit, vous devez ajouter le site pour lequel le plan du site est en cours de création, puis cliquer sur le lien « démarrer le traitement ». Après cela, une fenêtre avec les paramètres de génération d'un plan du site apparaîtra devant vous.
Tout ici est similaire au générateur en ligne précédent, vous n'aurez donc aucun problème de configuration.
Après avoir cliqué sur le bouton « démarrer », le site sera ajouté à la file d’attente des travaux du générateur en ligne et, après un certain temps, le plan du site sera créé.
Ce générateur de plan de site crée à la fois une carte pour les moteurs de recherche et une carte pour les personnes.
3.3 MonSiteMapGenerator
Vous pouvez accéder au site Web du générateur. Contrairement aux deux services précédents, ce générateur dispose de plus d'options (notamment grâce au filtre, il devient possible d'ajouter une priorité et une fréquence de mise à jour pour chaque catégorie de pages ; prises en compte lors de la génération de la carte). Cependant, la limitation pour création gratuite cartes – 500 liens.
En remplissant quelques champs, vous pouvez générer une carte pour votre site (à la fois Sitemap.xml et Sitemap.html).
Une fois le site entièrement exploré, vous recevrez un lien vers le plan du site généré. Il ne reste plus qu'à l'ajouter au répertoire racine du site (comme c'était le cas avec le premier générateur).
4. Comment ajouter un plan de site aux moteurs de recherche
En plus du fait que l'adresse du plan du site peut être spécifiée dans le fichier Robots.txt, il serait également intéressant d'ajouter Sitemap.xml directement aux principaux moteurs de recherche - Yandex et Google.
Vous pouvez le faire en accédant au panneau de configuration du site.
4.1 Ajout de Sitemap.xml à Yandex.Webmaster
Vous pouvez accéder au panneau de contrôle du site en utilisant . Si vous n'êtes pas inscrit, vous devrez d'abord suivre cette procédure, puis ajouter un site (pour lequel le plan du site a été créé) et en confirmer la propriété. Après cela, vous pouvez accéder aux paramètres du site.
Tout d’abord, sélectionnez la section « Paramètres d’index », puis la sous-section « Fichiers de plan du site ». Vous verrez une fenêtre avec un formulaire pour ajouter vos plans de site. 
Dans cette fenêtre, vous devez ajouter votre sitemap.xml (s'il n'y en a qu'un) ou plusieurs sitemaps. Après un certain temps, Yandex vérifiera le plan du site, puis affichera le résultat de la vérification dans la fenêtre « Statut ». Si tout va bien avec le fichier, il y apparaîtra coche verte avec l'inscription "Ok".
4.2 Ajout de Sitemap.xml à Google
De la même manière, vous pouvez ajouter un fichier Sitemap à Google. Pour ce faire, vous devez vous rendre sur et, si vous n'êtes pas inscrit, suivre les mêmes procédures que dans le cas de Yandex.Webmaster.
Pour ajouter un fichier de carte, accédez à la section « Optimisation », puis sélectionnez la sous-section « Fichiers de plan du site ». De même, vous devez ajouter tous vos plans de site à votre tableau de bord de site Google.
Après un certain temps, vous saurez quel est le résultat. Si tout se passe bien, il y aura un tiret dans la colonne « Problèmes ».
Un plan du site permet d'accélérer l'indexation du site par les moteurs de recherche, ce qui a un effet positif sur le trafic vers la ressource Web. Si vous souhaitez que votre site Web se développe et génère des bénéfices, assurez-vous de créer une carte de votre site Web.