Qu’est-ce que l’indexation ? Il s'agit du processus par lequel un robot reçoit le contenu des pages de votre site et inclut ce contenu dans les résultats de recherche. Si l’on regarde les chiffres, la base de données du robot d’indexation contient des milliards d’adresses de pages de sites Web. Chaque jour, le robot demande des milliards de ces adresses.
Mais tout ce vaste processus d'indexation d'Internet peut être divisé en petites étapes :
Tout d’abord, le robot indexeur doit savoir qu’une page de votre site est apparue. Par exemple, en indexant d'autres pages sur Internet, en recherchant des liens ou en téléchargeant l'ensemble nemp. Nous avons pris connaissance de la page, après quoi nous prévoyons d'explorer cette page, d'envoyer des données à votre serveur pour demander cette page du site, de recevoir le contenu et de l'inclure dans les résultats de recherche.
L’ensemble de ce processus est le processus d’échange du robot d’indexation avec votre site Web. Si les requêtes envoyées par le robot d'indexation ne changent pratiquement pas et que seule l'adresse de la page change, alors la réponse de votre serveur à la requête de page du robot dépend de nombreux facteurs :
- depuis les paramètres de votre CMS ;
- à partir des paramètres de l'hébergeur ;
- du travail du prestataire intermédiaire.
Cette réponse est en train de changer. Tout d'abord, lors de la demande d'une page, le robot de votre site reçoit la réponse de service suivante :
Ce sont des en-têtes HTTP. Ils contiennent divers des informations de service, ce qui permet au robot de comprendre quel contenu sera transmis maintenant.
Je voudrais me concentrer sur le premier en-tête - il s'agit du code de réponse HTTP qui indique au robot d'indexation l'état de la page demandée par le robot.
Il existe plusieurs dizaines de ces statuts de code HTTP :
Je vais vous parler des plus populaires. Le code de réponse le plus courant est HTTP-200. La page est disponible, elle peut être indexée, incluse dans les résultats de recherche, tout va bien.
L'opposé de ce statut est HTTP-404. La page n'est pas sur le site, il n'y a rien à indexer et il n'y a rien à inclure dans la recherche. Lors de la modification de la structure des sites et des adresses des pages internes, nous vous recommandons de mettre en place un serveur 301 pour la redirection. Il fera simplement remarquer au robot que ancienne page déplacé vers une nouvelle adresse et il est nécessaire d'inclure la nouvelle adresse dans les résultats de la recherche.
Si le contenu de la page n'a pas changé depuis la dernière fois qu'un robot a visité la page, il est préférable de renvoyer un code HTTP-304. Le robot comprendra qu’il n’est pas nécessaire de mettre à jour les pages dans les résultats de recherche et que le contenu ne sera pas non plus transféré.
Si votre site n'est disponible que pendant une courte période, par exemple lors d'un travail sur le serveur, il est préférable de configurer HTTP-503. Il indiquera au robot que le site et le serveur sont actuellement indisponibles, il faudra y revenir un peu plus tard. En cas d'indisponibilité de courte durée, cela évitera que des pages soient exclues des résultats de recherche.
En plus de ces codes HTTP et statuts de page, vous devez également obtenir directement le contenu de la page elle-même. Si pour un visiteur régulier la page ressemble à ceci :
ce sont des images, du texte, de la navigation, tout est très beau, alors pour le robot indexeur n'importe quelle page n'est qu'un ensemble de code source, du code HTML :
Diverses balises méta, contenu textuel, liens, scripts, de nombreuses informations de toutes sortes. Le robot le collecte et l'inclut dans les résultats de recherche. Il semble que tout soit simple : ils ont demandé une page, reçu le statut, reçu le contenu et l'ont inclus dans la recherche.
Mais ce n’est pas pour rien que le service de recherche Yandex reçoit plus de 500 lettres de webmasters et de propriétaires de sites indiquant que certains problèmes sont survenus avec la réponse du serveur.
Tous ces problèmes peuvent être divisés en deux parties :
Il s'agit de problèmes avec le code de réponse HTTP et de problèmes avec le code HTML, avec le contenu direct des pages. Ces problèmes peuvent avoir de très nombreuses raisons. Le plus courant est que le robot d’indexation soit bloqué par l’hébergeur.
Par exemple, vous avez lancé un site Web, ajouté nouvelle rubrique. Le robot commence à visiter votre site plus souvent, augmentant ainsi la charge sur le serveur. L'hébergeur le voit sur sa surveillance, bloque le robot d'indexation et le robot ne peut donc pas accéder à votre site. Vous accédez à votre ressource - tout va bien, tout fonctionne, les pages sont belles, tout s'ouvre, tout va bien, mais le robot ne peut pas indexer le site. Si le site est temporairement indisponible, par exemple si vous avez oublié de payer Nom de domaine, le site est indisponible depuis plusieurs jours. Le robot arrive sur le site, il est inaccessible, dans de telles conditions il peut disparaître littéralement des résultats de recherche au bout d'un certain temps.
Des paramètres CMS incorrects, par exemple lors de la mise à jour ou du passage à un autre CMS, lors de la mise à jour du design, peuvent également entraîner la disparition de pages de votre site des résultats de recherche si les paramètres sont incorrects. Par exemple, la présence d'une balise méta d'interdiction dans code source pages du site, paramétrage incorrect de l'attribut canonique. Assurez-vous qu'après toutes les modifications que vous apportez au site, les pages sont accessibles au robot.
L'outil Yandex vous y aidera. Au webmaster pour vérifier la réponse du serveur :
Vous pouvez voir quels en-têtes HTTP votre serveur renvoie au robot et le contenu des pages elles-mêmes.
La section « indexation » contient des statistiques où vous pouvez voir quelles pages sont exclues, la dynamique d'évolution de ces indicateurs, et effectuer divers tris et filtrages.
D’ailleurs, j’ai déjà parlé de cette section aujourd’hui, la section « diagnostics du site ». Si votre site devient indisponible pour un robot, vous recevrez une notification et des recommandations correspondantes. Comment cela peut-il être résolu ? Si aucun problème de ce type ne survient, que le site est accessible, répond aux codes 200 et contient un contenu correct, alors le robot commence mode automatique visiter toutes les pages qu'il reconnaît. Cela n’entraîne pas toujours les conséquences souhaitées, c’est pourquoi les activités du robot peuvent être limitées d’une certaine manière. Il existe un fichier robots.txt pour cela. Nous en parlerons dans la section suivante.
Robots.txt
Le fichier robots.txt lui-même est petit Document texte, il se trouve dans le dossier racine du site et contient des règles strictes pour le robot d'indexation qui doivent être respectées lors de l'exploration du site. Les avantages du fichier robots.txt sont que vous n’avez besoin d’aucune connaissance particulière ou spécialisée pour l’utiliser.
Tout ce que vous avez à faire est d'ouvrir le Bloc-notes, de saisir certaines règles de format, puis de simplement enregistrer le fichier sur le serveur. En une journée, le robot commence à utiliser ces règles.
Si nous prenons un exemple de simple fichier robots.txt, le voici, juste sur la diapositive suivante :
La directive « User-Agent : » montre à quels robots la règle est destinée, en autorisant/refusant les directives et les directives auxiliaires Sitemap et Host. Un peu de théorie, j'aimerais passer à la pratique.
Il y a quelques mois, je voulais acheter un podomètre, alors je me suis tourné vers Yandex. Marché d'aide au choix. Passé de page d'accueil Yandex à Yandex. Market et suis arrivé à la page principale du service.
Ci-dessous vous pouvez voir l'adresse de la page à laquelle je suis allé. L'adresse du service lui-même a également ajouté mon identifiant en tant qu'utilisateur sur le site.
Puis je suis allé dans la rubrique « catalogue »
J'ai sélectionné la sous-section souhaitée et configuré les paramètres de tri, le prix, le filtre, la manière de trier et le fabricant.
J'ai reçu une liste de produits et l'adresse de la page a déjà augmenté.
Je suis allé sur le produit souhaité, j'ai cliqué sur le bouton « Ajouter au panier » et j'ai continué le paiement.
Au cours de mon court voyage, les adresses des pages ont changé d'une certaine manière.
Des paramètres de service y ont été ajoutés, qui m'identifiaient en tant qu'utilisateur, établissaient un tri et indiquaient au propriétaire du site d'où je venais sur telle ou telle page du site.
Je pense que de telles pages, pages de service, ne seront pas très intéressantes pour les utilisateurs des moteurs de recherche. Mais s'ils sont disponibles pour le robot d'indexation, ils peuvent être inclus dans la recherche, puisque le robot se comporte essentiellement comme un utilisateur.
Il accède à une page, voit un lien sur lequel il peut cliquer, y accède, charge les données dans la base de données de son robot et continue cette exploration de l'ensemble du site. Cette catégorie de telles adresses comprend également les données personnelles des utilisateurs, telles que les informations de livraison ou les coordonnées des utilisateurs.
Naturellement, il vaut mieux les interdire. C'est exactement pour cela que le fichier robots.txt vous aidera. Vous pouvez aller sur votre site ce soir à la fin du Webmaster, cliquer, et voir quelles pages sont réellement disponibles.
Afin de vérifier le fichier robots.txt, il existe un outil spécial dans Webmaster :
Vous pouvez télécharger, saisir les adresses des pages, voir si elles sont accessibles au robot ou non.
Apportez quelques modifications, voyez comment le robot réagit à ces changements.
Erreurs lorsque vous travaillez avec robots.txt
En plus d'un tel effet positif - la fermeture des pages de service, robots.txt peut jouer une blague cruelle s'il est mal géré.
Premièrement, le problème le plus courant lors de l'utilisation de robots.txt est la fermeture des pages du site vraiment nécessaires, celles qui doivent être dans la recherche et affichées pour les requêtes. Avant d'apporter des modifications au fichier robots.txt, assurez-vous de vérifier si la page que vous souhaitez fermer apparaît pour les requêtes de recherche. Peut-être qu'une page avec certains paramètres se trouve dans les résultats de recherche et que les visiteurs y accèdent via la recherche. Par conséquent, assurez-vous de vérifier avant d’utiliser et d’apporter des modifications au fichier robots.txt.
Deuxièmement, si votre site utilise des adresses cyrilliques, vous ne pourrez pas les indiquer directement dans robots.txt ; elles doivent être encodées. Étant donné que robots.txt est une norme internationale que suivent tous les robots d'indexation, ils devront certainement être codés. Il n'est pas possible de spécifier explicitement l'alphabet cyrillique.
Le troisième problème le plus courant concerne les règles différentes pour les différents robots des différents moteurs de recherche. Pour un robot d'indexation, toutes les pages d'indexation étaient fermées, pour le second, rien n'était fermé du tout. En conséquence, tout va bien dans un moteur de recherche, la page souhaitée est dans la recherche, mais dans un autre moteur de recherche, il peut y avoir des déchets, diverses pages inutiles et autre chose. Assurez-vous que si vous définissez une interdiction, cela doit être fait pour tous les robots d'indexation.
Le quatrième problème le plus courant est l’utilisation de la directive Crawl-delay lorsqu’elle n’est pas nécessaire. Cette directive permet d'influencer la pureté des requêtes du robot d'indexation. Ceci est un exemple pratique, un petit site web, placé sur un petit hébergement, tout va bien. Nous avons ajouté un grand catalogue, le robot est venu, a vu un tas de nouvelles pages, a commencé à accéder au site plus souvent, a augmenté la charge, l'a téléchargé et le site est devenu inaccessible. On définit la directive Crawl-delay, le robot le voit, réduit la charge, tout va bien, le site fonctionne, tout est parfaitement indexé, c'est dans les résultats de recherche. Après un certain temps, le site s'agrandit encore et est transféré vers un nouvel hébergement prêt à répondre à ces demandes, avec gros montant demandes, et ils oublient de supprimer la directive Crawl-delay. De ce fait, le robot comprend que de nombreuses pages sont apparues sur votre site, mais ne peut pas les indexer simplement à cause de la directive établie. Si vous avez déjà utilisé la directive Crawl-delay, vérifiez qu'elle n'est pas là maintenant et que votre service est prêt à gérer la charge du robot d'indexation.
En plus de la fonctionnalité décrite, le fichier robots.txt vous permet de résoudre deux tâches très importantes : éliminer les doublons sur le site et indiquer l'adresse du miroir principal. C’est exactement ce dont nous parlerons dans la section suivante.
Double
Par doublons, nous entendons plusieurs pages d’un même site Internet qui contiennent un contenu absolument identique. L'exemple le plus courant est celui des pages avec et sans barre oblique à la fin de l'adresse. En outre, un doublon peut être compris comme le même produit dans différentes catégories.
Par exemple, les patins à roulettes peuvent être destinés aux filles, pour les garçons, le même modèle peut être en deux sections à la fois. Et troisièmement, ce sont des pages avec un paramètre insignifiant. Comme dans l'exemple avec Yandex. Le marché définit cette page comme un « identifiant de session » ; ce paramètre ne modifie en principe pas le contenu de la page.
Pour détecter les doublons et voir à quelles pages le robot accède, vous pouvez utiliser Yandex. Webmestre.
En plus des statistiques, il existe également des adresses de pages téléchargées par le robot. Vous voyez le code et le dernier appel.
Problèmes causés par les duplications
Qu'y a-t-il de si mauvais dans les doubles ?
Premièrement, le robot commence à accéder à des pages absolument identiques du site, ce qui crée une charge supplémentaire non seulement sur votre serveur, mais affecte également l'exploration du site dans son ensemble. Le robot commence à prêter attention aux pages en double, et non aux pages qui doivent être indexées et incluses dans les résultats de recherche.
Le deuxième problème est que les pages en double, si elles sont accessibles au robot, peuvent se retrouver dans les résultats de recherche et entrer en concurrence avec les pages principales pour les requêtes, ce qui, naturellement, peut affecter négativement le site trouvé pour certaines requêtes.
Comment gérer les doublons ?
Tout d’abord, je recommande d’utiliser la balise « canonique » afin de diriger le robot vers la page principale canonique, qui doit être indexée et trouvée dans les requêtes de recherche.
Dans le second cas, vous pouvez utiliser une redirection de serveur 301, par exemple, pour les situations avec une barre oblique à la fin de l'adresse et sans barre oblique. Nous mettons en place une redirection - il n'y a pas de doublons.
Et troisièmement, comme je l'ai déjà dit, il s'agit du fichier robots.txt. Vous pouvez utiliser à la fois les directives de refus et la directive Clean-param pour vous débarrasser des paramètres insignifiants.
Miroirs de sites
La deuxième tâche que robots.txt vous permet de résoudre est de pointer le robot vers l'adresse du miroir principal.
Les miroirs sont un groupe de sites absolument identiques, comme les doublons, seuls les deux sites sont différents. Les webmasters rencontrent généralement des miroirs dans deux cas : lorsqu'ils souhaitent passer à un nouveau domaine ou lorsqu'un utilisateur doit mettre à disposition plusieurs adresses de sites Web.
Par exemple, vous savez que lorsque les utilisateurs saisissent votre adresse, l'adresse de votre site Web est dans barre d'adresse, font souvent la même erreur : ils orthographent mal, mettent le mauvais symbole ou autre chose. Vous pouvez acheter un domaine supplémentaire afin de montrer aux utilisateurs non pas un talon du fournisseur d'hébergement, mais le site auquel ils voulaient vraiment accéder.
Concentrons-nous sur le premier point, car c'est avec cela que les problèmes surviennent le plus souvent lorsque l'on travaille avec des miroirs.
Je vous conseille d'effectuer l'ensemble du processus de déménagement selon suivant les instructions. Une petite consigne qui vous permettra d'éviter divers problèmes lors d'un changement de nom de domaine :
Tout d'abord, vous devez rendre les sites accessibles au robot d'indexation et y placer un contenu absolument identique. Assurez-vous également que le robot connaît l'existence des sites. Le moyen le plus simple est de les ajouter à Yandex. Webmaster et confirmer les droits sur eux.
Deuxièmement, à l'aide de la directive Host, pointez le robot vers l'adresse du miroir principal - celui qui doit être indexé et figurer dans les résultats de recherche.
Nous attendons le collage et le transfert de tous les indicateurs de l'ancien site vers le nouveau.
Après quoi, vous pouvez configurer la redirection de l’ancienne adresse vers la nouvelle. Une instruction simple, si vous déménagez, veillez à l'utiliser. J'espère qu'il n'y aura pas de problèmes avec
en mouvement.
Mais naturellement, des erreurs surviennent lorsque l’on travaille avec des miroirs.
Tout d'abord, le problème le plus important est le manque d'instructions explicites pour le robot d'indexation sur l'adresse du miroir principal, l'adresse qui devrait figurer dans la recherche. Vérifiez sur vos sites qu'ils ont une directive hôte dans leur robots.txt, et qu'elle pointe exactement vers l'adresse que vous souhaitez voir dans la recherche.
Le deuxième problème le plus courant consiste à utiliser la redirection pour modifier le miroir principal dans un groupe de miroirs existant. Ce qui se passe? L'ancienne adresse, puisqu'elle redirige, n'est pas indexée par le robot et est exclue des résultats de recherche. Dans ce cas, le nouveau site n’apparaît pas dans la recherche, puisqu’il ne s’agit pas du miroir principal. Vous perdez du trafic, vous perdez des visiteurs, je pense que personne n’en a besoin.
Et le troisième problème est l'inaccessibilité de l'un des rétroviseurs lors du déplacement. L’exemple le plus courant dans cette situation est celui où ils ont copié le contenu du site vers une nouvelle adresse, mais que l’ancienne adresse a simplement été désactivée, ils n’ont pas payé pour le nom de domaine et celui-ci est devenu indisponible. Bien entendu, ces sites ne seront pas fusionnés ; ils doivent être accessibles au robot d'indexation.
Liens utiles dans le travail :
- Plus informations utiles vous trouverez dans le service Yandex.Help.
- Tous les outils dont j'ai parlé et bien plus encore - il existe une version bêta de Yandex.Webmaster.
Réponses aux questions
"Merci pour le rapport. Est-il nécessaire de désactiver l'indexation des fichiers CSS du robot dans robots.txt ou non ?
Nous ne recommandons pas de les fermer pour le moment. Oui, il est préférable de laisser CSS et JavaScript, car nous travaillons maintenant pour garantir que le robot d'indexation commence à reconnaître à la fois les scripts et les styles de votre site, et à voir comment le visiteur se comporte à partir d'un navigateur classique.
« Dites-moi, si les URL des sites sont les mêmes pour l'ancien et le nouveau, est-ce normal ? »
C'est bon. Fondamentalement, vous mettez simplement à jour le design, ajoutez du contenu.
« Le site a une catégorie et il est composé de plusieurs pages : slash, page1, page2, jusqu'à 10 par exemple. Toutes les pages ont le même texte de catégorie, et il s'avère qu'il s'agit d'un double. Ce texte sera-t-il un doublon ou doit-il être fermé d'une manière ou d'une autre, avec un nouvel index sur la deuxième page et les suivantes ?
Tout d’abord, la pagination de la première page et le contenu de la deuxième page étant généralement différents, il ne s’agira pas de doublons. Mais vous devez vous attendre à ce que les deuxième, troisième et suivantes pages de pagination puissent entrer dans la recherche et apparaître pour une requête pertinente. Mieux dans les pages de pagination, je recommanderais d'utiliser l'attribut canonique, dans le meilleur des cas - sur la page sur laquelle tous les produits sont collectés afin que le robot n'inclue pas les pages de pagination dans la recherche. Les gens utilisent très souvent canonique sur la première page de la pagination. Le robot arrive à la deuxième page, voit le produit, voit le texte, n'inclut pas la page dans la recherche et comprend grâce à l'attribut que c'est la première page de pagination qui doit être incluse dans les résultats de recherche. Utilisez canonique et fermez le texte lui-même, je pense que ce n'est pas nécessaire.
Source (vidéo) : Comment configurer l'indexation du site- Alexandre Smirnov
Magomed Tcherbizhev
À partir de ce matériel, vous apprendrez :
- Qu'est-ce que l'indexation
- Comment ajouter un site à la base de données
- Comment accélérer l'indexation
Qu’est-ce que l’indexation ?
Nous vous en avons déjà parlé. En bref, ce sont des réponses aux requêtes des utilisateurs qu’ils saisissent dans un moteur de recherche. Si vous cliquez sur « acheter un éléphant », vous obtiendrez des sites proposant des éléphants en gros et au détail. Yandex ou Google n'afficheront pas de fenêtres en plastique ni n'appelleront des filles pour de telles demandes. Et maintenant, attention, la question : est-ce que chaque site apparaît dans les résultats de recherche ? Non, pas tout le monde. Au minimum, les moteurs de recherche doivent connaître l'existence de ce site et le contenu qui y est publié. Après tout, comment montrer quelque chose que personne ne connaît ? Il existe des bases de données de sites Web à cet effet. En bref, ajouter un site avec son contenu à cette base de données s'appelle l'indexation. Comment fonctionne l'indexation ? Le robot Yandex ou Google fonctionne selon ses propres algorithmes : il recherche des informations sur votre site (ces informations incluent des articles clés, des textes, des photos, etc. - en un mot, tout le contenu). C'est comme une radiographie, il parcourt chaque page du site, l'analyse, le scanne et ajoute votre site à la base de données. Il apparaîtra désormais dans Résultats de recherche et apparaissent en réponse aux demandes des utilisateurs. Et dans quels postes - dirigeants ou étrangers - cela dépend du contenu dont il est rempli. Bien entendu, l’indexation du site est simplement nécessaire. Lorsque votre site commence à être vu par les moteurs de recherche, les visiteurs y viennent et il se développeComment ajouter un site à la base de données ?
Disons que vous avez créé le site Web Mostbestsite.rf. Bien entendu, nous l’avons rempli du meilleur contenu et nous sommes impatients de le voir atteindre le sommet. Pour que le site et le contenu soient indexés et inclus dans la base de données, vous pouvez utiliser deux méthodes.- Attendez l'auto-indexation. Tôt ou tard, les robots trouveront votre site - pour ce faire, il vous suffit de laisser des liens actifs vers celui-ci à partir d'autres ressources. On pense que plus il y a de liens, plus l'indexation sera rapide.
- Ajoutez un site manuellement en remplissant un formulaire spécial dans le moteur de recherche. Là, vous devez fournir un lien vers le site et de brèves informations à ce sujet. Dans Yandex, par exemple, cela se fait dans le serviceWebmestre Yandex Sur la page Signaler un nouveau site .
Comment accélérer l'indexation ?
Les algorithmes des moteurs de recherche sont une chose imprévisible et, comme déjà mentionné, il n’existe pas de recette exacte. Nous pouvons recommander des méthodes éprouvées (essentiellement les mêmes que celles qui affectent la promotion du site Web dans les résultats de recherche)- Un contenu unique que les moteurs de recherche aiment tant. Une chose : si vous avez posté un article sur un site ou un blog et qu’il n’est pas encore indexé, n’importe qui peut théoriquement le voler et le publier tout seul. Si l'article est indexé plus tôt sur un autre site, vous êtes en difficulté. Votre article sera considéré comme non unique et votre concurrent sera laissé dans le flou.
- Structure du site claire. Suivez la règle des trois clics : vous pouvez accéder à chaque page à partir de la page principale en trois clics maximum. Moins c’est bien, plus c’est mieux ! De cette façon, vous faciliterez la tâche des moteurs de recherche, qui indexeront non seulement la page principale, mais également les autres pages.
- Les liens avec les pages internes sont utiles à la fois pour les visiteurs et pour le robot.
- Diffusion de messages vers des annuaires RSS. Toutes vos publications seront dupliquées dans des répertoires RSS auxquels sont ajoutés des flux RSS. Il s'agit de flux permettant de s'abonner aux mises à jour d'un blog ou d'un site Web afin que vous receviez les dernières nouveautés dans votre courrier électronique. Avec leur aide, le moteur de recherche trouvera rapidement vos nouveaux articles et les indexera.
Voici un exemple d'indexation réussie :
Il y a une semaine, un article sur une arme à feu est apparu sur l'un des sites VPO-213 . Il n'y avait pratiquement aucune information sur cette arme sur Internet - elle n'était pas encore mise en vente. Il n'y avait qu'une courte présentation dans une vidéo sur YouTube. En conséquence, le texte était tout à fait unique et presque le seul sur Internet sur ce sujet. Vers minuit, le texte a été publié sur le site (même pas sur la page principale !) et indexé en peu de temps. Le lendemain, à neuf heures et demie du matin, l'article occupait la troisième place dans les résultats de recherche Yandex. A 9h50, elle est devenue la première et occupe toujours cette position.
Dans cette instruction, nous examinerons la question de l'ajout de notre nouveau site pour l'indexation sur divers moteurs de recherche.
J'ai décidé de mentionner comment moteurs de recherche populaires, ainsi que ceux dont vous n'avez peut-être pas entendu parler.
Indexation de sites dans Yandex
Pour ajouter un site à indexer, entrez simplement l'url de la page principale et le captcha. Le Captcha est constitué de quelques chiffres qui protègent contre les inscriptions automatiques. Après avoir cliqué sur le bouton « ajouter », plusieurs options de développement d'événements sont possibles.
1) Le message « Votre site a été ajouté » signale l'ajout réussi d'une ressource à la file d'attente d'indexation dans Yandex.
2) Si le message « Votre hébergement ne répond pas » apparaît, cela signifie que votre serveur est en panne en ce moment. Vous pouvez essayer d'ajouter un site plus tard ou trouver un meilleur hébergement.
3) Mais si un message apparaît indiquant que « l'URL spécifiée ne peut pas être indexée », alors les choses vont mal. Cela indique que des sanctions ont été imposées à votre ressource sous la forme d'une interdiction de site. Il est fort possible que le domaine que vous avez acheté possédait déjà un site Web sanctionné. En utilisant addurl, les webmasters vérifient souvent les sites pour les interdictions dans Yandex.
Indexation de sites Web dans Google (Google)
Le deuxième élément le plus important pour notre site est système de recherche Google (Google). Le processus d'ajout d'un site à l'indexation dans Google est exactement le même que sur Yandex. Google possède également sa propre adurilka, située à l'adresse : https://www.google.com/webmasters/tools/submit-url.
Vous devez également saisir un captcha lors de l'ajout. Mais il y a deux différences. Si dans Yandex, vous pouvez simplement ajouter une URL sans mouvements inutiles, alors dans Google, vous devez être connecté à votre compte. Sinon ça ne marchera pas. Ainsi, si vous n’y avez pas encore de compte, vous devrez en créer un. La deuxième différence entre Google et Yandex est la vitesse d'indexation. Google indexe les sites Web très rapidement.
Indexation du site dans Rambler (Rambler.ru)
Bien sûr, Rambler n’est plus ce qu’il était, comme beaucoup le diront, et génère très peu de trafic. Et d’ailleurs, pourquoi les négliger ? Le processus d'indexation du site dans Rambler est le plus long parmi les autres moteurs de recherche nationaux. Et son adurilka ne fonctionne pas depuis longtemps, c'était sur : robot.rambler.ru/cgi-bin/addsite.cgi
Il utilise la base de données de recherche Yandex depuis longtemps. Par conséquent, pour accéder à l'index Rambler.ru, il suffit d'ajouter à Yandex.
Indexation du site dans Mail.ru (Mail)
Le moteur de recherche Mail.ru dispose également d’un compte webmaster. L'ajout d'un site à indexer dans Mail.ru s'effectue via le formulaire addurl, situé à l'adresse : go.mail.ru/addurl
De plus, comme Google, pour demander l'indexation, vous devez créer votre propre compte et vous y connecter. Autrement, ça ne marchera pas. Mile a récemment essayé de développer son propres outils pour les webmasters.
Ci-dessus, nous avons examiné les principaux moteurs de recherche nationaux dans lesquels nous souhaitons indexer notre site. Je donnerai le PS suivant plus pour votre érudition générale en référencement que pour des actions spécifiques.
Moteur de recherche Aport.ru (Aport)
Aport.ru était autrefois un moteur de recherche, avec sa propre base de données d'index et son propre adurilka. Il est désormais devenu un moteur de recherche de produits dans lequel vous pouvez comparer les prix des biens et des services.
Moteur de recherche Nigma.ru (Nigma)
Nigma.ru est notre moteur de recherche intelligent russe. Le volume total de son trafic est d'environ trois millions de requêtes par jour. Bien évidemment, le trafic en provenance de Nygma ne doit pas être négligé. Vous pouvez ajouter votre site pour l'indexation dans Nigma sur la page nigma.ru/index_menu.php?menu_element=add_site.
Navigateur multimédia Tagoo.ru
Le système Tagoo.ru est un moteur de recherche multimédia qui recherche des données multimédias. Cela inclut le contenu musical, les vidéos et les programmes. Pour que votre site soit indexé par le système Tagoo, vous devez utiliser le formulaire d'ajout : tagoo.ru/ru/webmaster.php?mode=add_site.
Moteur de recherche Turtle.ru (Tortue)
Le moteur de recherche international Turtle (Turtle) effectue des recherches dans les pays de la CEI dans n'importe quelle langue. Pour l'indexation, les ressources situées dans des zones de domaine telles que : ru, su, ua, am, az, ge, by, kz, kg, uz, md sont acceptées. Pour ajouter un site à indexer dans Turtle, vous devez utiliser Aduril : http://www.turtle.ru/add.html. Il est conseillé d'attendre le message indiquant que votre site a été accepté. Cela ne sera peut-être pas ajouté, mais vous ne le saurez même pas.
Moteurs de recherche étrangers
Si les moteurs de recherche ci-dessus étaient des moteurs de recherche nationaux, vous trouverez ci-dessous une liste de moteurs de recherche étrangers.
Moteur de recherche Yahoo.com (Yahoo)
Moteur de recherche Bing.com (Bing)
Le moteur de recherche Bing appartient à Microsoft et a été créé pour remplacer Live Search. Microsoft espère que cette nouvelle idée sera beaucoup plus populaire que son prédécesseur. Si vous souhaitez que votre site Bing.com soit indexé, vous pouvez le faire sur http://www.bing.com/toolbox/submit-site-url.
Moteurs de recherche ukrainiens
Et en conclusion de mon examen, je citerai deux moteurs de recherche populaires en Ukraine.
Moteur de recherche ukrainien Meta.ua (Meta)
Pour diverses raisons, les moteurs de recherche n'indexent pas toutes les pages d'un site ou, à l'inverse, n'ajoutent pas celles qui ne sont pas souhaitées à l'index. En conséquence, il est presque impossible de trouver un site comportant le même nombre de pages dans Yandex et Google.
Si l'écart ne dépasse pas 10 %, tout le monde n'y prête pas attention. Mais cette position est valable pour les sites de médias et d'information, lorsque la perte d'une petite partie des pages n'affecte pas le trafic global. Mais pour les boutiques en ligne et autres sites marchands, l’absence de pages produits dans la recherche (même une sur dix) est une perte de revenus.
Par conséquent, il est important de vérifier l'indexation des pages dans Yandex et Google au moins une fois par mois, de comparer les résultats, d'identifier les pages manquantes dans la recherche et d'agir.
Problème de surveillance de l'indexation
L'affichage des pages indexées n'est pas difficile. Cela peut être fait en téléchargeant des rapports dans des panneaux pour les webmasters :
- (« Indexation » / « Pages en recherche » / « Toutes les pages » / « Télécharger tableau XLS / CSV »);
Capacités de l'outil :
- vérification simultanée des pages indexées dans Yandex et Google (ou dans un seul PS) ;
- la possibilité de vérifier toutes les URL du site en même temps ;
- Il n'y a pas de limite sur le nombre d'URL.
Particularités :
- travaillez « dans le cloud » - pas besoin de télécharger et d'installer des logiciels ou des plugins ;
- télécharger des rapports au format XLSX ;
- notification par email de la fin de la collecte des données ;
- stockage des rapports pour une durée illimitée sur le serveur PromoPult.
