Много хора се сблъскват с проблеми с неправилното индексиране на сайтовете им от търсачките. В тази статия ще обясня как да създадете правилния robots.txt за Bitrix, за да избегнете грешки при индексиране.
Какво е robots.txt и за какво служи?
Robots.txt е текстов файл, който съдържа параметри за индексиране на сайта за роботи на търсачки (информация на Yandex).По принцип е необходимо да се блокират индексирането на страници и файлове, които търсачките не трябва да индексират и следователно да добавят към резултатите от търсенето.
Обикновено това са технически файлове и страници, административни панели, потребителски акаунти и дублирана информация, като търсене на вашия сайт и др.
Създаване на основен robots.txt за Bitrix
Често срещана грешка при начинаещите е ръчното компилиране на този файл. Няма нужда да правите това.Bitrix вече има модул, който отговаря за файла robots.txt. Може да се намери на страницата „Маркетинг -> Оптимизация за търсачки -> Настройване на robots.txt“ .
На тази страница има бутон за създаване на основен набор от правила за системата Bitrix. Използвайте го, за да създадете всички стандартни правила:
След генериране на картата на сайта, пътят до нея автоматично ще бъде добавен към robots.txt.
След това ще имате добър основен набор от правила. След това трябва да продължите от препоръките на SEO специалиста и да затворите (с помощта на бутона „Блокиране на файл/папка“) необходимите страници. Обикновено това са страници за търсене, лични акаунти и други.
И не забравяйте, че можете да се свържете с нас за
Доставянето на готов уебсайт на Bitrix не е толкова лошо. Като правило, цялото забавление започва след първото индексиране от роботите за търсене на Google и Yandex, когато много информация, която е ненужна за потребителите, може да попадне в резултатите от търсенето: от „технически боклук“ до тази снимка от новогодишната корпоративна партия.
Дръж се, неизвестен SEO човек, дръж се, бъдещ програмист, но всичко, което трябваше да направиш, беше да създадеш правилния robots.txt за Bitrix.
За справка: robots.txt е файл, който се намира в основата на сайта и ограничава достъпа на роботите за търсене до определени раздели и страници.
Robots.txt за корпоративни сайтове и сайтове за визитки
Любимата фраза на амбициозните копирайтъри „всеки проект е различен“ най-добре отговаря на нашата ситуация. Единствените изключения са стандартните директиви за robots.txt: User-agent; Disallow, Host и Sitemap. Ако искате, това е задължителен минимум.
Всичко останало по отношение на затварянето и покриването е по ваша преценка. Въпреки факта, че Bitrix е решение в кутия, директивите на проектите, изградени върху него, могат да се различават значително една от друга. Въпросът е структурата и функционалността на един сайт.
Да си представим, че имате корпоративен уебсайт на Bitrix със стандартен набор от раздели: „За компанията“, „Услуги“, „Проекти“, „Контакти“, „Новини“. Ако съдържанието на такъв сайт е уникално, тогава трябва да работите върху затварянето на техническата част на проекта.
1. Затворете папка от индексиране /bitrixИ /cgi-bin. Чисто техническа информация (CSS, шаблони, captcha), която не е от полза за никого, освен за ругаещия се GoogleBot в панела за уеб администратори. Можете спокойно да го затворите. Алгоритъмът на действие е следният: Disallow: /пример/
2. Папка /търсенесъщо не е интересен за търсачките или потребителите. Затваряйки го, вие ще се предпазите от дублиращи се страници, дублиращи се тагове и заглавия в резултатите от търсенето.
3. Когато компилират robots.txt на Bitrix, хората понякога забравят за затварянето на формуляри за оторизация и PHP удостоверяване на сайта. Говорим за
/auth/
/auth.php
4. Ако вашият сайт има възможност за отпечатване на всякакви материали: било то карти на района или фактури за плащане, не забравяйте да затворите следните директории във файла robots.txt:
/*?print=
/*&print=
5. Bitrix внимателно съхранява цялата история на вашия уебсайт: успешни потребителски регистрации, записи на успешни промени на пароли и възстановяване. Съмняваме се обаче, че това ще представлява интерес за роботите за търсене.
/*регистрация=да
/*забравена_парола=да
/*промяна на парола=да
/*вход=да
/*излизане=да
/*auth=да
6. Представете си, че разглеждате фотоалбум на уебсайт, отваряте една, втора, трета снимка, но на четвъртата решавате да се върнете една стъпка назад. Нещо като тази ругатня ще се появи в адресната лента: ?back_url_ =%2Fbitrix%2F%2F. Той се премахва отново чрез промяна на файла robots.txt в корена на CMS „1C-Bitrix“.
/*BACKURL=*
/*back_url=*
/*BACK_URL=*
/*back_url_admin=*
По този начин ние застраховаме отворената част (видима за потребителите) и затворената част (видима за администраторите на Bitrix CMS).
7. Папка / качване. В него Bitrix съхранява снимки и видеоклипове от сайта. Ако съдържанието е уникално, няма нужда да затваряте папката. В крайна сметка индексираните снимки и видеоклипове са допълнителен източник на трафик. Друг е въпросът, когато /upload съхранява поверителна информация или неуникално съдържание.
Robots.txt на Bitrix за онлайн магазини
Основата е същата като за корпоративните уебсайтове, но с някои промени.
1. За разлика от уебсайта на малка компания, онлайн магазинът обикновено има поне сто страници. Страниците за пагиниране, които са отговорни за преместването на потребителя от една продуктова карта към друга, задръстват търсачките. Колкото повече страници, толкова повече „боклук“.
/*?СТРАНИЦА
2. Забрана за индексиране на действията на потребителите и администраторите на сайта. Следи от филтриране, сравняване на продукти, добавяне на продукти в количката също трябва да бъдат скрити от очите на робота за търсене.
/*?брой
/*? действие
/*?set_filter=*
3. И накрая, UTM тагове. Можете да блокирате достъпа до тях, както следва:
/*openstat=
/*utm_source=
Издадохме нова книга, Маркетинг на съдържание в социалните медии: Как да влезете в главите на вашите последователи и да ги накарате да се влюбят във вашата марка.
1C Bitrix е най-популярният търговски двигател. Той се използва широко в много студия, въпреки че не е идеален. И ако говорим за SEO оптимизация, тогава трябва да сте изключително внимателни.
Коригирайте robots.txt за 1C Bitrix
В новите версии разработчиците на CMS първоначално включиха robots.txt, който може да реши почти всички проблеми с дублиращи се страници. Ако вашата версия не е актуализирана, сравнете и качете нови роботи.
Също така трябва да подходите по-внимателно към въпроса за роботите, ако вашият проект в момента се финализира от програмисти.
Потребителски агент: * Disallow: /bitrix/ Disallow: /search/ Allow: /search/map.php Disallow: /club/search/ Disallow: /club/group/search/ Disallow: /club/forum/search/ Disallow: /communication/forum/search/ Disallow: /communication/blog/search.php Disallow: /club/gallery/tags/ Disallow: /examples/my-components/ Disallow: /examples/download/download_private/ Disallow: /auth/ Disallow : /auth.php Disallow: /personal/ Disallow: /communication/forum/user/ Disallow: /e-store/paid/detail.php Disallow: /e-store/affiliates/ Disallow: /club/$ Disallow: /club /messages/ Disallow: /club/log/ Disallow: /content/board/my/ Disallow: /content/links/my/ Disallow: /*/search/ Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow : /*PAGE_NAME=detail_slide_show Disallow: /*/slide_show/ Disallow: /*/gallery/*order=* Disallow: /*?print= Disallow: /*&print= Disallow: /*register=yes Disallow: /*forgot_password= да Disallow: /*change_password=yes Disallow: /*login=yes Disallow: /*logout=yes Disallow: /*auth=yes Disallow: /*action=ADD_TO_COMPARE_LIST Disallow: /*action=DELETE_FROM_COMPARE_LIST Disallow: /*action=ADD2BASKET Disallow: /*action=BUY Disallow: /*print_course=Y Disallow: /*bitrix_*= Disallow: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow : /*back_url_admin=* Забрана: /*index.php$
Хост: www.site.ru Карта на сайта: http://www.site.ru/sitemap.xmlПървоначална SEO оптимизация на уебсайт на 1C Bitrix
1C Bitrix има SEO модул, който вече е включен в тарифата „Старт“. Този модул има много големи възможности, които ще задоволят всички нужди на SEO специалистите при първоначалната оптимизация на сайта.
Неговите възможности:
- общо класиране на връзките;
- цитиране;
- брой връзки;
- думи за търсене;
- индексиране от търсачките.
SEO модул + Уеб анализи
Инструменти за оптимизиране на търсещи машини на страницата:
- представена е цялата информация, необходима на потребителя, за да промени страницата;
- публичната част показва основна информация за съдържанието на страницата;
- показва се специална информация за страницата: честота на индексиране от търсачките, заявки, които водят до тази страница, допълнителна статистическа информация;
- дава се визуална оценка на производителността на страницата;
- възможност за незабавно извикване на необходимите диалогови прозорци и извършване на промени на страницата.
Инструмент за оптимизация на сайта за търсачки:
- показва цялата информация, необходима за промяна на сайта;
- основна информация за съдържанието на сайта се показва в публичната му част;
- по отношение на целия сайт се показва: цялостно класиране на връзките, цитирания, брой връзки, думи за търсене, индексиране от търсачките;
- визуална оценка на ефективността на уебсайта;
- възможност за незабавно извикване на необходимите диалози и извършване на промени в сайта.
1C-Bitrix: Пазар
Bitrix разполага и със собствен Marketplace, където има няколко модула за SEO оптимизация на проекта. Те дублират взаимно функциите си, така че изберете въз основа на цена и характеристики.
Лесно управлявайте мета тагове за SEO
безплатно
Модул, който ви позволява да добавяте уникални SEO данни (заглавие, описание, ключови думи) към всяка страница от сайта, включително елементи от каталога.
SEO инструменти
Платено
- CNC управление на уебсайт на една страница.
- Възможност за предефиниране на заглавия на страници и мета тагове.
- Възможност за инсталиране на пренасочвания.
- Тестване на тагове на OpenGraph.
- Последно обаждане на истински Google или Yandex бот (отложена проверка на валидността на бота по неговия IP адрес).
- Списък с преходи към вашите страници, трафик от търсене
- Преброяване на броя харесвания на вашите страници с помощта на услуга на трета страна
SEO инструменти: Meta Tag Management PRO
Платено
Инструмент за автоматично генериране на мета тагове за заглавие, описание, ключови думи, както и H1 хедъри за ВСЯКАКВИ страници на сайта.
- използване на правила и шаблони;
- прилагане на правило, базирано на насочване;
- възможност за персонализиране на проекта за ВСИЧКИ брой ключове;
- централизирано управление на мета тагове на всякакви проекти;
- оперативен контрол на състоянието на мета таговете на всяка страница от проекта.
Инструменти за специалист по SEO
Платено
Модулът ви позволява да:
- Задайте мета тагове (заглавие, ключови думи, описание).
- Принудителни промени в H1 (заглавие на страница), зададено от всеки компонент на страницата.
- Задайте флага за каноничен адрес.
- Инсталирайте до три SEO текста навсякъде на страницата, използвайки или без визуален редактор.
- Мултисайт.
- Редактирайте всичко по-горе както „от лицето“ на сайта, така и от админ панела.
- Инсталирайте и използвайте модула в изданието „Първи сайт“ на Bitrix.
ASEO редактор-оптимизатор
Платено
Модулът ви позволява да задавате уникални SEO данни (заглавие, описание, ключови думи) и да променяте съдържанието за HTML блокове на всяка страница от сайта, която има собствен URL адрес, или за конкретен URL шаблон на базата на GET параметри.
SeoONE: цялостна оптимизация и анализ на търсачките
Платено
- Настройка на "URL без параметри".
- Настройка на "META page data".
- „Статични“ - тук можете лесно да зададете уникални метаданни (ключови думи и описание) за страницата, както и уникално заглавие на браузъра и заглавие на страницата (обикновено h1).
- "Динамичен" - тази настройка е подобна на предишната. Единствената разлика е, че се създава за динамично генерирани страници (например за продуктов каталог).
- Настройката „Замяна на адрес“ ви позволява да зададете вторичен URL адрес за страницата.
- Настройка на "Експрес анализ". На тази страница можете да добавяте неограничен брой сайтове за анализ.
CNCizer (ние задаваме символен код)
Платено
Модулът ви позволява автоматично да задавате символни кодове за елементи и секции в сайта.
Linemedia: SEO блокове на сайта
Платено
Осигурява компонент, който ви позволява да добавите няколко SEO текстови блока към всяка страница и да зададете мета информация за страницата.
Връзка към раздели и елементи на информационни блокове
Платено
С помощта на този модул в стандартния визуален редактор става възможно добавянето и редактирането на връзки към елементи/секции на информационни блокове.
Уеб анализи в 1C Bitrix: Yandex Metrica и Google Analytics
Има няколко опции за поставяне на броячи в cms:
Вариант № 1. Поставете кода на брояча bitrix/templates/template name/headers.php след тага
.Вариант номер 2. Използвайте специален плъгин за Yandex Metrics.
Вариант номер 3. Bitrix има собствен модул за уеб анализи. Разбира се, това няма да ви позволи да създавате свои собствени отчети, да правите сегментации и т.н., но за проста употреба мониторингът на статистиката е доста инструмент.
Yandex Webmaster и Google webmaster в 1C Bitrix
Да, има вградени решения за добавяне на сайт към услугата за уеб администратори (както Google, така и Yandex), но силно препоръчваме да работите директно с тези услуги.
защото:
- там можете да видите много повече данни;
- ще сте сигурни, че данните са актуални (доколкото е възможно) и не са изкривени;
- ако услугата пусне актуализация, ще можете да я видите и използвате веднага (ако работите с плъгин, ще трябва да изчакате актуализации).
Ако просто създавате уебсайт и се чудите колко подходящ е 1C Bitrix за популяризиране в търсачките и дали има проблеми с него, тогава няма нужда да се притеснявате. Двигателят е лидер сред платените cms на пазара и това е от много дълго време; всички SEO специалисти (не говоря само за нашето студио) са се сблъсквали с Bitrix повече от веднъж и всеки има опит.
На 1C Bitrix не се различава от промоцията на други cms или персонализирани двигатели. Разликите могат да се видят само в инструментите за оптимизация, за които писахме по-горе.
Но си струва да запомните, че инструментите сами по себе си няма да популяризират вашия сайт. Тук имаме нужда от специалисти, които ще ги конфигурират правилно.
Между другото, имаме много статии с инструкции, които съдържат много практически съвети с история на дългогодишна практика. Разбира се, мислехме да създадем тематичен списък с имейли, но все още нямаме време. И така, какво е най-удобно
Време за четене: 7 минути
Почти всеки проект, който идва при нас за одит или промоция, има неправилен файл robots.txt, а често той изобщо липсва. Това се случва, защото при създаването на файл всеки се ръководи от въображението си, а не от правилата. Нека да разберем как правилно да съставим този файл, така че роботите за търсене да работят с него ефективно.
Защо трябва да конфигурирате robots.txt?
Robots.txtе файл, разположен в главната директория на сайт, който казва на роботите на търсачките до кои секции и страници от сайта имат достъп и до кои не.
Настройването на robots.txt е важна част от резултатите от търсачката; правилно конфигурираните роботи също повишават ефективността на сайта. Липсата на Robots.txt няма да спре търсачките да обхождат и индексират вашия сайт, но ако нямате този файл, може да имате два проблема:
Роботът за търсене ще прочете целия сайт, което ще „подкопае“ бюджета за обхождане. Бюджетът за обхождане е броят страници, които роботът за търсене може да обходи за определен период от време.
Без robots файл, търсачката ще има достъп до чернови и скрити страници, до стотици страници, използвани за администриране на CMS. Той ще ги индексира и когато се стигне до необходимите страници, които предоставят директно съдържание за посетителите, бюджетът за обхождане ще „изтече“.
Индексът може да включва страницата за влизане в сайта и други администраторски ресурси, така че нападателят може лесно да ги проследи и да извърши ddos атака или да хакне сайта.
Как роботите за търсене виждат сайт с и без robots.txt:
Синтаксис на robots.txt
Преди да започнем да разбираме синтаксиса и да настройваме robots.txt, нека да разгледаме как трябва да изглежда „идеалният файл“:
Но не трябва да го използвате веднага. Всеки сайт най-често изисква свои собствени настройки, тъй като всички имаме различна структура на сайта и различен CMS. Нека разгледаме всяка директива по ред.
Потребителски агент
Потребителски агент - дефинира робот за търсене, който трябва да следва инструкциите, описани във файла. Ако трябва да се обърнете към всички наведнъж, използвайте иконата *. Можете също да се свържете с конкретен робот за търсене. Например Yandex и Google:
Използвайки тази директива, роботът разбира кои файлове и папки са забранени за индексиране. Ако искате целият ви сайт да бъде отворен за индексиране, оставете стойността Disallow празна. За да скриете цялото съдържание на сайта след Disallow, поставете „/“.
Можем да предотвратим достъпа до конкретна папка, файл или файлово разширение. В нашия пример ние се свързваме с всички роботи за търсене и блокираме достъпа до bitrix, папката за търсене и разширението pdf.
Разрешете
Allow принуждава страниците и секциите на сайта да бъдат индексирани. В горния пример се свързваме с робота за търсене на Google, блокираме достъпа до bitrix, папката за търсене и разширението pdf. Но в папката bitrix отваряме принудително 3 папки за индексиране: компоненти, js, инструменти.
Хост - огледало на сайта
Огледален сайт е дубликат на основния сайт. Огледалата се използват за различни цели: промяна на адреса, сигурност, намаляване на натоварването на сървъра и др.
Домакинът е едно от най-важните правила. Ако това правило е написано, тогава роботът ще разбере кое от огледалата на сайта трябва да се вземе предвид при индексиране. Тази директива е необходима за роботите Yandex и Mail.ru. Други роботи ще пренебрегнат това правило. Домакинът се регистрира само веднъж!
За протоколите „https://“ и „http://“ синтаксисът във файла robots.txt ще бъде различен.
Sitemap - карта на сайта
Картата на сайта е форма на навигация на сайта, която се използва за информиране на търсачките за нови страници. Използвайки директивата за карта на сайта, ние „принудително“ показваме на робота къде се намира картата.
Символи в robots.txt
Използвани символи във файла: “/, *, $, #”.
Проверка на функционалността след настройка на robots.txt
След като поставите Robots.txt на уебсайта си, трябва да го добавите и проверите в уеб администратора на Yandex и Google.
Проверка на Yandex:
- Следвайте връзката.
- Изберете: Настройки за индексиране - Анализ на Robots.txt.
Google проверка:
- Следвайте връзката.
- Изберете: Сканиране - Инструмент за проверка на файл Robots.txt.
По този начин можете да проверите вашия robots.txt за грешки и да направите необходимите корекции, ако е необходимо.
- Съдържанието на файла трябва да бъде изписано с главни букви.
- Директивата Disallow трябва да посочи само един файл или директория.
- Редът "User-agent" не трябва да е празен.
- User-agent винаги трябва да идва преди Disallow.
- Не забравяйте да включите наклонена черта, ако трябва да деактивирате индексирането на директория.
- Преди да качите файл на сървъра, не забравяйте да го проверите за синтактични и правописни грешки.
Успех на теб!
Видео преглед на 3 метода за създаване и персонализиране на файла Robots.txt
Bitrix е една от най-разпространените административни системи в руския сегмент на Интернет. Като се има предвид фактът, че тази CMS, от една страна, често се използва за създаване на онлайн магазини и доста натоварени уебсайтове, а от друга страна, Bitrix не е най-бързата система, компилирането на правилния файл robots.txt се превръща в още по-спешна задача. Ако роботът за търсене индексира само това, което е необходимо за промоция, това помага да се премахне ненужното натоварване на сайта. Както в случая с историята с, има грешки в почти всяка статия в Интернет. Ще посоча такива случаи в самия край на статията, за да има разбиране защо не е необходимо да се пишат такива команди.
Писах по-подробно за компилирането на robots.txt и значението на всички негови директиви. По-долу няма да се спирам подробно на значението на всяко правило. Ще се огранича да коментирам накратко кое за какво е необходимо.
Коригирайте Robots.txt за Bitrix
Кодът за роботи, който е написан по-долу, е основен и универсален за всеки сайт на Bitrix. В същото време трябва да разберете, че вашият сайт може да има свои индивидуални характеристики и този файл ще трябва да бъде коригиран във вашия конкретен случай.
User-agent: * # правила за всички роботи Disallow: /cgi-bin # хостинг папка Disallow: /bitrix/ # папка със системни файлове Bitrix Disallow: *bitrix_*= # Bitrix GET заявки Disallow: /local/ # папка със системата Bitrix файлове Disallow: /*index.php$ # дублирани страници index.php Disallow: /auth/ # авторизация Disallow: *auth= # авторизация Disallow: /personal/ # личен акаунт Disallow: *register= # регистрация Disallow: *forgot_password = # забравена парола Disallow: *change_password= # промяна на паролата Disallow: *login= # влизане Disallow: *logout= # излизане Disallow: */search/ # search Disallow: *action= # действия Disallow: *print= # print Disallow: *? new=Y # нова страница Disallow: *?edit= # editing Disallow: *?preview= # preview Disallow: *backurl= # trackbacks Disallow: *back_url= # trackbacks Disallow: *back_url_admin= # trackbacks Disallow: *captcha # captcha Disallow : */feed # all feeds Disallow: */rss # rss feed Disallow: *?FILTER*= # тук и по-долу са различни популярни филтърни параметри Disallow: *?ei= Disallow: *?p= Disallow: *?q= Disallow : *?tags= Disallow: *B_ORDER= Disallow: *BRAND= Disallow: *CLEAR_CACHE= Disallow: *ELEMENT_ID= Disallow: *price_from= Disallow: *price_to= Disallow: *PROPERTY_TYPE= Disallow: *PROPERTY_WIDTH= Disallow: *PROPERTY_HEIGHT = Disallow: *PROPERTY_DIA= Disallow: *PROPERTY_OPENING_COUNT= Disallow: *PROPERTY_SELL_TYPE= Disallow: *PROPERTY_MAIN_TYPE= Disallow: *PROPERTY_PRICE[*]= Disallow: *S_LAST= Disallow: *SECTION_ID= Disallow: *SECTION[*]= Disallow: * SHOWALL = Disallow: *SHOW_ALL= Disallow: *SHOWBY= Disallow: *SORT= Disallow: *SPHRASE_ID= Disallow: *TYPE= Disallow: *utm*= # връзки с utm тагове Disallow: *openstat= # връзки с openstat тагове Disallow: * from= # връзки с етикети от Allow: */upload/ # отваряне на папката с качени файлове Allow: /bitrix/*.js # тук и по-нататък отваряне на скриптове за индексиране Allow: /bitrix/*.css Allow: /local/ * .js Разрешава: /local/*.css Разрешава: /local/*.jpg Разрешава: /local/*.jpeg Разрешава: /local/*.png Разрешава: /local/*.gif # Посочете един или повече файлове с карта на сайта Карта на сайта : http://site.ru/sitemap.xml Карта на сайта: http://site.ru/sitemap.xml.gz # Посочете основното огледало на сайта, както в примера по-долу (с WWW / без WWW, ако HTTPS # след това напишете протокол, ако трябва да посочите порт, посочете го). Командата стана незадължителна. Преди това Host разбираше # Yandex и Mail.RU. Сега всички основни търсачки не вземат под внимание командата Host. Домакин: www.site.ru
- Блокирайте страниците с пагинация от индексиране
Правилото Disallow: *?PAGEN_1= е грешка. Страниците с пагинация трябва да бъдат индексирани. Но на такива страници трябва да се пише. - Затворете изображението и изтеглете файлове (DOC, DOCX, XLS, XLSX, PDF, PPT, PPTS и др.)
Няма нужда да правите това. Ако имате Disallow: /upload/ правило, премахнете го. - Затворете страниците с етикети и категории
Ако вашият сайт наистина има такава структура, че съдържанието на тези страници се дублира и няма особена стойност в тях, тогава е по-добре да го затворите. Популяризирането на ресурси обаче често се извършва и чрез страници с категории и маркиране. В този случай може да загубите част от трафика. - Регистрирайте Crawl-Delay
Модно правило. Трябва обаче да се уточнява само когато наистина има нужда да ограничите посещенията на вашия сайт от роботи. Ако сайтът е малък и посещенията не създават значително натоварване на сървъра, тогава ограничаването на времето „така че е“ няма да бъде най-разумната идея.
