Highload dienoraštį apie programavimą ir interneto verslą. Highload dienoraštį apie programavimą ir interneto verslą Robots txt failas, skirtas bitrix

Daugelis žmonių susiduria su problemomis, kai paieškos sistemos neteisingai indeksuoja jų svetaines. Šiame straipsnyje paaiškinsiu, kaip sukurti tinkamą robots.txt failą Bitrix, kad būtų išvengta indeksavimo klaidų.

Kas yra robots.txt ir kam jis skirtas?

Robots.txt yra tekstinis failas, kuriame yra svetainės indeksavimo parametrai, skirti paieškos sistemų robotams („Yandex“ informacija).
Iš esmės reikia užblokuoti puslapių ir failų indeksavimą, kurių paieškos sistemoms nereikia indeksuoti ir todėl pridėti prie paieškos rezultatų.

Paprastai tai yra techniniai failai ir puslapiai, administravimo skydai, vartotojų abonementai ir pasikartojančios informacijos, pvz., svetainės paieška ir kt.

Pagrindinio „Bitrix“ failo robots.txt kūrimas

Dažna pradedančiųjų klaida yra rankinis šio failo kompiliavimas. To daryti nereikia.
Bitrix jau turi modulį, atsakingą už robots.txt failą. Jį galima rasti puslapyje „Rinkodara –> Paieškos variklio optimizavimas –> „Robots.txt“ nustatymas“ .
Šiame puslapyje yra mygtukas, skirtas sukurti pagrindinį Bitrix sistemos taisyklių rinkinį. Naudokite jį norėdami sukurti visas standartines taisykles:

Sukūrus svetainės schemą, kelias į ją bus automatiškai įtrauktas į robots.txt.

Po to turėsite gerą pagrindinių taisyklių rinkinį. Tada turėtumėte vadovautis SEO specialisto rekomendacijomis ir uždaryti (paspaudę mygtuką „Blokuoti failą/aplanką“) reikiamus puslapius. Paprastai tai yra paieškos puslapiai, asmeninės paskyros ir kt.

Ir nepamirškite, kad galite susisiekti su mumis

Pateikti gatavą svetainę „Bitrix“ nėra taip blogai. Paprastai visos linksmybės prasideda po to, kai ją pirmą kartą indeksuoja Google ir Yandex paieškos robotai, kai į paieškos rezultatus gali patekti daug vartotojams nereikalingos informacijos: nuo „techninių šiukšlių“ iki tos Naujųjų metų įmonės nuotraukos. vakarėlis.

Laikykis, nežinomas SEO vyrukas, laikykis, būsimas programuotojas, bet tereikėjo sukurti tinkamą robots.txt, skirtas Bitrix.

Nuoroda: robots.txt yra failas, esantis svetainės šaknyje ir ribojantis paieškos robotams prieigą prie tam tikrų skilčių ir puslapių.

Robots.txt, skirtas įmonių svetainėms ir vizitinių kortelių svetainėms

Labiausiai mūsų situacijai tinka mėgstama trokštančių tekstų kūrėjų frazė „kiekvienas projektas skirtingas“. Vienintelės išimtys yra standartinės robots.txt direktyvos: User-agent; Neleisti, priegloba ir svetainės schema. Jei norite, tai yra privalomas minimumas.

Visa kita uždarymo ir uždengimo klausimais priklauso jūsų nuožiūra. Nepaisant to, kad „Bitrix“ yra dėžutės sprendimas, ant jo sukurtų projektų direktyvos gali labai skirtis viena nuo kitos. Klausimas yra vienos svetainės struktūra ir funkcionalumas.

Įsivaizduokime, kad „Bitrix“ turite įmonės svetainę su standartiniu skilčių rinkiniu: „Apie įmonę“, „Paslaugos“, „Projektai“, „Kontaktai“, „Naujienos“. Jei tokios svetainės turinys yra unikalus, tuomet reikia uždaryti techninę projekto dalį.

1. Uždarykite aplanką nuo indeksavimo /bitrix Ir /cgi-bin. Grynai techninė informacija (CSS, šablonai, captchas), kuri niekam nenaudinga, išskyrus „GoogleBot“ keikimąsi žiniatinklio valdytojo skydelyje. Galite saugiai uždaryti. Veiksmo algoritmas yra toks: Neleisti: /example/

2. Aplankas /Paieška taip pat nėra įdomus paieškos sistemoms ar vartotojams. Jį uždarydami apsisaugosite nuo pasikartojančių puslapių, pasikartojančių žymų ir pavadinimų paieškos rezultatuose.

3. Kompiliuodami robots.txt „Bitrix“, žmonės kartais pamiršta svetainėje uždaryti įgaliojimo formas ir PHP autentifikavimą. Tai yra apie

/auth/
/auth.php

4. Jei jūsų svetainė turi galimybę spausdinti bet kokią medžiagą: ar tai būtų vietovės žemėlapiai, ar mokėjimo sąskaitos faktūros, nepamirškite uždaryti šių katalogų robots.txt faile:

/*?print=
/*&print=

5. Bitrix kruopščiai saugo visą jūsų svetainės istoriją: sėkmingas vartotojų registracijas, sėkmingų slaptažodžių keitimų ir atkūrimo įrašus. Tačiau abejojame, ar tai bus įdomu paieškos robotams.

/*registras=taip
/*forgot_password=taip
/*change_password=taip
/*prisijungimas=taip
/*atsijungti=taip
/*auth=taip

6. Įsivaizduokite, kad peržiūrite nuotraukų albumą svetainėje, atidarote vieną, antrą, trečią nuotraukas, bet ketvirtą nusprendžiate grįžti žingsniu atgal. Adreso juostoje atsiras kažkas panašaus į šį keiksmažodį: ?back_url_ =%2Fbitrix%2F%2F. Jis vėl pašalinamas pakeitus robots.txt failą TVS „1C-Bitrix“ šaknyje.

/*BACKURL=*
/*atgal_url=*
/*BACK_URL=*
/*back_url_admin=*

Taigi, mes apdraudžiame atvirą dalį (matomą vartotojams) ir uždarąją dalį (matomą Bitrix CMS administratoriams).

7. Aplankas / įkėlimas. Jame „Bitrix“ saugo nuotraukas ir vaizdo įrašus iš svetainės. Jei turinys yra unikalus, aplanko uždaryti nereikia. Juk indeksuotos nuotraukos ir vaizdo įrašai yra papildomas srauto šaltinis. Kitas dalykas, kai /upload saugo konfidencialią informaciją arba neunikalaus turinio.

Robots.txt „Bitrix“ internetinėms parduotuvėms

Pagrindas yra toks pat kaip ir įmonių tinklalapių, tačiau su keliais pakeitimais.

1. Skirtingai nei nedidelės įmonės svetainė, internetinė parduotuvė paprastai turi mažiausiai šimtą puslapių. Puslapiai, kurie yra atsakingi už vartotojo perkėlimą iš vienos produkto kortelės į kitą, užkemša paieškos sistemas. Kuo daugiau puslapių, tuo daugiau „šiukšlių“.

/*?PAGEN

2. Draudimas atlikti svetainės naudotojų ir administratorių indeksavimo veiksmus. Filtravimo, produktų lyginimo, prekių įdėjimo į krepšelį pėdsakai taip pat turėtų būti paslėpti nuo paieškos roboto akių.

/*?skaičiuoti
/*?veiksmas
/*?set_filter=*

3. Galiausiai, UTM žymos. Galite blokuoti prieigą prie jų taip:

/*openstat=
/*utm_source=

Išleidome naują knygą Socialinės medijos turinio rinkodara: kaip patekti į savo sekėjų galvas ir priversti juos įsimylėti savo prekės ženklą.

1C Bitrix yra populiariausias komercinis variklis. Jis plačiai naudojamas daugelyje studijų, nors ir nėra idealus. O jei kalbėtume apie SEO optimizavimą, tuomet reikia būti itin atidiems.

Pataisykite robots.txt, skirtą 1C Bitrix

Naujose versijose TVS kūrėjai iš pradžių įtraukė robots.txt, kuris gali išspręsti beveik visas problemas, susijusias su pasikartojančiais puslapiais. Jei jūsų versija nebuvo atnaujinta, palyginkite ir įkelkite naujus robotus.

Taip pat turite atidžiau žiūrėti į robotų klausimą, jei jūsų projektą šiuo metu baigia programuotojai.

Vartotojo agentas: * Neleisti: /bitrix/ Neleisti: /search/ Leisti: /search/map.php Neleisti: /club/search/ Neleisti: /club/group/search/ Neleisti: /club/forum/search/ Neleisti: /communication/forum/search/ Disallow: /communication/blog/search.php Neleisti: /club/gallery/tags/ Neleisti: /examples/my-components/ Neleisti: /examples/download/download_private/ Neleisti: /auth/ Neleisti : /auth.php Neleisti: /personal/ Neleisti: /communication/forum/user/ Neleisti: /e-store/paid/detail.php Neleisti: /e-store/affiliates/ Neleisti: /club/$ Neleisti: /club /messages/ Neleisti: /club/log/ Neleisti: /content/board/my/ Neleisti: /content/links/my/ Neleisti: /*/search/ Neleisti: /*PAGE_NAME=search Neleisti: /*PAGE_NAME=user_post Neleisti : /*PAGE_NAME=detail_slide_show Neleisti: /*/slide_show/ Neleisti: /*/gallery/*order=* Neleisti: /*?print= Neleisti: /*&print= Neleisti: /*register=yes Neleisti: /*forgot_password= yes Neleisti: /*change_password=yes Neleisti: /*login=yes Neleisti: /*logout=yes Neleisti: /*auth=yes Neleisti: /*action=ADD_TO_COMPARE_LIST Neleisti: /*action=DELETE_FROM_COMPARE_LIST Neleisti: /*BASKction=ADD Neleisti: /*action=BUY Neleisti: /*print_course=Y Neleisti: /*bitrix_*= Neleisti: /*backurl=* Neleisti: /*BACKURL=* Neleisti: /*back_url=* Neleisti: /*BACK_URL=* Neleisti : /*back_url_admin=* Neleisti: /*index.php$

Priegloba: www.site.ru Svetainės schema: http://www.site.ru/sitemap.xml

Pradinis SEO svetainės optimizavimas 1C Bitrix

1C Bitrix turi SEO modulį, kuris jau įtrauktas į „Start“ tarifą. Šis modulis turi labai dideles galimybes, kurios patenkins visus SEO specialistų poreikius pirminio svetainės optimizavimo metu.

Jo galimybės:

bendras nuorodų reitingas;
citata;
nuorodų skaičius;
paieškos žodžiai;
indeksavimas paieškos sistemomis.

SEO modulis + Web analitika

Puslapio paieškos variklio optimizavimo įrankiai:

pateikiama visa informacija, kurios vartotojui reikia norint pakeisti puslapį;
viešoje dalyje pateikiama pagrindinė informacija apie puslapio turinį;
rodoma speciali informacija apie puslapį: paieškos sistemų indeksavimo dažnumas, užklausos, vedančios į šį puslapį, papildoma statistinė informacija;
pateikiamas vizualinis puslapio veikimo įvertinimas;
galimybė nedelsiant iškviesti reikiamus dialogus ir atlikti pakeitimus puslapyje.

Paieškos sistemų optimizavimo svetainėje įrankis:

rodo visą informaciją, reikalingą svetainės keitimui;
pagrindinė informacija apie svetainės turinį pateikiama viešoje jos dalyje;
visos svetainės atžvilgiu rodoma: bendras nuorodų reitingas, citatos, nuorodų skaičius, paieškos žodžiai, indeksavimas pagal paieškos sistemas;
vizualinis svetainės veikimo įvertinimas;
galimybė nedelsiant iškviesti reikiamus dialogus ir atlikti pakeitimus svetainėje.

1C-Bitrix: Marketplace

Bitrix taip pat turi savo Marketplace, kur yra keli moduliai projekto SEO optimizavimui. Jie dubliuoja vienas kito funkcijas, todėl rinkitės pagal kainą ir savybes.

Lengvai tvarkykite SEO metažymas

Laisvas

Modulis, leidžiantis pridėti unikalius SEO duomenis (pavadinimą, aprašymą, raktinius žodžius) į bet kurį svetainės puslapį, įskaitant katalogo elementus.

SEO įrankiai

Mokama

CNC svetainės valdymas viename puslapyje.
Galimybė iš naujo apibrėžti puslapių pavadinimus ir metažymes.
Galimybė įdiegti peradresavimus.
„OpenGraph“ žymų testavimas.
Paskutinis tikro „Google“ arba „Yandex“ roboto skambutis (atidėtas roboto galiojimo patikrinimas pagal jo IP adresą).
Perėjimų į jūsų puslapius sąrašas, paieškos srautas
Puslapių „Patinka“ paspaudimų skaičiaus skaičiavimas naudojant trečiosios šalies paslaugą

SEO įrankiai: Meta Tag Management PRO

Mokama

Įrankis, skirtas automatiškai generuoti pavadinimą, aprašymą, raktinių žodžių metažymes, taip pat H1 antraštes BET KIEKVIEMS svetainės puslapiams.

taisyklių ir modelių naudojimas;
taikant taisyklę, pagrįstą taikymu;
galimybė pritaikyti projektą bet kokiam raktų skaičiui;
centralizuotas bet kokių projektų metažymų valdymas;
operacinis metažymų būsenos valdymas bet kuriame projekto puslapyje.

SEO specialisto įrankiai

Mokama

Modulis leidžia:

Nustatykite metažymes (pavadinimas, raktiniai žodžiai, aprašymas).
Priverskite H1 (puslapio pavadinimo) pakeitimus, nustatytus bet kuriais puslapio komponentais.
Nustatykite kanoninio adreso vėliavėlę.
Įdiekite iki trijų SEO tekstų bet kurioje puslapio vietoje, naudodami vaizdo rengyklę arba be jos.
Daugia svetainė.
Redaguokite visus aukščiau pateiktus elementus ir „iš svetainės veido“, ir iš administratoriaus skydelio.
Įdiekite ir naudokite modulį „Bitrix“ leidime „Pirmoji svetainė“.

ASEO redaktorius-optimizatorius

Mokama

Modulis leidžia nustatyti unikalius SEO duomenis (pavadinimą, aprašymą, raktinius žodžius) ir keisti turinį HTML blokams bet kuriame svetainės puslapyje, kuris turi savo URL, arba konkrečiam URL šablonui pagal GET parametrus.

SeoONE: visapusiškas paieškos sistemų optimizavimas ir analizė

Mokama

„URL be parametrų“ nustatymas.
„META puslapio duomenų“ nustatymas.
„Statinis“ – čia galite lengvai nustatyti unikalius puslapio metaduomenis (raktinius žodžius ir aprašymą), taip pat unikalų naršyklės pavadinimą ir puslapio pavadinimą (dažniausiai h1).
„Dinaminis“ – šis nustatymas panašus į ankstesnį. Skirtumas tik tas, kad jis sukurtas dinamiškai generuojamiems puslapiams (pavyzdžiui, prekių katalogui).
„Adreso pakeitimo“ nustatymas leidžia nustatyti antrinį puslapio URL.
„Express analizės“ nustatymas. Šiame puslapyje galite pridėti neribotą skaičių svetainių analizei.

CNCizer (mes nustatome simbolinį kodą)

Mokama

Modulis leidžia automatiškai nustatyti simbolinius svetainės elementų ir skilčių kodus.

Linemedia: SEO blokai svetainėje

Mokama

Pateikiamas komponentas, leidžiantis į bet kurį puslapį įtraukti kelis SEO teksto blokus ir nustatyti puslapio meta informaciją.

Nuoroda į informacijos blokų skyrius ir elementus

Mokama

Naudojant šį modulį standartiniame vaizdo redaktoriuje, atsiranda galimybė pridėti ir redaguoti nuorodas į informacijos blokų elementus/skyrius.

Žiniatinklio analizė „1C Bitrix“: „Yandex Metrica“ ir „Google Analytics“.

Yra keletas skaitiklių išdėstymo cm parinkčių:

Parinktis Nr. 1. Po žymos įdėkite priešinį kodą bitrix/templates/template name/headers.php .

Parinkties numeris 2. Naudokite specialų "Yandex Metrics" papildinį.

Pasirinkimo numeris 3. Bitrix turi savo žiniatinklio analizės modulį. Žinoma, tai neleis jums kurti savo ataskaitų, segmentuoti ir pan., tačiau paprastam naudojimui statistikos stebėjimas yra gana geras įrankis.

„Yandex“ žiniatinklio valdytojas ir „Google“ žiniatinklio valdytojas „1C Bitrix“.

Taip, yra integruotų sprendimų, kaip įtraukti svetainę į žiniatinklio valdytojo paslaugą (tiek „Google“, tiek „Yandex“, bet mes primygtinai rekomenduojame dirbti tiesiogiai su šiomis paslaugomis).

Nes:

ten galite pamatyti daug daugiau duomenų;
būsite tikri, kad duomenys yra atnaujinti (kiek įmanoma) ir nėra iškraipyti;
jei paslauga išleis atnaujinimą, jį galėsite pamatyti ir naudoti iš karto (jei dirbate su papildiniu, turėsite palaukti atnaujinimų).

Jei tik kuriate svetainę ir galvojate, ar 1C Bitrix tinka reklamuoti paieškos sistemose ir ar nėra su ja susijusių problemų, nerimauti neverta. Variklis yra lyderis tarp mokamų cm rinkoje ir jau labai seniai visi SEO specialistai (kalbu ne tik apie mūsų studiją) yra susidūrę su Bitrix ne kartą ir visi turi patirties.

„1C Bitrix“ niekuo nesiskiria nuo reklamavimo kituose cms ar tinkintuose varikliuose. Skirtumai matomi tik optimizavimo įrankiuose, apie kuriuos rašėme aukščiau.

Tačiau verta atsiminti, kad vien įrankiais jūsų svetainės nereklamuosite. Čia mums reikia specialistų, kurie juos tinkamai sukonfigūruos.

Beje, mes turime daug mokomųjų straipsnių, kuriuose yra daug praktinių patarimų, turinčių ilgametę praktikos istoriją. Žinoma, galvojome apie teminio adresų sąrašo sudarymą, bet dar neturėjome laiko. Taigi, kas patogiausia

Skaitymo laikas: 7 minutės

Beveik kiekviename projekte, kuris ateina pas mus audituoti ar reklamuoti, yra neteisingas robots.txt failas, o dažnai jo visai trūksta. Taip nutinka todėl, kad kurdami failą kiekvienas vadovaujasi savo fantazija, o ne taisyklėmis. Išsiaiškinkime, kaip teisingai sudaryti šį failą, kad paieškos robotai su juo dirbtų efektyviai.

Kodėl reikia konfigūruoti robots.txt?

Robotai.txt yra failas, esantis svetainės šakniniame kataloge, nurodantis paieškos sistemų robotams, kurias svetainės dalis ir puslapius jie gali pasiekti, o kuriuos – ne.

Robots.txt nustatymas yra svarbi paieškos variklio rezultatų dalis, tinkamai sukonfigūruoti robotai taip pat padidina svetainės našumą. Trūksta Robots.txt netrukdys paieškos sistemoms tikrinti ir indeksuoti jūsų svetainę, bet jei neturite šio failo, gali kilti dvi problemos:

Paieškos robotas skaitys visą svetainę, o tai „sumažins“ nuskaitymo biudžetą. Tikrinimo biudžetas – tai puslapių, kuriuos paieškos robotas gali nuskaityti per tam tikrą laikotarpį, skaičius.

Be robotų failo paieškos sistema turės prieigą prie juodraščių ir paslėptų puslapių, šimtų puslapių, naudojamų TVS administruoti. Jis juos indeksuos, o kai kalbama apie būtinus puslapius, kuriuose lankytojams pateikiamas tiesioginis turinys, nuskaitymo biudžetas „išeik.

Indeksas gali apimti svetainės prisijungimo puslapį ir kitus administratoriaus išteklius, todėl užpuolikas gali lengvai juos stebėti ir įvykdyti ddos ataką arba įsilaužti į svetainę.

Kaip paieškos robotai mato svetainę su robots.txt ir be jo:

Robots.txt sintaksė

Prieš pradėdami suprasti sintaksę ir nustatydami robots.txt, pažiūrėkime, kaip turėtų atrodyti „idealus failas“:

Bet jūs neturėtumėte jo naudoti iš karto. Kiekvienai svetainei dažniausiai reikalingi atskiri nustatymai, nes visi turime skirtingą svetainės struktūrą ir skirtingą TVS. Pažvelkime į kiekvieną direktyvą eilės tvarka.

Vartotojo atstovas

User-agent – apibrėžia paieškos robotą, kuris turi vykdyti faile aprašytas instrukcijas. Jei reikia kreiptis į visus iš karto, naudokite * piktogramą. Taip pat galite susisiekti su konkrečiu paieškos robotu. Pavyzdžiui, „Yandex“ ir „Google“:

Naudodamas šią direktyvą, robotas supranta, kuriuos failus ir aplankus draudžiama indeksuoti. Jei norite, kad visa svetainė būtų atidaryta indeksavimui, palikite Neleisti reikšmę tuščią. Norėdami paslėpti visą svetainės turinį po Neleisti, įdėkite „/“.

Galime neleisti pasiekti konkretaus aplanko, failo ar failo plėtinio. Mūsų pavyzdyje susisiekiame su visais paieškos robotais ir blokuojame prieigą prie bitrix, paieškos aplanko ir pdf plėtinio.

Leisti

Leisti priverčia indeksuoti svetainės puslapius ir skyrius. Aukščiau pateiktame pavyzdyje susisiekiame su Google paieškos robotu, blokuojame prieigą prie bitrix, paieškos aplanko ir pdf plėtinio. Bet aplanke bitrix mes priverstinai atidarome 3 aplankus indeksavimui: komponentai, js, įrankiai.

Priimančioji – svetainės veidrodis

Veidrodinė svetainė yra pagrindinės svetainės kopija. Veidrodžiai naudojami įvairiems tikslams: adreso keitimui, saugumui, serverio apkrovos mažinimui ir kt.

Šeimininkas yra viena iš svarbiausių taisyklių. Jei ši taisyklė bus įrašyta, robotas supras, į kuriuos svetainės veidrodžius reikia atsižvelgti indeksuojant. Ši direktyva reikalinga Yandex ir Mail.ru robotams. Kiti robotai nepaisys šios taisyklės. Šeimininkas registruojamas tik vieną kartą!

„https://“ ir „http://“ protokolų sintaksė robots.txt faile skirsis.

Svetainės schema – svetainės schema

Svetainės schema yra svetainės naršymo forma, naudojama informuoti paieškos sistemas apie naujus puslapius. Naudodami svetainės schemos direktyvą, „priverstinai“ parodome robotui, kur yra žemėlapis.

Simboliai faile robots.txt

Simboliai, naudojami faile: „/, *, $, #“.

Funkcijų tikrinimas nustačius robots.txt

Įdėję Robots.txt į savo svetainę, turite jį pridėti ir patikrinti „Yandex“ ir „Google“ žiniatinklio valdytojo paskyroje.

„Yandex“ patikrinimas:

Sekite šią nuorodą.
Pasirinkite: Indeksavimo nustatymai – Robots.txt analizė.

Google patikrinimas:

Sekite šią nuorodą.
Pasirinkite: Nuskaityti – Robots.txt failų tikrinimo įrankis.

Tokiu būdu galite patikrinti, ar faile robots.txt nėra klaidų, ir, jei reikia, atlikti reikiamus koregavimus.

Failo turinys turi būti parašytas didžiosiomis raidėmis.
Neleisti direktyvoje reikia nurodyti tik vieną failą arba katalogą.
„User-agent“ eilutė negali būti tuščia.
Vartotojo agentas visada turi būti prieš Disallow.
Nepamirškite įtraukti pasvirojo brūkšnio, jei reikia išjungti katalogo indeksavimą.
Prieš įkeldami failą į serverį, būtinai patikrinkite, ar jame nėra sintaksės ir rašybos klaidų.

Linkiu sėkmės!

3 failo Robots.txt kūrimo ir tinkinimo metodų vaizdo apžvalga

„Bitrix“ yra viena iš labiausiai paplitusių administravimo sistemų Rusijos interneto segmente. Atsižvelgiant į tai, kad, viena vertus, internetinės parduotuvės ir pakankamai apkrautos svetainės dažnai kuriamos ant šios TVS, o kita vertus, Bitrix nėra pati greičiausia sistema, tinkamo robots.txt failo sudarymas tampa lygus. skubesnė užduotis. Jei paieškos robotas indeksuoja tik tai, kas reikalinga reklamai, tai padeda pašalinti nereikalingą svetainės apkrovą. Kaip ir istorijos atveju, beveik kiekviename interneto straipsnyje yra klaidų. Tokius atvejus nurodysiu pačioje straipsnio pabaigoje, kad būtų supratimas, kodėl tokių komandų rašyti nereikia.

Plačiau rašiau apie robots.txt kompiliavimą ir visų jo direktyvų reikšmę. Toliau išsamiai nenagrinėsiu kiekvienos taisyklės prasmės. Apsiribosiu trumpai pakomentuodama, ko kam reikia.

Pataisykite Robots.txt, skirtą Bitrix

Žemiau parašytas robotų kodas yra pagrindinis ir universalus bet kuriai „Bitrix“ svetainei. Tuo pačiu turite suprasti, kad jūsų svetainė gali turėti savo individualių savybių, todėl šį failą reikės koreguoti jūsų konkrečiu atveju.

Vartotojo agentas: * # taisyklės visiems robotams Neleisti: /cgi-bin # prieglobos aplankas Neleisti: /bitrix/ # aplankas su Bitrix sistemos failais Disallow: *bitrix_*= # Bitrix GET užklausos Disallow: /local/ # aplankas su Bitrix sistema failai Neleisti: /*index.php$ # pasikartojantys puslapiai index.php Neleisti: /auth/ # autorizacija Neleisti: *auth= # autorizacija Neleisti: /personal/ # asmeninė paskyra Neleisti: *register= # registracija Neleisti: *forgot_password = # Pamiršau slaptažodį Neleisti: *change_password= # pakeisti slaptažodį Neleisti: *login= # login Disallow: *logout= # atsijungti Neleisti: */search/ # search Neleisti: *action= # action Neleisti: *spausdinti= # spausdinti Neleisti: *? new=Y # naujas puslapis Disallow: *?edit= # redagavimas Neleisti: *?preview= # preview Neleisti: *backurl= # Trackbacks Disallow: *back_url= # Trackbacks Disallow: *back_url_admin= # Trackbacks Neleisti: *captcha # captcha Disallow : */feed # all feeds Disallow: */rss # rss feed Disallow: *?FILTER*= # čia ir toliau pateikiami įvairūs populiarūs filtro parametrai Disallow: *?ei= Neleisti: *?p= Neleisti: *?q= Neleisti : *?tags= Neleisti: *B_ORDER= Neleisti: *BRAND= Neleisti: *CLEAR_CACHE= Neleisti: *ELEMENT_ID= Neleisti: *price_from= Neleisti: *price_to= Neleisti: *PROPERTY_TYPE= Neleisti: *PROPERTY_WIDTH= Neleisti: *PROPERTY_WIDTH= Neleisti Neleisti: *PROPERTY_DIA= Neleisti: *PROPERTY_OPENING_COUNT= Neleisti: *PROPERTY_SELL_TYPE= Neleisti: *PROPERTY_MAIN_TYPE= Neleisti: *PROPERTY_PRICE[*]= Neleisti: *S_LAST= Neleisti: *SECTION_ID= Neleisti: *SECTION_ID= Neleisti: *=Neleisti:] = Neleisti: *SHOW_ALL= Neleisti: *SHOWBY= Neleisti: *SORT= Neleisti: *SPHRASE_ID= Neleisti: *TYPE= Neleisti: *utm*= # nuorodų su utm žymomis Neleisti: *openstat= # nuorodų su openstat žymomis Neleisti : * from= # nuorodos su žymomis iš Leisti: */upload/ # atidaryti aplanką su įkeliamais failais Leisti: /bitrix/*.js # čia ir toliau atidaryti indeksavimo scenarijus Leisti: /bitrix/*.css Leisti: /local/ * .js Leisti: /local/*.css Leisti: /local/*.jpg Leisti: /local/*.jpeg Leisti: /local/*.png Leisti: /local/*.gif # Nurodykite vieną ar daugiau svetainės schemos failų Svetainės schema : http://site.ru/sitemap.xml Svetainės schema: http://site.ru/sitemap.xml.gz # Nurodykite pagrindinį svetainės veidrodį, kaip nurodyta toliau pateiktame pavyzdyje (su WWW / be WWW, jei HTTPS # tada parašykite protokolą, jei reikia nurodyti prievadą, nurodykite jį). Komanda tapo neprivaloma. Anksčiau šeimininkas suprato # Yandex ir Mail.RU. Dabar visos pagrindinės paieškos sistemos neatsižvelgia į pagrindinio kompiuterio komandą. Priegloba: www.site.ru

Blokuoti puslapių puslapių indeksavimą
Neleisti taisyklė: *?PAGEN_1= yra klaida. Puslapiai turi būti indeksuoti. Bet tokiuose puslapiuose tai turi būti parašyta.
Uždarykite vaizdą ir atsisiųskite failus (DOC, DOCX, XLS, XLSX, PDF, PPT, PPTS ir kt.)
To daryti nereikia. Jei turite taisyklę Disallow: /upload/, pašalinkite ją.
Uždarykite žymų ir kategorijų puslapius
Jei jūsų svetainė tikrai turi tokią struktūrą, kad šių puslapių turinys yra dubliuojamas ir juose nėra ypatingos vertės, geriau ją uždaryti. Tačiau ištekliai dažnai reklamuojami ir per kategorijų puslapius bei žymint. Tokiu atveju galite prarasti dalį srauto.
Registruokis Crawl-Delay
Mados taisyklė. Tačiau jis turėtų būti nurodytas tik tada, kai tikrai reikia apriboti robotų lankymąsi jūsų svetainėje. Jei svetainė yra maža ir apsilankymai nesukuria didelės apkrovos serveriui, laiko apribojimas „taip, kad būtų“ nebus pati protingiausia idėja.