Många människor har problem med att deras webbplatser indexeras felaktigt av sökmotorer. I den här artikeln kommer jag att förklara hur man skapar rätt robots.txt för Bitrix för att undvika indexeringsfel.
Vad är robots.txt och vad är det till för?
Robots.txt är en textfil som innehåller parametrar för webbplatsindexering för sökmotorrobotar (Yandex-information).I grund och botten behövs det för att blockera sidor och filer från indexering som sökmotorer inte behöver indexera och därför lägga till i sökresultat.
Vanligtvis är dessa tekniska filer och sidor, administrationspaneler, användarkonton och dubblettinformation, som att söka efter din webbplats, etc.
Skapa en grundläggande robots.txt för Bitrix
Ett vanligt misstag som nybörjare gör är att manuellt kompilera den här filen. Det finns inget behov av att göra detta.Bitrix har redan en modul ansvarig för robots.txt-filen. Den finns på sidan "Marknadsföring -> Sökmotoroptimering -> Konfigurera robots.txt" .
På den här sidan finns en knapp för att skapa en grundläggande uppsättning regler för Bitrix-systemet. Använd den för att skapa alla standardregler:
När webbplatskartan har skapats läggs sökvägen till den automatiskt till i robots.txt.
Efter detta kommer du att ha en bra grunduppsättning regler. Och sedan bör du fortsätta från SEO-specialistens rekommendationer och stänga (med knappen "Blockera fil/mapp") de nödvändiga sidorna. Vanligtvis är dessa söksidor, personliga konton och andra.
Och glöm inte att du kan kontakta oss för
Att leverera en färdig webbplats på Bitrix är inte så illa. Som regel börjar allt det roliga efter att det först har indexerats av Google och Yandex sökrobotar, när mycket information som är onödig för användare kan komma in i sökresultaten: från "tekniskt skräp" till fotot från nyårsföretaget fest.
Håll ut, okänd SEO-kille, håll ut, blivande programmerare, men allt du behövde göra var att skapa den rätta robots.txt för Bitrix.
Som referens: robots.txt är en fil som finns i roten på webbplatsen och begränsar sökrobotar från att komma åt vissa avsnitt och sidor.
Robots.txt för företagssajter och visitkortsajter
Favoritfrasen för blivande copywriters, "varje projekt är olika", passar vår situation bäst. De enda undantagen är standarddirektiven för robots.txt: User-agent; Disallow, Host och Sitemap. Om du vill är detta ett obligatoriskt minimum.
Allt annat i frågor om stängning och täckning är efter eget gottfinnande. Trots det faktum att Bitrix är en boxad lösning, kan direktiven för projekt som bygger på den skilja sig mycket från varandra. Frågan är strukturen och funktionaliteten hos en enda webbplats.
Låt oss föreställa oss att du har en företagswebbplats på Bitrix med en standarduppsättning av avsnitt: "Om företaget", "Tjänster", "Projekt", "Kontakter", "Nyheter". Om innehållet på en sådan sida är unikt måste du arbeta med att stänga den tekniska delen av projektet.
1. Stäng en mapp från indexering /bitrix Och /cgi-bin. Rent teknisk information (CSS, mallar, captchas), som inte är till någon nytta för någon förutom GoogleBot-förbannelsen i panelen för webbansvariga. Du kan säkert stänga den. Åtgärdsalgoritmen är som följer: Disallow: /example/
2. Mapp /Sökär inte heller intressant för vare sig sökmotorer eller användare. Genom att stänga den skyddar du dig mot dubbletter av sidor, dubbletter av taggar och titlar i sökresultat.
3. När man kompilerar robots.txt på Bitrix glömmer folk ibland bort att stänga auktoriseringsformulär och PHP-autentisering på webbplatsen. Det här handlar om
/auth/
/auth.php
4. Om din webbplats har möjlighet att skriva ut material: vare sig det är kartor över området eller fakturor för betalning, glöm inte att stänga följande kataloger i robots.txt-filen:
/*?print=
/*&print=
5. Bitrix lagrar noggrant hela historiken för din webbplats: framgångsrika användarregistreringar, register över framgångsrika lösenordsändringar och återställning. Vi tvivlar dock på att detta kommer att vara av intresse för sökrobotar.
/*register=ja
/*forgot_password=ja
/*change_password=ja
/*login=ja
/*logout=ja
/*auth=ja
6. Föreställ dig att du tittar igenom ett fotoalbum på en webbplats, öppnar en, andra, tredje bild, men på den fjärde bestämmer du dig för att gå tillbaka ett steg. Något liknande detta förbannelseord kommer att visas i adressfältet: ?back_url_ =%2Fbitrix%2F%2F. Den tas bort igen genom att ändra robots.txt-filen i roten av CMS "1C-Bitrix".
/*BACKURL=*
/*back_url=*
/*BACK_URL=*
/*back_url_admin=*
Således försäkrar vi den öppna delen (synlig för användare) och den stängda delen (synlig för Bitrix CMS-administratörer).
7. Mapp/uppladdning. I den lagrar Bitrix bilder och videor från sajten. Om innehållet är unikt behöver du inte stänga mappen. När allt kommer omkring är indexerade bilder och videor en extra källa till trafik. Det är en annan sak när /upload lagrar konfidentiell information eller icke-unikt innehåll.
Robots.txt på Bitrix för nätbutiker
Grunden är densamma som för företagswebbplatser, men med några ändringar.
1. Till skillnad från ett litet företags webbplats har en webbutik vanligtvis minst hundra sidor. Pagineringssidor, som ansvarar för att flytta användaren från ett produktkort till ett annat, täpper till sökmotorer. Ju fler sidor, desto mer "skräp".
/*?PAGEN
2. Förbud mot indexering av webbplatsanvändare och administratörer. Spår av filtrering, jämföra produkter, lägga till produkter i varukorgen bör också döljas för sökrobotens ögon.
/*?räkna
/*?handling
/*?set_filter=*
3. Slutligen UTM-taggar. Du kan blockera åtkomst till dem enligt följande:
/*openstat=
/*utm_source=
Vi har släppt en ny bok, Social Media Content Marketing: How to Get Inside Your Followers' Heads and Make Them Fall in Love with Your Brand.
1C Bitrix är den mest populära kommersiella motorn. Det används ofta i många studior, även om det inte är idealiskt. Och om vi pratar om SEO-optimering, då måste du vara extremt försiktig.
Rätt robots.txt för 1C Bitrix
I nya versioner inkluderade CMS-utvecklare till en början robots.txt, som kan lösa nästan alla problem med dubbletter av sidor. Om din version inte har uppdaterats, jämför och ladda upp en ny robot.
Du måste också närma dig frågan om robotar mer noggrant om ditt projekt håller på att slutföras av programmerare.
User-agent: * Disallow: /bitrix/ Disallow: /search/ Tillåt: /search/map.php Disallow: /club/search/ Disallow: /club/group/search/ Disallow: /club/forum/search/ Disallow: /communication/forum/search/ Disallow: /communication/blog/search.php Disallow: /club/gallery/tags/ Disallow: /examples/my-components/ Disallow: /examples/download/download_private/ Disallow: /auth/ Disallow : /auth.php Disallow: /personal/ Disallow: /communication/forum/user/ Disallow: /e-store/paid/detail.php Disallow: /e-store/affiliates/ Disallow: /club/$ Disallow: /club /meddelanden/ Disallow: /club/log/ Disallow: /content/board/my/ Disallow: /content/links/my/ Disallow: /*/search/ Disallow: /*PAGE_NAME=sök Disallow: /*PAGE_NAME=user_post Disallow : /*PAGE_NAME=detail_slide_show Disallow: /*/slide_show/ Disallow: /*/gallery/*order=* Disallow: /*?print= Disallow: /*&print= Disallow: /*register=yes Disallow: /*forgot_password= ja Disallow: /*change_password=yes Disallow: /*login=yes Disallow: /*logout=yes Disallow: /*auth=yes Disallow: /*action=ADD_TO_COMPARE_LIST Disallow: /*action=DELETE_FROM_COMPARE_LIST=ADLIST: /*action=DELETE_FROM_COMPARE_LIST=ADD2 Disallow: /*action=KÖP Disallow: /*print_course=Y Disallow: /*bitrix_*= Disallow: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow : /*back_url_admin=* Disallow: /*index.php$
Värd: www.site.ru Webbplatskarta: http://www.site.ru/sitemap.xmlInitial SEO-webbplatsoptimering på 1C Bitrix
1C Bitrix har en SEO-modul, som redan ingår i "Start"-tariffen. Denna modul har mycket stora möjligheter som kommer att tillfredsställa alla behov hos SEO-specialister under den första webbplatsoptimeringen.
Dess kapacitet:
- allmän länkrankning;
- citat;
- antal länkar;
- sökord;
- indexering av sökmotorer.
SEO-modul + webbanalys
Verktyg för sökmotoroptimering på sidan:
- all information som användaren behöver för att ändra sidan presenteras;
- den offentliga delen visar grundläggande information om sidans innehåll;
- speciell information om sidan visas: frekvens av indexering av sökmotorer, frågor som leder till denna sida, ytterligare statistisk information;
- en visuell bedömning av sidans prestanda ges;
- möjligheten att omedelbart ta fram de nödvändiga dialogrutorna och göra ändringar på sidan.
Verktyg för sökmotoroptimering på sajten:
- visar all information som behövs för att ändra webbplatsen;
- grundläggande information om innehållet på webbplatsen visas i dess offentliga del;
- i förhållande till hela webbplatsen visas följande: övergripande länkrankning, citeringar, antal länkar, sökord, indexering av sökmotorer;
- visuell bedömning av webbplatsens prestanda;
- möjligheten att omedelbart kalla fram nödvändiga dialoger och göra ändringar på webbplatsen.
1C-Bitrix: Marknadsplats
Bitrix har även en egen Marketplace, där det finns flera moduler för SEO-optimering av projektet. De duplicerar varandras funktioner, så välj baserat på pris och funktioner.
Hantera enkelt metataggar för SEO
Fri
En modul som låter dig lägga till unik SEO-data (titel, beskrivning, nyckelord) till vilken sida som helst på webbplatsen, inklusive katalogelement.
SEO-verktyg
Betalt
- CNC-webbplatshantering på en sida.
- Möjlighet att omdefiniera sidtitlar och metataggar.
- Möjlighet att installera omdirigeringar.
- Testar OpenGraph-taggar.
- Senaste anropet av en riktig Google- eller Yandex-bot (uppskjuten kontroll av botens giltighet genom dess IP-adress).
- Lista över övergångar till dina sidor, söktrafik
- Räkna antalet likes på dina sidor med hjälp av en tredjepartstjänst
SEO-verktyg: Meta Tag Management PRO
Betalt
Ett verktyg för att automatiskt generera titel, beskrivning, nyckelordsmetataggar samt H1-rubriker för ALLA webbplatssidor.
- användning av regler och mönster;
- tillämpa en regel baserad på inriktning;
- möjligheten att skräddarsy projektet för valfritt antal nycklar;
- centraliserad hantering av metataggar på alla projekt;
- operativ kontroll av statusen för metataggar på alla sidor i projektet.
SEO-specialistverktyg
Betalt
Modulen låter dig:
- Ställ in metataggar (titel, nyckelord, beskrivning).
- Framtvinga ändringar av H1 (sidtitel) som ställts in av alla komponenter på sidan.
- Ställ in den kanoniska adressflaggan.
- Installera upp till tre SEO-texter var som helst på sidan, med eller utan visuell redigerare.
- Multisite.
- Redigera allt ovanstående både "från ansiktet" på webbplatsen och från adminpanelen.
- Installera och använd modulen på "First Site"-utgåvan av Bitrix.
ASEO editor-optimizer
Betalt
Modulen låter dig ställa in unik SEO-data (titel, beskrivning, nyckelord) och ändra innehållet för HTML-block på vilken sida som helst på webbplatsen som har sin egen URL, eller för en specifik URL-mall baserad på GET-parametrar.
SeoONE: omfattande sökmotoroptimering och analys
Betalt
- Ställa in "URL utan parametrar".
- Ställa in "META-sidadata".
- "Statisk" - här kan du enkelt ställa in unik metadata (sökord och beskrivning) för sidan, samt en unik webbläsartitel och sidtitel (vanligtvis h1).
- "Dynamisk" - den här inställningen liknar den föregående. Den enda skillnaden är att den skapas för dynamiskt genererade sidor (till exempel för en produktkatalog).
- Inställningen "Address Substitution" låter dig ange en sekundär URL för sidan.
- Inställning av "Expressanalys". På den här sidan kan du lägga till ett obegränsat antal webbplatser för analys.
CNCizer (vi sätter en symbolisk kod)
Betalt
Modulen låter dig ställa in symboliska koder för element och avsnitt på webbplatsen automatiskt.
Linemedia: SEO-blockeringar på sajten
Betalt
Tillhandahåller en komponent som låter dig lägga till flera SEO-textblock på vilken sida som helst och ställa in metainformation om sidan.
Länk till avsnitt och delar av informationsblock
Betalt
Genom att använda denna modul i den vanliga visuella editorn blir det möjligt att lägga till och redigera länkar till element/sektioner av informationsblock.
Webbanalys i 1C Bitrix: Yandex Metrica och Google Analytics
Det finns flera alternativ för att placera räknare i cms:
Alternativ nr. 1. Placera räknarkoden bitrix/mallar/mallnamn/headers.php efter taggen
.Alternativ nummer 2. Använd en speciell plugin för Yandex Metrics.
Alternativ nummer 3. Bitrix har en egen webbanalysmodul. Naturligtvis kommer det inte att tillåta dig att skapa dina egna rapporter, göra segmentering och så vidare, men för enkel användning är övervakningsstatistik ett ganska verktyg.
Yandex Webmaster och Google Webmaster i 1C Bitrix
Ja, det finns inbyggda lösningar för att lägga till en webbplats till tjänsten Webmaster (både Google och Yandex), men vi rekommenderar starkt att du arbetar direkt med dessa tjänster.
Därför att:
- där kan du se mycket mer data;
- du kommer att vara säker på att uppgifterna är uppdaterade (så långt som möjligt) och inte förvrängda;
- om tjänsten släpper en uppdatering kommer du att kunna se och använda den direkt (om du arbetar med ett plugin måste du vänta på uppdateringar).
Om du bara skapar en webbplats och undrar hur lämplig 1C Bitrix är för marknadsföring i sökmotorer och om det finns några problem med det, så behöver du inte oroa dig. Motorn är ledande bland betalda cms på marknaden och har varit det under mycket lång tid, alla SEO-specialister (jag pratar inte bara om vår studio) har stött på Bitrix mer än en gång och alla har erfarenhet.
På 1C är Bitrix inte annorlunda än marknadsföring på andra cms eller anpassade motorer. Skillnaderna kan bara ses i optimeringsverktygen som vi skrev om ovan.
Men det är värt att komma ihåg att verktyg ensamma inte kommer att marknadsföra din webbplats. Här behöver vi specialister som konfigurerar dem korrekt.
Vi har förresten en hel del instruktionsartiklar som innehåller många praktiska råd med en historia av många års praktik. Naturligtvis funderade vi på att skapa en tematisk e-postlista, men vi har inte hunnit ännu. Så vad är bekvämast
Lästid: 7 minut(er)
Nästan varje projekt som kommer till oss för granskning eller marknadsföring har en felaktig robots.txt-fil, och ofta saknas den helt. Detta händer för att när man skapar en fil styrs alla av sin fantasi och inte av reglerna. Låt oss ta reda på hur man korrekt komponerar den här filen så att sökrobotar fungerar effektivt med den.
Varför behöver du konfigurera robots.txt?
Robots.txtär en fil som finns i rotkatalogen på en webbplats som talar om för sökmotorrobotar vilka avsnitt och sidor på webbplatsen de kan komma åt och vilka de inte kan.
Att konfigurera robots.txt är en viktig del i sökmotorresultaten, och korrekt konfigurerade robotar ökar också webbplatsens prestanda. Om Robots.txt saknas hindrar inte sökmotorer från att genomsöka och indexera din webbplats, men om du inte har den här filen kan du ha två problem:
Sökroboten kommer att läsa hela webbplatsen, vilket kommer att "underminera" den genomsökningsbudget. Genomsökningsbudget är antalet sidor som en sökrobot kan genomsöka under en viss tidsperiod.
Utan en robotfil kommer sökmotorn att ha tillgång till utkast och dolda sidor, till hundratals sidor som används för att administrera CMS. Det kommer att indexera dem, och när det kommer till de nödvändiga sidorna som tillhandahåller direkt innehåll för besökare kommer genomsökningsbudgeten att "ta slut".
Indexet kan innehålla webbplatsens inloggningssida och andra administratörsresurser, så att en angripare enkelt kan spåra dem och utföra en ddos-attack eller hacka webbplatsen.
Hur sökrobotar ser en webbplats med och utan robots.txt:
Robots.txt-syntax
Innan vi börjar förstå syntaxen och ställa in robots.txt, låt oss titta på hur den "ideala filen" ska se ut:
Men du ska inte använda den direkt. Varje sida kräver oftast sina egna inställningar, eftersom vi alla har olika webbplatsstruktur och olika CMS. Låt oss titta på varje direktiv i ordning.
Användaragent
User-agent - definierar en sökrobot som måste följa instruktionerna som beskrivs i filen. Om du behöver tilltala alla samtidigt, använd *-ikonen. Du kan också kontakta en specifik sökrobot. Till exempel, Yandex och Google:
Med detta direktiv förstår roboten vilka filer och mappar som är förbjudna att indexeras. Om du vill att hela webbplatsen ska vara öppen för indexering lämnar du Disallow-värdet tomt. För att dölja allt innehåll på webbplatsen efter Disallow, lägg "/".
Vi kan förhindra åtkomst till en specifik mapp, fil eller filtillägg. I vårt exempel kontaktar vi alla sökrobotar och blockerar åtkomst till bitrix, sökmapp och pdf-tillägget.
Tillåta
Tillåt tvingar sidor och delar av webbplatsen att indexeras. I exemplet ovan kontaktar vi Googles sökrobot, blockerar åtkomst till bitrix, sökmapp och pdf-tillägget. Men i bitrix-mappen tvingar vi öppna tre mappar för indexering: komponenter, js, verktyg.
Värd - webbplatsspegel
En spegelwebbplats är en dubblett av huvudwebbplatsen. Speglar används för en mängd olika ändamål: att ändra adress, säkerhet, minska belastningen på servern, etc.
Värd är en av de viktigaste reglerna. Om denna regel skrivs ner kommer roboten att förstå vilka av sajtens speglar som bör beaktas för indexering. Detta direktiv är nödvändigt för Yandex- och Mail.ru-robotar. Andra robotar kommer att ignorera denna regel. Värden registreras endast en gång!
För protokollen "https://" och "http://" kommer syntaxen i robots.txt-filen att vara annorlunda.
Webbplatskarta - webbplatskarta
En webbplatskarta är en form av webbplatsnavigering som används för att informera sökmotorer om nya sidor. Med hjälp av sitemap-direktivet visar vi "med tvång" roboten var kartan finns.
Symboler i robots.txt
Symboler som används i filen: "/, *, $, #".
Kontrollerar funktionalitet efter installation av robots.txt
Efter att du har placerat Robots.txt på din webbplats måste du lägga till och kontrollera den i Yandex och Googles webbansvariga.
Yandex-kontroll:
- Följ denna länk.
- Välj: Indexeringsinställningar - Robots.txt-analys.
Google check:
- Följ denna länk.
- Välj: Scan - Robots.txt filinspektionsverktyg.
På så sätt kan du kontrollera din robots.txt för fel och göra nödvändiga justeringar vid behov.
- Innehållet i filen ska skrivas med versaler.
- Disallow-direktivet behöver bara ange en fil eller katalog.
- Raden "User-agent" får inte vara tom.
- User-agent ska alltid komma före Disallow.
- Glöm inte att inkludera ett snedstreck om du behöver inaktivera indexering av en katalog.
- Innan du laddar upp en fil till servern, se till att kontrollera den för syntax- och stavfel.
Jag önskar er framgång!
Videorecension av 3 metoder för att skapa och anpassa Robots.txt-filen
Bitrix är ett av de vanligaste administrationssystemen i det ryska segmentet av Internet. Med hänsyn till det faktum att å ena sidan nätbutiker och ganska laddade webbplatser ofta byggs på detta CMS, och å andra sidan är Bitrix inte det snabbaste systemet, blir det en jämn kompilering av rätt robots.txt-fil. mer brådskande uppgift. Om sökroboten bara indexerar det som behövs för marknadsföring, hjälper detta till att ta bort onödig belastning på sajten. Som i fallet med berättelsen med, finns det fel i nästan varje artikel på Internet. Jag kommer att ange sådana fall i slutet av artikeln, så att det finns en förståelse för varför sådana kommandon inte behöver skrivas.
Jag skrev mer detaljerat om sammanställningen av robots.txt och innebörden av alla dess direktiv. Nedan kommer jag inte att uppehålla mig i detalj vid innebörden av varje regel. Jag ska begränsa mig till att kort kommentera vad som behövs till vad.
Rätt Robots.txt för Bitrix
Koden för Robots, som är skriven nedan, är grundläggande och universell för alla webbplatser på Bitrix. Samtidigt måste du förstå att din webbplats kan ha sina egna individuella egenskaper, och den här filen måste justeras i ditt specifika fall.
User-agent: * # regler för alla robotar Disallow: /cgi-bin # hosting folder Disallow: /bitrix/ # mapp med Bitrix-systemfiler Disallow: *bitrix_*= # Bitrix GET-förfrågningar Disallow: /local/ # mapp med Bitrix-system filer Disallow: /*index.php$ # dubbletter av sidor index.php Disallow: /auth/ # auktorisation Disallow: *auth= # auktorisation Disallow: /personal/ # personligt konto Disallow: *register= # registrering Disallow: *forgot_password = # glömt lösenord Disallow: *change_password= # ändra lösenord Disallow: *login= # login Disallow: *logout= # logout Disallow: */search/ # sök Disallow: *action= # actions Disallow: *print= # print Disallow: *? new=Y # ny sida Disallow: *?edit= # editing Disallow: *?preview= # preview Disallow: *backurl= # trackbacks Disallow: *back_url= # trackbacks Disallow: *back_url_admin= # trackbacks Disallow: *captcha # captcha Disallow : */feed # all feeds Disallow: */rss # rss feed Disallow: *?FILTER*= # här och nedan finns olika populära filterparametrar Disallow: *?ei= Disallow: *?p= Disallow: *?q= Disallow : *?tags= Disallow: *B_ORDER= Disallow: *BRAND= Disallow: *CLEAR_CACHE= Disallow: *ELEMENT_ID= Disallow: *price_from= Disallow: *price_to= Disallow: *PROPERTY_TYPE= Disallow: *PROPERTY_WIDTH= Disallow: *PROPERTY_WIDTH= Disallow: Disallow: *PROPERTY_DIA= Disallow: *PROPERTY_OPENING_COUNT= Disallow: *PROPERTY_SELL_TYPE= Disallow: *PROPERTY_MAIN_TYPE= Disallow: *PROPERTY_PRICE[*]= Disallow: *S_LAST= Disallow: *SECTION_ID*]= Ej tillåt[:ALLA] = Disallow: *SHOW_ALL= Disallow: *SHOWBY= Disallow: *SORT= Disallow: *SPHRASE_ID= Disallow: *TYPE= Disallow: *utm*= # länkar med utm-taggar Disallow: *openstat= # länkar med openstat-taggar Disallow : * from= # länkar med taggar från Tillåt: */uppladdning/ # öppna mappen med filuppladdningar Tillåt: /bitrix/*.js # här och ytterligare öppna skript för indexering Tillåt: /bitrix/*.css Tillåt: /local/ * .js Tillåt: /local/*.css Tillåt: /local/*.jpg Tillåt: /local/*.jpeg Tillåt: /local/*.png Tillåt: /local/*.gif # Ange en eller flera webbplatskartfiler Webbplatskarta : http://site.ru/sitemap.xml Webbplatskarta: http://site.ru/sitemap.xml.gz # Ange huvudspegeln för webbplatsen, som i exemplet nedan (med WWW / utan WWW, om HTTPS # skriv sedan protokoll, om du behöver ange en port, ange det). Kommandot har blivit valfritt. Tidigare förstod Host # Yandex och Mail.RU. Nu tar inte alla större sökmotorer hänsyn till Host-kommandot. Värd: www.site.ru
- Blockera pagineringssidor från indexering
Disallow-regeln: *?PAGEN_1= är ett fel. Sidindelningssidor måste indexeras. Men på sådana sidor måste det skrivas. - Stäng bild och ladda ner filer (DOC, DOCX, XLS, XLSX, PDF, PPT, PPTS, etc.)
Det finns inget behov av att göra detta. Om du har en Disallow: /upload/-regel, ta bort den. - Stäng tagg- och kategorisidor
Om din sida verkligen har en sådan struktur att innehållet på dessa sidor är duplicerat och det inte finns något särskilt värde i dem, så är det bättre att stänga den. Resursfrämjande görs dock ofta även genom kategorisidor och taggning. I det här fallet kan du förlora en del trafik. - Registrera Crawl-Delay
Mode regel. Det bör dock endast anges när det verkligen finns ett behov av att begränsa robotar från att besöka din webbplats. Om webbplatsen är liten och besök inte skapar en betydande belastning på servern, är det inte den mest rimliga idén att begränsa tiden "så att den är det".
