ბევრ ადამიანს ექმნება პრობლემები საძიებო სისტემების მიერ მათი საიტების არასწორად ინდექსირებასთან დაკავშირებით. ამ სტატიაში მე აგიხსნით როგორ შევქმნათ Bitrix-ისთვის სწორი robots.txt, რათა თავიდან ავიცილოთ ინდექსირების შეცდომები.
რა არის robots.txt და რისთვის არის ის?
Robots.txt არის ტექსტური ფაილი, რომელიც შეიცავს საიტის ინდექსირების პარამეტრებს საძიებო სისტემის რობოტებისთვის (Yandex ინფორმაცია).ძირითადად, საჭიროა დაბლოკოს გვერდები და ფაილები ინდექსაციისგან, რომლებსაც საძიებო სისტემებს არ სჭირდებათ ინდექსირება და, შესაბამისად, ძიების შედეგებში დამატება.
როგორც წესი, ეს არის ტექნიკური ფაილები და გვერდები, ადმინისტრაციული პანელები, მომხმარებლის ანგარიშები და დუბლიკატი ინფორმაცია, როგორიცაა თქვენი საიტის ძიება და ა.შ.
ძირითადი robots.txt-ის შექმნა Bitrix-ისთვის
დამწყებთათვის ჩვეულებრივი შეცდომა არის ამ ფაილის ხელით შედგენა. ამის გაკეთება არ არის საჭირო.Bitrix-ს უკვე აქვს მოდული, რომელიც პასუხისმგებელია robots.txt ფაილზე. ის შეგიძლიათ იხილოთ გვერდზე "მარკეტინგი -> საძიებო სისტემის ოპტიმიზაცია -> robots.txt-ის დაყენება" .
ამ გვერდზე არის ღილაკი Bitrix სისტემის ძირითადი წესების შესაქმნელად. გამოიყენეთ იგი ყველა სტანდარტული წესის შესაქმნელად:
საიტის რუქის გენერირების შემდეგ, მისკენ მიმავალი გზა ავტომატურად დაემატება robots.txt-ს.
ამის შემდეგ თქვენ გექნებათ კარგი ძირითადი წესები. შემდეგ კი უნდა გააგრძელოთ SEO სპეციალისტის რეკომენდაციები და დახუროთ (ღილაკის „დაბლოკვა ფაილი/საქაღალდე“) საჭირო გვერდები. როგორც წესი, ეს არის საძიებო გვერდები, პირადი ანგარიშები და სხვა.
და არ დაგავიწყდეთ, რომ შეგიძლიათ დაგვიკავშირდეთ
მზა ვებსაიტის მიწოდება Bitrix-ზე არც ისე ცუდია. როგორც წესი, მთელი გართობა იწყება Google-ისა და Yandex-ის საძიებო რობოტების მიერ პირველად ინდექსირების შემდეგ, როდესაც მომხმარებლებისთვის არასაჭირო ბევრი ინფორმაცია შეიძლება მოხვდეს ძიების შედეგებში: „ტექნიკური ნაგავიდან“ იმ ფოტომდე საახალწლო კორპორატიულიდან. წვეულება.
გაჩერდი, უცნობი SEO ბიჭი, დადექი იქ, იქნებოდე პროგრამისტი, მაგრამ ყველაფერი რაც უნდა გაგეკეთებინა იყო სწორის შექმნა robots.txt Bitrix-ისთვის.
Ცნობისთვის: robots.txt არის ფაილი, რომელიც მდებარეობს საიტის ძირში და ზღუდავს საძიებო რობოტებს წვდომას გარკვეულ განყოფილებებსა და გვერდებზე.
Robots.txt კორპორატიული საიტებისთვის და სავიზიტო ბარათების საიტებისთვის
დამწყებ კოპირაიტერების საყვარელი ფრაზა, „ყველა პროექტი განსხვავებულია“, ყველაზე მეტად უხდება ჩვენს სიტუაციას. ერთადერთი გამონაკლისი არის სტანდარტული დირექტივები robots.txt-ისთვის: User-agent; აკრძალვა, ჰოსტი და საიტის რუკა. თუ გსურთ, ეს არის სავალდებულო მინიმუმი.
ყველაფერი დანარჩენი დახურვისა და დაფარვის საკითხებში თქვენი შეხედულებისამებრ. იმისდა მიუხედავად, რომ Bitrix არის ყუთიანი გადაწყვეტა, მასზე აგებული პროექტების დირექტივები შეიძლება მნიშვნელოვნად განსხვავდებოდეს ერთმანეთისგან. კითხვა არის ერთი საიტის სტრუქტურა და ფუნქციონირება.
წარმოვიდგინოთ, რომ თქვენ გაქვთ კორპორატიული ვებსაიტი Bitrix-ზე, სექციების სტანდარტული ნაკრებით: „კომპანიის შესახებ“, „მომსახურებები“, „პროექტები“, „კონტაქტები“, „ახალი ამბები“. თუ ასეთი საიტის შინაარსი უნიკალურია, მაშინ თქვენ უნდა იმუშაოთ პროექტის ტექნიკური ნაწილის დახურვაზე.
1. დახურეთ საქაღალდე ინდექსაციისგან /ბიტრიქსიდა /cgi-bin. წმინდა ტექნიკური ინფორმაცია (CSS, შაბლონები, captcha), რომელიც არავის გამოადგება, გარდა GoogleBot ლანძღვისა ვებმასტერ პანელში. შეგიძლიათ უსაფრთხოდ დახუროთ იგი. მოქმედების ალგორითმი ასეთია: აკრძალვა: /მაგალითი/
2. საქაღალდე /ძებნაასევე არ არის საინტერესო არც საძიებო სისტემებისთვის და არც მომხმარებლებისთვის. მისი დახურვით თქვენ დაიცავთ თავს დუბლიკატი გვერდებისგან, დუბლიკატი ტეგებისა და სათაურებისგან ძიების შედეგებში.
3. Bitrix-ზე robots.txt-ის შედგენისას ადამიანებს ზოგჯერ ავიწყდებათ ავტორიზაციის ფორმების დახურვა და PHP ავტორიზაცია საიტზე. ეს არის დაახლოებით
/auth/
/auth.php
4. თუ თქვენს საიტს აქვს ნებისმიერი მასალის დაბეჭდვის შესაძლებლობა: იქნება ეს ტერიტორიის რუკები თუ გადახდის ინვოისები, არ დაგავიწყდეთ robots.txt ფაილში შემდეგი დირექტორიების დახურვა:
/*?ბეჭდვა=
/*&ბეჭდვა=
5. Bitrix ყურადღებით ინახავს თქვენი ვებსაიტის მთელ ისტორიას: წარმატებულ მომხმარებელთა რეგისტრაციას, პაროლის წარმატებული ცვლილებებისა და აღდგენის ჩანაწერებს. თუმცა, ჩვენ ეჭვი გვეპარება, რომ ეს საინტერესო იქნება საძიებო რობოტებისთვის.
/*რეგისტრაცია=დიახ
/*დავიწყდა_პაროლი=დიახ
/*change_password=დიახ
/* შესვლა=დიახ
/*გამოსვლა=დიახ
/*auth=დიახ
6. წარმოიდგინეთ, რომ ვებსაიტზე ათვალიერებთ ფოტო ალბომს, ხსნით ერთ, მეორე, მესამე ფოტოებს, მაგრამ მეოთხეზე გადაწყვეტთ ერთი ნაბიჯით უკან დაბრუნდეთ. მსგავსი წყევლა გამოჩნდება მისამართების ზოლში: ?back_url_ =%2Fbitrix%2F%2F. ის კვლავ ამოღებულია robots.txt ფაილის შეცვლით CMS "1C-Bitrix"-ის ძირში.
/*BACKURL=*
/*back_url=*
/*BACK_URL=*
/*back_url_admin=*
ამრიგად, ჩვენ ვაზღვევთ ღია ნაწილს (ხილული მომხმარებლისთვის) და დახურულ ნაწილს (ხილული Bitrix CMS ადმინისტრატორებისთვის).
7. საქაღალდე / ატვირთვა. მასში Bitrix ინახავს სურათებს და ვიდეოებს საიტიდან. თუ კონტენტი უნიკალურია, მაშინ არ არის საჭირო საქაღალდის დახურვა. ყოველივე ამის შემდეგ, ინდექსირებული სურათები და ვიდეო ტრაფიკის დამატებითი წყაროა. სხვა საკითხია, როდესაც /upload ინახავს კონფიდენციალურ ინფორმაციას ან არაუნიკალურ კონტენტს.
Robots.txt Bitrix-ზე ონლაინ მაღაზიებისთვის
საფუძველი იგივეა, რაც კორპორატიული ვებსაიტებისთვის, მაგრამ რამდენიმე შესწორებით.
1. მცირე კომპანიის ვებსაიტისგან განსხვავებით, ონლაინ მაღაზიას ჩვეულებრივ აქვს მინიმუმ ასი გვერდი. პაგინაციის გვერდები, რომლებიც პასუხისმგებელნი არიან მომხმარებლის ერთი პროდუქტის ბარათიდან მეორეზე გადატანაზე, ბლოკავს საძიებო სისტემებს. რაც მეტი გვერდია, მით მეტი "ნაგავი".
/*?გვერდი
2. საიტის მომხმარებლებისა და ადმინისტრატორების ინდექსირების მოქმედებების აკრძალვა. ფილტრაციის, პროდუქტების შედარების, კალათაში პროდუქტების დამატების კვალი ასევე უნდა დაიმალოს საძიებო რობოტის თვალში.
/*?თვლა
/*?მოქმედება
/*?set_filter=*
3. და ბოლოს, UTM ტეგები. თქვენ შეგიძლიათ დაბლოკოთ მათზე წვდომა შემდეგნაირად:
/*openstat=
/*utm_source=
ჩვენ გამოვაქვეყნეთ ახალი წიგნი, სოციალური მედიის კონტენტ მარკეტინგი: როგორ მოხვდეთ თქვენი მიმდევრების თავებში და შეაყვაროთ ისინი თქვენი ბრენდი.
1C Bitrix არის ყველაზე პოპულარული კომერციული ძრავა. იგი ფართოდ გამოიყენება ბევრ სტუდიაში, თუმცა არ არის იდეალური. და თუ ვსაუბრობთ SEO ოპტიმიზაციაზე, მაშინ ძალიან ფრთხილად უნდა იყოთ.
სწორი robots.txt 1C Bitrix-ისთვის
ახალ ვერსიებში, CMS დეველოპერებმა თავდაპირველად შეიტანეს robots.txt, რომელსაც შეუძლია გადაჭრას თითქმის ყველა პრობლემა დუბლიკატი გვერდებით. თუ თქვენი ვერსია არ განახლებულა, შეადარეთ და ატვირთეთ ახალი რობოტები.
თქვენ ასევე უნდა მიუახლოვდეთ რობოტების საკითხს უფრო ფრთხილად, თუ თქვენი პროექტი ამჟამად სრულდება პროგრამისტების მიერ.
მომხმარებლის აგენტი: * აკრძალვა: /bitrix/ აკრძალვა: /search/ დაშვება: /search/map.php აკრძალვა: /club/search/ აკრძალვა: /club/group/search/ აკრძალვა: /club/forum/search/ აკრძალვა: /communication/forum/search/ აკრძალვა: /communication/blog/search.php აკრძალვა: /club/gallery/tags/ აკრძალვა: /examples/my-components/ აკრძალვა: /მაგალითები/ჩამოტვირთვა/ჩამოტვირთვა_პირადი/ აკრძალვა: /auth/ არ დაუშვას : /auth.php აკრძალვა: /პერსონალური/ აკრძალვა: /communication/forum/user/ აკრძალვა: /e-store/paid/detail.php აკრძალვა: /e-store/affiliates/ აკრძალვა: /club/$ აკრძალვა: /club /messages/ აკრძალვა: /club/log/ აკრძალვა: /content/board/my/ აკრძალვა: /content/links/my/ აკრძალვა: /*/ძებნა/ აკრძალვა: /*PAGE_NAME=ძებნა არ დაუშვას: /*PAGE_NAME=user_post არ დაუშვას : /*PAGE_NAME=detail_slide_show აკრძალვა: /*/slide_show/ აკრძალვა: /*/gallery/*order=* აკრძალვა: /*?print= აკრძალვა: /*&print= აკრძალვა: /*რეგისტრაცია=დიახ აკრძალვა: /*დავიწყდა_პაროლი= დიახ აკრძალვა: /*change_password=yes არ დაუშვას: /*login=yes არ დაუშვას: /*logout=yes არ დაუშვას: /*auth=yes არ დაუშვას: /*action=ADD_TO_COMPARE_LIST აკრძალვა: /*action=DELETE_FROM_COMPARE_LIST არ დაუშვას: /*action=ADD აკრძალვა: /*action=BUY აკრძალვა: /*print_course=Y აკრძალვა: /*bitrix_*= აკრძალვა: /*backurl=* აკრძალვა: /*BACKURL=* აკრძალვა: /*back_url=* აკრძალვა: /*BACK_URL=* აკრძალვა : /*back_url_admin=* აკრძალვა: /*index.php$
მასპინძელი: www.site.ru საიტის რუკა: http://www.site.ru/sitemap.xmlსაწყისი SEO ვებსაიტის ოპტიმიზაცია 1C Bitrix-ზე
1C Bitrix-ს აქვს SEO მოდული, რომელიც უკვე შედის "დაწყების" ტარიფში. ამ მოდულს აქვს ძალიან დიდი შესაძლებლობები, რომელიც დააკმაყოფილებს SEO სპეციალისტების ყველა საჭიროებას საიტის საწყისი ოპტიმიზაციის დროს.
მისი შესაძლებლობები:
- ზოგადი ბმულის რეიტინგი;
- ციტირება;
- ბმულების რაოდენობა;
- საძიებო სიტყვები;
- ინდექსირება საძიებო სისტემებით.
SEO მოდული + ვებ ანალიტიკა
გვერდის საძიებო სისტემის ოპტიმიზაციის ინსტრუმენტები:
- წარმოდგენილია ყველა ინფორმაცია, რომელიც მომხმარებელს სჭირდება გვერდის შესაცვლელად;
- საჯარო ნაწილი აჩვენებს ძირითად ინფორმაციას გვერდის შინაარსზე;
- ნაჩვენებია სპეციალური ინფორმაცია გვერდის შესახებ: საძიებო სისტემების მიერ ინდექსირების სიხშირე, ამ გვერდზე მიმავალი მოთხოვნები, დამატებითი სტატისტიკური ინფორმაცია;
- მოცემულია გვერდის შესრულების ვიზუალური შეფასება;
- საჭირო დიალოგების დაუყოვნებლივ გამოძახებისა და გვერდზე ცვლილებების შეტანის შესაძლებლობა.
საძიებო სისტემის ოპტიმიზაციის ინსტრუმენტი საიტზე:
- აჩვენებს ყველა საჭირო ინფორმაციას საიტის შესაცვლელად;
- ძირითადი ინფორმაცია საიტის შინაარსის შესახებ ნაჩვენებია მის საჯარო ნაწილში;
- მთელ საიტთან მიმართებაში ნაჩვენებია შემდეგი: ბმულების საერთო რეიტინგი, ციტატები, ბმულების რაოდენობა, საძიებო სიტყვები, საძიებო სისტემების ინდექსირება;
- ვებგვერდის მუშაობის ვიზუალური შეფასება;
- საჭირო დიალოგების დაუყოვნებლივ გამოძახებისა და საიტზე ცვლილებების შეტანის შესაძლებლობა.
1C-Bitrix: ბაზარი
Bitrix-ს ასევე აქვს საკუთარი Marketplace, სადაც არის რამდენიმე მოდული პროექტის SEO ოპტიმიზაციისთვის. ისინი იმეორებენ ერთმანეთის ფუნქციებს, ამიტომ აირჩიეთ ფასისა და მახასიათებლების მიხედვით.
მარტივად მართეთ მეტა ტეგები SEO-სთვის
უფასო
მოდული, რომელიც საშუალებას გაძლევთ დაამატოთ უნიკალური SEO მონაცემები (სათაური, აღწერა, საკვანძო სიტყვები) საიტის ნებისმიერ გვერდზე, კატალოგის ელემენტების ჩათვლით.
SEO ინსტრუმენტები
გადახდილი
- CNC ვებსაიტის მართვა ერთ გვერდზე.
- გვერდის სათაურის და მეტა ტეგების ხელახალი განსაზღვრის შესაძლებლობა.
- გადამისამართების დაყენების შესაძლებლობა.
- OpenGraph ტეგების ტესტირება.
- ნამდვილი Google ან Yandex ბოტის ბოლო ზარი (ბოტის მოქმედების გადადებული შემოწმება მისი IP მისამართით).
- თქვენს გვერდებზე გადასვლების სია, საძიებო ტრაფიკი
- თქვენი გვერდების მოწონებების რაოდენობის დათვლა მესამე მხარის სერვისის გამოყენებით
SEO ინსტრუმენტები: Meta Tag Management PRO
გადახდილი
ინსტრუმენტი სათაურის, აღწერილობის, საკვანძო სიტყვების მეტა თეგების ავტომატურად გენერირებისთვის, ასევე H1 სათაურებისთვის ნებისმიერი საიტის გვერდისთვის.
- წესებისა და შაბლონების გამოყენება;
- მიზნობრივობაზე დაფუძნებული წესის გამოყენება;
- პროექტის მორგების შესაძლებლობა ნებისმიერი რაოდენობის გასაღებზე;
- მეტატეგების ცენტრალიზებული მართვა ნებისმიერ პროექტზე;
- პროექტის ნებისმიერ გვერდზე მეტატეგების სტატუსის ოპერატიული კონტროლი.
SEO სპეციალისტის ინსტრუმენტები
გადახდილი
მოდული გაძლევთ საშუალებას:
- დააყენეთ მეტა ტეგები (სათაური, საკვანძო სიტყვები, აღწერა).
- აიძულეთ ცვლილებები H1-ში (გვერდის სათაური) დაყენებული ნებისმიერი კომპონენტის მიერ გვერდზე.
- დააყენეთ კანონიკური მისამართის დროშა.
- დააინსტალირეთ სამამდე SEO ტექსტი გვერდის ნებისმიერ ადგილას, ვიზუალური რედაქტორის გამოყენებით ან მის გარეშე.
- მრავალსაიტიანი.
- დაარედაქტირეთ ყოველივე ზემოთქმული, როგორც საიტის „სახიდან“ ასევე ადმინისტრატორის პანელიდან.
- დააინსტალირეთ და გამოიყენეთ მოდული Bitrix-ის "პირველ საიტზე".
ASEO რედაქტორი-ოპტიმიზატორი
გადახდილი
მოდული საშუალებას გაძლევთ დააყენოთ უნიკალური SEO მონაცემები (სათაური, აღწერა, საკვანძო სიტყვები) და შეცვალოთ შინაარსი HTML ბლოკებისთვის საიტის ნებისმიერ გვერდზე, რომელსაც აქვს საკუთარი URL, ან კონკრეტული URL შაბლონისთვის GET პარამეტრების საფუძველზე.
SeoONE: ყოვლისმომცველი საძიებო სისტემის ოპტიმიზაცია და ანალიზი
გადახდილი
- "URL პარამეტრების გარეშე" დაყენება.
- "META გვერდის მონაცემების" დაყენება.
- „სტატიკური“ - აქ შეგიძლიათ მარტივად დააყენოთ უნიკალური მეტა-მონაცემები (საკვანძო სიტყვები და აღწერა) გვერდისთვის, ასევე უნიკალური ბრაუზერის სათაური და გვერდის სათაური (ჩვეულებრივ h1).
- "დინამიური" - ეს პარამეტრი წინა პარამეტრის მსგავსია. ერთადერთი განსხვავება ისაა, რომ ის იქმნება დინამიურად გენერირებული გვერდებისთვის (მაგალითად, პროდუქტის კატალოგისთვის).
- "მისამართის ჩანაცვლების" პარამეტრი საშუალებას გაძლევთ დააყენოთ მეორადი URL გვერდისთვის.
- "ექსპრეს ანალიზის" დაყენება. ამ გვერდზე შეგიძლიათ დაამატოთ შეუზღუდავი რაოდენობის საიტები ანალიზისთვის.
CNCizer (ჩვენ ვაყენებთ სიმბოლურ კოდს)
გადახდილი
მოდული საშუალებას გაძლევთ ავტომატურად დააყენოთ სიმბოლური კოდები ვებსაიტზე ელემენტებისა და სექციებისთვის.
ლაინმედია: SEO ბლოკავს საიტზე
გადახდილი
გთავაზობთ კომპონენტს, რომელიც საშუალებას გაძლევთ დაამატოთ რამდენიმე SEO ტექსტური ბლოკი ნებისმიერ გვერდზე და დააყენოთ მეტა ინფორმაცია გვერდის შესახებ.
ბმული საინფორმაციო ბლოკების სექციებთან და ელემენტებთან
გადახდილი
სტანდარტულ ვიზუალურ რედაქტორში ამ მოდულის გამოყენებით შესაძლებელი ხდება საინფორმაციო ბლოკების ელემენტების/სექციების ბმულების დამატება და რედაქტირება.
ვებ ანალიტიკა 1C Bitrix-ში: Yandex Metrica და Google Analytics
მრიცხველების სმს-ში განთავსების რამდენიმე ვარიანტი არსებობს:
ვარიანტი No. 1. მოათავსეთ მრიცხველის კოდი bitrix/templates/template name/headers.php ტეგის შემდეგ
.ვარიანტი ნომერი 2. გამოიყენეთ სპეციალური დანამატი Yandex Metrics-ისთვის.
ვარიანტი ნომერი 3. Bitrix-ს აქვს საკუთარი ვებ ანალიტიკის მოდული. რა თქმა უნდა, ის არ მოგცემთ საშუალებას შექმნათ თქვენი საკუთარი ანგარიშები, გააკეთოთ სეგმენტები და ა.შ, მაგრამ მარტივი გამოყენებისთვის სტატისტიკის მონიტორინგი საკმაოდ ინსტრუმენტია.
Yandex Webmaster და Google webmaster 1C Bitrix-ში
დიახ, არის ჩაშენებული გადაწყვეტილებები ვებმასტერის სერვისში საიტის დასამატებლად (როგორც Google, ასევე Yandex), მაგრამ ჩვენ მკაცრად გირჩევთ ამ სერვისებთან უშუალოდ მუშაობას.
იმიტომ რომ:
- იქ შეგიძლიათ ნახოთ ბევრად მეტი მონაცემები;
- დარწმუნებული იქნებით, რომ მონაცემები განახლებულია (შეძლებისდაგვარად) და არა დამახინჯებული;
- თუ სერვისი ავრცელებს განახლებას, თქვენ შეძლებთ მის ნახვას და გამოყენებას დაუყოვნებლივ (თუ თქვენ მუშაობთ დანამატთან, მოგიწევთ დაელოდოთ განახლებებს).
თუ თქვენ მხოლოდ ვებსაიტს ქმნით და გაინტერესებთ, რამდენად შესაფერისია 1C Bitrix საძიებო სისტემებში პოპულარიზაციისთვის და არის თუ არა მასთან რაიმე პრობლემა, მაშინ არ არის საჭირო ინერვიულოთ. ძრავი არის ლიდერი ფასიან სმ-ებს შორის ბაზარზე და უკვე დიდი ხანია ყველა SEO სპეციალისტი (მხოლოდ ჩვენს სტუდიაზე არ მაქვს საუბარი) არაერთხელ შეხვედრია Bitrix-ს და ყველას აქვს გამოცდილება.
1C Bitrix-ზე არაფრით განსხვავდება სხვა cms ან მორგებული ძრავების რეკლამისგან. განსხვავებები ჩანს მხოლოდ ოპტიმიზაციის ინსტრუმენტებში, რომელთა შესახებაც ზემოთ დავწერეთ.
მაგრამ უნდა გვახსოვდეს, რომ მხოლოდ ხელსაწყოები არ დააწინაურებენ თქვენს საიტს. აქ გვჭირდება სპეციალისტები, რომლებიც მათ სწორად დააკონფიგურირებენ.
სხვათა შორის, ჩვენ გვაქვს უამრავი სასწავლო სტატია, რომელიც შეიცავს უამრავ პრაქტიკულ რჩევას მრავალწლიანი პრაქტიკის ისტორიით. რა თქმა უნდა, ჩვენ ვფიქრობდით თემატური დაგზავნის სიის შექმნაზე, მაგრამ ჯერ არ გვქონდა დრო. ასე რომ, რა არის ყველაზე მოსახერხებელი
Კითხვის დრო: 7 წუთი
თითქმის ყველა პროექტს, რომელიც ჩვენთან მოდის აუდიტის ან პოპულარიზაციისთვის, აქვს არასწორი robots.txt ფაილი და ხშირად ის საერთოდ აკლია. ეს იმიტომ ხდება, რომ ფაილის შექმნისას ყველა ხელმძღვანელობს თავისი ფანტაზიით და არა წესებით. მოდით გავარკვიოთ, როგორ სწორად შევადგინოთ ეს ფაილი, რათა საძიებო რობოტებმა ეფექტურად იმუშაონ მასთან.
რატომ გჭირდებათ robots.txt-ის კონფიგურაცია?
Robots.txtარის ფაილი, რომელიც მდებარეობს საიტის ძირეულ დირექტორიაში, რომელიც ეუბნება საძიებო სისტემებს რობოტებს, რომელ განყოფილებებსა და გვერდებზე შეუძლიათ წვდომა და რომელზე არა.
robots.txt-ის დაყენება მნიშვნელოვანი ნაწილია საძიებო სისტემის შედეგების სწორად კონფიგურაციაში, ასევე ზრდის საიტის მუშაობას. Robots.txt-ის გამოტოვება არ შეაჩერებს საძიებო სისტემებს თქვენი საიტის ცოცვასა და ინდექსირებას, მაგრამ თუ ეს ფაილი არ გაქვთ, შეიძლება შეგექმნათ ორი პრობლემა:
საძიებო რობოტი წაიკითხავს მთელ საიტს, რაც „ძირს უთხრის“ მცოცავ ბიუჯეტს. მცოცავი ბიუჯეტი არის გვერდების რაოდენობა, რომლებზეც საძიებო რობოტს შეუძლია გარკვეული პერიოდის განმავლობაში დაცოცოს.
რობოტების ფაილის გარეშე, საძიებო სისტემას ექნება წვდომა შედგენილ და დამალულ გვერდებზე, ასობით გვერდებზე, რომლებიც გამოიყენება CMS-ის ადმინისტრირებისთვის. ის მოახდინებს მათ ინდექსირებას და როდესაც საქმე ეხება აუცილებელ გვერდებს, რომლებიც პირდაპირ შინაარსს აწვდიან ვიზიტორებისთვის, მცოცავი ბიუჯეტი "დაიწურება".
ინდექსი შეიძლება შეიცავდეს საიტის შესვლის გვერდს და სხვა ადმინისტრატორის რესურსებს, ასე რომ, თავდამსხმელს შეუძლია ადვილად აკონტროლოს ისინი და განახორციელოს ddos შეტევა ან გატეხოს საიტი.
როგორ ხედავენ საძიებო რობოტები საიტს robots.txt-ით და მის გარეშე:
Robots.txt სინტაქსი
სანამ დავიწყებთ სინტაქსის გაგებას და robots.txt-ის დაყენებას, მოდით შევხედოთ როგორი უნდა იყოს „იდეალური ფაილი“:
მაგრამ თქვენ არ უნდა გამოიყენოთ იგი დაუყოვნებლივ. თითოეული საიტი ყველაზე ხშირად მოითხოვს საკუთარ პარამეტრებს, რადგან ჩვენ ყველას გვაქვს საიტის განსხვავებული სტრუქტურა და განსხვავებული CMS. მოდით შევხედოთ თითოეულ დირექტივას თანმიმდევრობით.
მომხმარებელი-აგენტი
მომხმარებელი-აგენტი - განსაზღვრავს საძიებო რობოტს, რომელიც უნდა შეასრულოს ფაილში აღწერილი ინსტრუქციები. თუ გჭირდებათ ყველას ერთდროულად მიმართვა, გამოიყენეთ * ხატულა. თქვენ ასევე შეგიძლიათ დაუკავშირდეთ კონკრეტულ საძიებო რობოტს. მაგალითად, Yandex და Google:
ამ დირექტივის გამოყენებით რობოტს ესმის, რომელი ფაილების და საქაღალდეების ინდექსირება აკრძალულია. თუ გსურთ, რომ თქვენი მთელი საიტი ღია იყოს ინდექსაციისთვის, დატოვეთ დაუშვებელი მნიშვნელობა ცარიელი. დაუშვებლობის შემდეგ საიტზე მთელი შინაარსის დასამალად, დააყენეთ „/“.
ჩვენ შეგვიძლია აღვკვეთოთ წვდომა კონკრეტულ საქაღალდეზე, ფაილზე ან ფაილის გაფართოებაზე. ჩვენს მაგალითში, ჩვენ ვუკავშირდებით ყველა საძიებო რობოტს და ვბლოკავთ წვდომას bitrix-ზე, საძიებო საქაღალდეზე და pdf გაფართოებაზე.
დაშვება
მიეცით უფლება საიტის გვერდებისა და სექციების ინდექსირებას. ზემოთ მოცემულ მაგალითში, ჩვენ ვუკავშირდებით Google-ის საძიებო რობოტს, ვბლოკავთ წვდომას bitrix-ზე, საძიებო საქაღალდეზე და pdf გაფართოებაზე. მაგრამ ბიტრიქსის საქაღალდეში ჩვენ ვაიძულებთ გავხსნათ 3 საქაღალდე ინდექსაციისთვის: კომპონენტები, js, ინსტრუმენტები.
მასპინძელი - საიტის სარკე
სარკის საიტი არის მთავარი საიტის დუბლიკატი. სარკეები გამოიყენება სხვადასხვა მიზნით: მისამართის შეცვლა, უსაფრთხოება, სერვერზე დატვირთვის შემცირება და ა.შ.
მასპინძელი ერთ-ერთი ყველაზე მნიშვნელოვანი წესია. თუ ეს წესი ჩაიწერება, რობოტი მიხვდება, საიტის რომელი სარკე უნდა იყოს გათვალისწინებული ინდექსაციისთვის. ეს დირექტივა აუცილებელია Yandex და Mail.ru რობოტებისთვის. სხვა რობოტები უგულებელყოფენ ამ წესს. მასპინძელი რეგისტრირებულია მხოლოდ ერთხელ!
"https://" და "http://" პროტოკოლებისთვის, robots.txt ფაილში სინტაქსი განსხვავებული იქნება.
საიტის რუკა - საიტის რუკა
საიტის რუკა არის საიტის ნავიგაციის ფორმა, რომელიც გამოიყენება საძიებო სისტემებში ახალი გვერდების შესახებ ინფორმირებისთვის. საიტის რუქის დირექტივის გამოყენებით, ჩვენ "იძულებით" ვაჩვენებთ რობოტს, სადაც მდებარეობს რუკა.
სიმბოლოები robots.txt-ში
ფაილში გამოყენებული სიმბოლოები: “/, *, $, #”.
ფუნქციონირების შემოწმება robots.txt-ის დაყენების შემდეგ
მას შემდეგ რაც Robots.txt განათავსებთ თქვენს ვებსაიტზე, თქვენ უნდა დაამატოთ და შეამოწმოთ ის Yandex-სა და Google-ის ვებმასტერში.
Yandex შემოწმება:
- მიჰყევით ამ ბმულს.
- აირჩიეთ: ინდექსირების პარამეტრები - Robots.txt ანალიზი.
Google შემოწმება:
- მიჰყევით ამ ბმულს.
- აირჩიეთ: Scan - Robots.txt ფაილის შემოწმების ინსტრუმენტი.
ამ გზით შეგიძლიათ შეამოწმოთ თქვენი robots.txt შეცდომებზე და საჭიროების შემთხვევაში განახორციელოთ საჭირო კორექტირება.
- ფაილის შინაარსი უნდა იყოს დაწერილი დიდი ასოებით.
- Disallow დირექტივაში მხოლოდ ერთი ფაილი ან დირექტორია უნდა იყოს მითითებული.
- ხაზი "მომხმარებლის აგენტი" არ უნდა იყოს ცარიელი.
- მომხმარებლის აგენტი ყოველთვის უნდა იყოს გამორიცხვამდე.
- ნუ დაგავიწყდებათ, რომ შეიყვანოთ ხაზი, თუ გსურთ გამორთოთ დირექტორიაში ინდექსირება.
- სანამ ფაილს სერვერზე ატვირთავთ, დარწმუნდით, რომ შეამოწმეთ სინტაქსისა და მართლწერის შეცდომები.
Წარმატებას გისურვებ!
ვიდეო მიმოხილვა Robots.txt ფაილის შექმნისა და მორგების 3 მეთოდის შესახებ
Bitrix არის ერთ-ერთი ყველაზე გავრცელებული ადმინისტრირების სისტემა ინტერნეტის რუსულ სეგმენტში. იმის გათვალისწინებით, რომ, ერთი მხრივ, ონლაინ მაღაზიები და საკმაოდ დატვირთული ვებსაიტები ხშირად აგებულია ამ CMS-ზე, ხოლო მეორეს მხრივ, Bitrix არ არის ყველაზე სწრაფი სისტემა, სწორი robots.txt ფაილის შედგენა თანაბარი ხდება. უფრო გადაუდებელი ამოცანა. თუ საძიებო რობოტი ინდექსირებს მხოლოდ იმას, რაც საჭიროა პოპულარიზაციისთვის, ეს ხელს უწყობს საიტის არასაჭირო დატვირთვის მოცილებას. როგორც სიუჟეტის შემთხვევაში, ინტერნეტში თითქმის ყველა სტატიაში არის შეცდომები. ასეთ შემთხვევებს სტატიის ბოლოს დავასახელებ, რათა გაიგოთ, რატომ არ არის საჭირო ასეთი ბრძანებების დაწერა.
უფრო დეტალურად დავწერე robots.txt-ის შედგენისა და მისი ყველა დირექტივის მნიშვნელობის შესახებ. ქვემოთ დეტალურად არ ვისაუბრებ თითოეული წესის მნიშვნელობაზე. შემოვიფარგლებით მოკლედ კომენტარით რა არის საჭირო რისთვის.
სწორი Robots.txt Bitrix-ისთვის
Robots-ის კოდი, რომელიც დაწერილია ქვემოთ, არის ძირითადი და უნივერსალური Bitrix-ის ნებისმიერი საიტისთვის. ამავდროულად, თქვენ უნდა გესმოდეთ, რომ თქვენს საიტს შეიძლება ჰქონდეს საკუთარი ინდივიდუალური მახასიათებლები და ეს ფაილი საჭიროებს თქვენს კონკრეტულ შემთხვევაში კორექტირებას.
მომხმარებლის აგენტი: * # წესები ყველა რობოტისთვის დაუშვებელია: /cgi-bin # ჰოსტინგის საქაღალდე აკრძალვა: /bitrix/ # საქაღალდე Bitrix სისტემის ფაილებით: *bitrix_*= # Bitrix GET მოთხოვნა არ დაუშვას: /local/ # საქაღალდე Bitrix სისტემით ფაილების აკრძალვა: /*index.php$ # duplicate pages. დაგავიწყდათ პაროლი არ დაუშვათ: *change_password= # პაროლის შეცვლა არ დაუშვას: *login= # login არ დაუშვას: *logout= # გამოსვლა არ დაუშვას: */search/ # search არ დაუშვას: *action= # actions არ დაუშვას: *print= # print არ დაუშვას: *? new=Y # ახალი გვერდი აკრძალვა: *?edit= # editing Disallow: *?preview= # preview Disallow: *backurl= # trackbacks აკრძალვა: *back_url= # trackbacks აკრძალვა: *back_url_admin= # trackbacks არ დაუშვას: *captcha # captcha არ დაუშვას : */feed # all feeds Disallow: */rss # rss feed Disallow: *?FILTER*= # აქ და ქვემოთ არის სხვადასხვა პოპულარული ფილტრის პარამეტრების გამორიცხვა: *?ei= აკრძალვა: *?p= აკრძალვა: *?q= აკრძალვა : *?tags= აკრძალვა: *B_ORDER= აკრძალვა: *BRAND= აკრძალვა: *CLEAR_CACHE= აკრძალვა: *ELEMENT_ID= აკრძალვა: *price_from= აკრძალვა: *price_to= აკრძალვა: *PROPERTY_TYPE= აკრძალვა: *PROPERTY_WIDTH= აკრძალვა: *PROPERTY_HE =PROPERTY აკრძალვა: *PROPERTY_DIA= აკრძალვა: *PROPERTY_OPENING_COUNT= აკრძალვა: *PROPERTY_SELL_TYPE= აკრძალვა: *PROPERTY_MAIN_TYPE= აკრძალვა: *PROPERTY_PRICE[*]= აკრძალვა: *S_LAST= დაშვება: *SECTION_ID= აკრძალვა: *SECTION_ID= აკრძალვა: *SALL = აკრძალვა: *SHOW_ALL= აკრძალვა: *SHOWBY= აკრძალვა: *SORT= აკრძალვა: *SPHRASE_ID= აკრძალვა: *TYPE= აკრძალვა: *utm*= # utm ტეგებით ბმულები არ დაუშვას: *openstat= # ბმულები openstat ტეგებით არ დაუშვას : * from= # ბმული ტეგებით ნებადართულიდან: */upload/ # გახსენით საქაღალდე ფაილების ატვირთვით დაშვება: /bitrix/*.js # აქ და შემდგომი გახსენით სკრიპტები ინდექსაციისთვის დაშვება: /bitrix/*.css დაშვება: /local/ * .js დაშვება: /local/*.css დაშვება: /local/*.jpg დაშვება: /local/*.jpeg დაშვება: /local/*.png დაშვება: /local/*.gif # მიუთითეთ ერთი ან მეტი საიტის რუკის ფაილი საიტის რუკა : http://site.ru/sitemap.xml საიტის რუკა: http://site.ru/sitemap.xml.gz # მიუთითეთ საიტის მთავარი სარკე, როგორც ქვემოთ მოცემულ მაგალითში (WWW / WWW გარეშე, თუ HTTPS # შემდეგ ჩაწერეთ პროტოკოლი, თუ პორტის მითითება გჭირდებათ, მიუთითეთ იგი). ბრძანება გახდა არჩევითი. ადრე მასპინძელს ესმოდა # Yandex და Mail.RU. ახლა ყველა ძირითადი საძიებო სისტემა არ ითვალისწინებს Host ბრძანებას. მასპინძელი: www.site.ru
- დაბლოკეთ პაგინაციის გვერდები ინდექსაციისგან
აკრძალვის წესი: *?PAGEN_1= არის შეცდომა. პაგინაციის გვერდები უნდა იყოს ინდექსირებული. მაგრამ ასეთ ფურცლებზე უნდა ეწეროს. - სურათის დახურვა და ფაილების ჩამოტვირთვა (DOC, DOCX, XLS, XLSX, PDF, PPT, PPTS და ა.შ.)
ამის გაკეთება არ არის საჭირო. თუ თქვენ გაქვთ Disallow: /upload/ წესი, წაშალეთ იგი. - თეგისა და კატეგორიის გვერდების დახურვა
თუ თქვენს საიტს ნამდვილად აქვს ისეთი სტრუქტურა, რომ ამ გვერდების კონტენტი დუბლირებულია და მათში განსაკუთრებული მნიშვნელობა არ არის, მაშინ ჯობია დახუროთ. თუმცა, რესურსების პოპულარიზაცია ხშირად ხორციელდება ასევე კატეგორიის გვერდებისა და ტეგის საშუალებით. ამ შემთხვევაში, თქვენ შეიძლება დაკარგოთ გარკვეული ტრაფიკი. - რეგისტრაცია Crawl-Delay
მოდის წესი. თუმცა, ის უნდა იყოს მითითებული მხოლოდ მაშინ, როდესაც ნამდვილად არის საჭირო რობოტების შეზღუდვა თქვენს საიტზე. თუ საიტი მცირეა და ვიზიტები არ ქმნის მნიშვნელოვან დატვირთვას სერვერზე, მაშინ დროის შეზღუდვა „ისე რომ იყოს“ არ იქნება ყველაზე გონივრული იდეა.
