რა არის ინდექსირება? ეს არის პროცესი, როდესაც რობოტი იღებს თქვენი საიტის გვერდების შინაარსს და აერთიანებს მას ძიების შედეგებში. თუ ციფრებს გადავხედავთ, ინდექსირებადი რობოტის მონაცემთა ბაზა შეიცავს ტრილიონობით ვებგვერდის მისამართებს. ყოველდღე რობოტი ითხოვს მილიარდობით ასეთ მისამართს.
მაგრამ ინტერნეტის ინდექსირების მთელი ეს დიდი პროცესი შეიძლება დაიყოს მცირე ეტაპებად:
პირველ რიგში, ინდექსირების რობოტმა უნდა იცოდეს, რომ თქვენს საიტზე გამოჩნდა გვერდი. მაგალითად, ინტერნეტში სხვა გვერდების ინდექსირებით, ბმულების მოძიებით ან ნაკრების ჩამოტვირთვით. ჩვენ შევიტყვეთ გვერდის შესახებ, რის შემდეგაც ვგეგმავთ ამ გვერდის დათვალიერებას, მონაცემების გაგზავნას თქვენს სერვერზე, რათა მოითხოვოთ საიტის ეს გვერდი, მივიღოთ კონტენტი და შევიყვანოთ იგი ძიების შედეგებში.
მთელი ეს პროცესი არის ინდექსირების რობოტის თქვენს ვებსაიტთან გაცვლის პროცესი. თუ ინდექსირების რობოტის მიერ გაგზავნილი მოთხოვნები პრაქტიკულად არ იცვლება და იცვლება მხოლოდ გვერდის მისამართი, მაშინ თქვენი სერვერის პასუხი რობოტის გვერდის მოთხოვნაზე დამოკიდებულია ბევრ ფაქტორზე:
- თქვენი CMS პარამეტრებიდან;
- ჰოსტინგის პროვაიდერის პარამეტრებიდან;
- შუალედური პროვაიდერის მუშაობიდან.
ეს პასუხი უბრალოდ იცვლება. პირველ რიგში, გვერდის მოთხოვნისას, თქვენი საიტიდან რობოტი იღებს შემდეგ სერვისის პასუხს:
ეს არის HTTP სათაურები. ისინი შეიცავს სხვადასხვა სერვისის ინფორმაცია, რაც რობოტს საშუალებას აძლევს გაიგოს რა შინაარსის გადაცემა მოხდება ახლა.
მინდა ყურადღება გავამახვილო პირველ სათაურზე - ეს არის HTTP საპასუხო კოდი, რომელიც მიუთითებს ინდექსირების რობოტს იმ გვერდის სტატუსზე, რომელიც რობოტმა მოითხოვა.
არსებობს რამდენიმე ათეული ასეთი HTTP კოდის სტატუსი:
მე გეტყვით ყველაზე პოპულარულებზე. პასუხის ყველაზე გავრცელებული კოდია HTTP-200. გვერდი ხელმისაწვდომია, შესაძლებელია მისი ინდექსირება, ძიების შედეგებში ჩართვა, ყველაფერი კარგადაა.
ამ სტატუსის საპირისპიროა HTTP-404. გვერდი არ არის საიტზე, არაფერია ინდექსირებული და არაფერია ჩასმული ძიებაში. საიტების სტრუქტურის შეცვლისა და შიდა გვერდების მისამართების შეცვლისას, ჩვენ გირჩევთ დააყენოთ 301 სერვერი გადამისამართებისთვის. ის უბრალოდ მიუთითებს რობოტს, რომ ძველი გვერდიგადავიდა ახალ მისამართზე და აუცილებელია ახალი მისამართის ძიების შედეგებში ჩართვა.
თუ გვერდის შინაარსი არ შეცვლილა რობოტის ბოლო ვიზიტის შემდეგ, უმჯობესია დააბრუნოთ HTTP-304 კოდი. რობოტი მიხვდება, რომ არ არის საჭირო ძიების შედეგებში გვერდების განახლება და არც კონტენტი გადაიცემა.
თუ თქვენი საიტი ხელმისაწვდომია მხოლოდ მცირე ხნით, მაგალითად, სერვერზე სამუშაოს შესრულებისას, უმჯობესია დააკონფიგურიროთ HTTP-503. ეს მიუთითებს რობოტს, რომ საიტი და სერვერი ამჟამად მიუწვდომელია, თქვენ უნდა დაბრუნდეთ ცოტა მოგვიანებით. მოკლევადიანი მიუწვდომლობის შემთხვევაში, ეს ხელს შეუშლის გვერდების გამორიცხვას ძიების შედეგებიდან.
გარდა ამ HTTP კოდებისა და გვერდის სტატუსებისა, თქვენ ასევე უნდა მიიღოთ უშუალოდ გვერდის შინაარსი. თუ რეგულარული ვიზიტორებისთვის გვერდი ასე გამოიყურება:
ეს არის სურათები, ტექსტი, ნავიგაცია, ყველაფერი ძალიან ლამაზია, მაშინ ინდექსირების რობოტისთვის ნებისმიერი გვერდი არის მხოლოდ წყაროს კოდის ნაკრები, HTML კოდი:
სხვადასხვა მეტა-ტეგები, ტექსტის შინაარსი, ბმულები, სკრიპტები, ბევრი ყველა სახის ინფორმაცია. რობოტი აგროვებს მას და აერთიანებს ძიების შედეგებში. როგორც ჩანს, ყველაფერი მარტივია: მოითხოვეს გვერდი, მიიღეს სტატუსი, მიიღეს კონტენტი და შეიტანეს ძიებაში.
მაგრამ ტყუილად არ არის, რომ Yandex საძიებო სერვისი იღებს 500-ზე მეტ წერილს ვებმასტერებისა და საიტის მფლობელებისგან, სადაც ნათქვამია, რომ გარკვეული პრობლემები წარმოიშვა სერვერის პასუხთან დაკავშირებით.
ყველა ეს პრობლემა შეიძლება დაიყოს ორ ნაწილად:
ეს არის პრობლემები HTTP საპასუხო კოდთან და HTML კოდთან დაკავშირებული პრობლემები, გვერდების პირდაპირი შინაარსით. ამ პრობლემების მრავალი მიზეზი შეიძლება იყოს. ყველაზე გავრცელებული ის არის, რომ ინდექსირების რობოტი დაბლოკილია ჰოსტინგის პროვაიდერის მიერ.
მაგალითად, თქვენ გაუშვით ვებსაიტი, დაამატეთ ახალი განყოფილება. რობოტი იწყებს თქვენი საიტის უფრო ხშირად ვიზიტს, ზრდის სერვერზე დატვირთვას. ჰოსტინგის პროვაიდერი ამას ხედავს მათ მონიტორინგზე, ბლოკავს ინდექსირების რობოტს და, შესაბამისად, რობოტს არ შეუძლია თქვენს საიტზე წვდომა. მიდიხარ შენს რესურსზე - ყველაფერი კარგადაა, ყველაფერი მუშაობს, გვერდები ლამაზია, ყველაფერი იხსნება, ყველაფერი მშვენივრადაა, მაგრამ რობოტი ვერ ახერხებს საიტის ინდექსირებას. თუ საიტი დროებით მიუწვდომელია, მაგალითად, თუ დაგავიწყდათ გადახდა დომენის სახელი, საიტი რამდენიმე დღეა გათიშულია. რობოტი მოდის საიტზე, ის მიუწვდომელია, ასეთ პირობებში ის შეიძლება გაქრეს ძიების შედეგებიდან ფაქტიურად გარკვეული პერიოდის შემდეგ.
არასწორი CMS პარამეტრები, მაგალითად, განახლებისას ან სხვა CMS-ზე გადართვისას, დიზაინის განახლებისას, ასევე შეიძლება გამოიწვიოს თქვენი საიტის გვერდების გაქრობა ძიების შედეგებიდან, თუ პარამეტრები არასწორია. მაგალითად, აკრძალული მეტა-ტეგის არსებობა საწყისი კოდისაიტის გვერდები, კანონიკური ატრიბუტის არასწორი დაყენება. დარწმუნდით, რომ საიტზე განხორციელებული ყველა ცვლილების შემდეგ, გვერდები ხელმისაწვდომი იქნება რობოტისთვის.
Yandex ინსტრუმენტი დაგეხმარებათ ამაში. ვებმასტერს სერვერის პასუხის შესამოწმებლად:
თქვენ ხედავთ რა HTTP სათაურებს უბრუნებს თქვენი სერვერი რობოტს და თავად გვერდების შინაარსი.
განყოფილება "ინდექსირება" შეიცავს სტატისტიკას, სადაც შეგიძლიათ ნახოთ რომელი გვერდებია გამორიცხული, ამ ინდიკატორების ცვლილებების დინამიკა და გააკეთოთ სხვადასხვა დახარისხება და ფილტრაცია.
ასევე, დღეს უკვე ვისაუბრე ამ განყოფილებაზე, "საიტის დიაგნოსტიკის" განყოფილებაზე. თუ თქვენი საიტი რობოტისთვის მიუწვდომელი გახდება, თქვენ მიიღებთ შესაბამის შეტყობინებას და რეკომენდაციებს. როგორ შეიძლება ამის გამოსწორება? თუ ასეთი პრობლემები არ წარმოიქმნება, საიტი ხელმისაწვდომია, აკმაყოფილებს 200 კოდს და შეიცავს სწორ შინაარსს, მაშინ რობოტი იწყებს მუშაობას. ავტომატური რეჟიმიეწვიეთ ყველა გვერდს, რომელსაც ის ცნობს. ეს ყოველთვის არ იწვევს სასურველ შედეგებს, ამიტომ რობოტის საქმიანობა შეიძლება შეიზღუდოს გარკვეული გზით. ამისათვის არის robots.txt ფაილი. ამის შესახებ შემდეგ განყოფილებაში ვისაუბრებთ.
Robots.txt
თავად robots.txt ფაილი მცირეა ტექსტური დოკუმენტი, ის დევს საიტის ძირეულ საქაღალდეში და შეიცავს მკაცრ წესებს ინდექსირების რობოტისთვის, რომლებიც უნდა დაიცვან საიტის ცოცვისას. robots.txt ფაილის უპირატესობები ისაა, რომ მისი გამოყენება არ საჭიროებს სპეციალურ ან სპეციალიზებულ ცოდნას.
საკმარისია გახსნათ Notepad, შეიყვანოთ გარკვეული ფორმატის წესები და შემდეგ უბრალოდ შეინახოთ ფაილი სერვერზე. ერთ დღეში რობოტი იწყებს ამ წესების გამოყენებას.
თუ ავიღოთ მარტივი robots.txt ფაილის მაგალითი, აქ არის ის, მხოლოდ შემდეგ სლაიდზე:
დირექტივა „მომხმარებლის აგენტი:“ გვიჩვენებს, რომელ რობოტებზეა გათვლილი ეს წესი, ნებადართულია/უარყოფს დირექტივებს და დამხმარე საიტის რუქას და მასპინძლის დირექტივებს. პატარა თეორია, მინდა გადავიტანო პრაქტიკაზე.
რამდენიმე თვის წინ მინდოდა პედომეტრის ყიდვა, ამიტომ მივმართე Yandex-ს. ბაზრობა არჩევანში დახმარებისთვის. გადაერთო მთავარი გვერდი Yandex to Yandex. მარკეტი და გადავედი სერვისის მთავარ გვერდზე.
ქვემოთ ხედავთ იმ გვერდის მისამართს, რომელზეც შევედი. თავად სერვისის მისამართმაც დაამატა საიტზე ჩემი, როგორც მომხმარებლის იდენტიფიკატორი.
შემდეგ გადავედი "კატალოგის" განყოფილებაში
ავირჩიე სასურველი ქვეგანყოფილება და დავაკონფიგურირე დახარისხების პარამეტრები, ფასი, ფილტრი, დახარისხება და მწარმოებელი.
მივიღე პროდუქციის სია და გვერდის მისამართი უკვე გაიზარდა.
მივედი სასურველ პროდუქტზე, დავაჭირე ღილაკს „კალათაში დამატება“ და განვაგრძე გადახდა.
ჩემი მოკლე მოგზაურობის დროს გვერდის მისამართები გარკვეულწილად შეიცვალა.
მათ დაემატა სერვისის პარამეტრები, რამაც დამადგინა როგორც მომხმარებელი, დააყენა დახარისხება და მიუთითა საიტის მფლობელს საიდან მოვედი საიტის ამა თუ იმ გვერდზე.
ვფიქრობ, ასეთი გვერდები, სერვისის გვერდები საძიებო სისტემის მომხმარებლებისთვის დიდად საინტერესო არ იქნება. მაგრამ თუ ისინი ხელმისაწვდომია ინდექსირების რობოტისთვის, ისინი შეიძლება ჩაერთონ ძიებაში, რადგან რობოტი არსებითად იქცევა როგორც მომხმარებელი.
ის გადადის ერთ გვერდზე, ხედავს ბმულს, რომელზეც შეუძლია დააწკაპუნოს, მიდის მასზე, ატვირთავს მონაცემებს თავისი რობოტის მონაცემთა ბაზაში და აგრძელებს მთელი საიტის ამ სენსორს. ასეთი მისამართების ამ კატეგორიაში ასევე შედის მომხმარებლების პერსონალური მონაცემები, მაგალითად, მიწოდების ინფორმაცია ან მომხმარებლების საკონტაქტო ინფორმაცია.
ბუნებრივია, უმჯობესია მათი აკრძალვა. სწორედ ამაში დაგეხმარებათ robots.txt ფაილი. შეგიძლიათ გადახვიდეთ თქვენს ვებსაიტზე ამ საღამოს ვებმასტერის ბოლოს, დააწკაპუნოთ და ნახოთ რომელი გვერდებია რეალურად ხელმისაწვდომი.
robots.txt-ის შესამოწმებლად ვებმასტერში არის სპეციალური ინსტრუმენტი:
შეგიძლიათ გადმოწეროთ, შეიყვანოთ გვერდის მისამართები, ნახოთ, ხელმისაწვდომია თუ არა რობოტისთვის.
შეიტანეთ ცვლილებები, ნახეთ, როგორ რეაგირებს რობოტი ამ ცვლილებებზე.
შეცდომები robots.txt-თან მუშაობისას
გარდა ასეთი დადებითი ეფექტისა - სერვისის გვერდების დახურვისა, robots.txt-ს შეუძლია სასტიკი ხუმრობის თამაში, თუ არასწორად დამუშავდება.
პირველ რიგში, robots.txt-ის გამოყენებისას ყველაზე გავრცელებული პრობლემაა ნამდვილად საჭირო საიტის გვერდების დახურვა, რომლებიც უნდა იყოს ძიებაში და ნაჩვენები იყოს შეკითხვებისთვის. სანამ robots.txt-ში ცვლილებებს შეიტანთ, დარწმუნდით, რომ შეამოწმეთ არის თუ არა გვერდი, რომლის დახურვაც გსურთ, საძიებო მოთხოვნებისთვის. შესაძლოა, გვერდი, რომელსაც აქვს გარკვეული პარამეტრები, არის ძიების შედეგებში და მასში ვიზიტორები მოდიან ძიებიდან. ამიტომ, აუცილებლად შეამოწმეთ robots.txt-ში გამოყენებამდე და ცვლილებების შეტანამდე.
მეორეც, თუ თქვენი საიტი იყენებს კირიულ მისამართებს, თქვენ ვერ შეძლებთ მათ პირდაპირ მიუთითოთ robots.txt-ში. ვინაიდან robots.txt არის საერთაშორისო სტანდარტი, რომელსაც ყველა ინდექსატორი რობოტი მიჰყვება, მათ აუცილებლად დასჭირდება კოდირება. შეუძლებელია კირიული ანბანის ცალსახად დაზუსტება.
მესამე ყველაზე პოპულარული პრობლემა არის სხვადასხვა წესები სხვადასხვა საძიებო სისტემის სხვადასხვა რობოტებისთვის. ერთი ინდექსირების რობოტისთვის, ყველა ინდექსირების გვერდი დაიხურა, მეორესთვის, საერთოდ არაფერი დაიხურა. ამის შედეგად ერთ საძიებო სისტემაში ყველაფერი კარგადაა, ძიებაშია სასურველი გვერდი, მაგრამ სხვა საძიებო სისტემაში შეიძლება იყოს ნაგავი, სხვადასხვა ნაგვის გვერდები და სხვა. დარწმუნდით, რომ დარწმუნდებით, რომ თუ დაწესებთ აკრძალვას, ეს უნდა გაკეთდეს ყველა ინდექსატორი რობოტისთვის.
მეოთხე ყველაზე პოპულარული პრობლემა არის Crawl-dalay დირექტივის გამოყენება, როდესაც ეს არ არის საჭირო. ეს დირექტივა საშუალებას გაძლევთ გავლენა მოახდინოთ ინდექსირების რობოტის მოთხოვნების სისუფთავეზე. ეს არის პრაქტიკული მაგალითი, პატარა ვებსაიტი, რომელიც განთავსებულია პატარა ჰოსტინგზე, ყველაფერი კარგადაა. დავამატეთ დიდი კატალოგი, მოვიდა რობოტი, ნახა უამრავი ახალი გვერდი, უფრო ხშირად დაიწყო საიტზე წვდომა, გაზარდა დატვირთვა, გადმოტვირთა და საიტი მიუწვდომელი გახდა. ჩვენ დავაყენეთ Crawl-delay დირექტივა, რობოტი ამას ხედავს, ამცირებს დატვირთვას, ყველაფერი კარგადაა, საიტი მუშაობს, ყველაფერი იდეალურად არის ინდექსირებული, ეს არის ძიების შედეგებში. გარკვეული პერიოდის შემდეგ, საიტი კიდევ უფრო იზრდება და გადადის ახალ ჰოსტინგზე, რომელიც მზად არის გაუმკლავდეს ამ მოთხოვნებს, დიდი თანხაითხოვს და მათ ავიწყდებათ Crawl-dalay დირექტივის ამოღება. შედეგად, რობოტს ესმის, რომ ბევრი გვერდი გამოჩნდა თქვენს საიტზე, მაგრამ არ შეუძლია მათი ინდექსირება უბრალოდ დადგენილი დირექტივის გამო. თუ თქვენ ოდესმე გამოგიყენებიათ Crawl-dalay დირექტივა, დარწმუნდით, რომ ის ახლა არ არის და რომ თქვენი სერვისი მზად არის გაუმკლავდეს დატვირთვას ინდექსირების რობოტისგან.
გარდა აღწერილი ფუნქციონალობისა, robots.txt ფაილი საშუალებას გაძლევთ გადაწყვიტოთ ორი ძალიან მნიშვნელოვანი ამოცანა - მოიცილოთ დუბლიკატები საიტზე და მიუთითოთ მთავარი სარკის მისამართი. ეს არის ზუსტად ის, რაზეც შემდეგ ნაწილში ვისაუბრებთ.
ორმაგები
დუბლიკატებში ვგულისხმობთ იმავე ვებსაიტის რამდენიმე გვერდს, რომლებიც შეიცავს აბსოლუტურად იდენტურ შინაარსს. ყველაზე გავრცელებული მაგალითია გვერდები მისამართის ბოლოს დახაზული და მის გარეშე. ასევე, დუბლიკატი შეიძლება გავიგოთ, როგორც ერთი და იგივე პროდუქტი სხვადასხვა კატეგორიაში.
მაგალითად, როლიკებით ციგურები შეიძლება იყოს გოგონებისთვის, ბიჭებისთვის, იგივე მოდელი შეიძლება იყოს ერთდროულად ორ განყოფილებაში. და მესამე, ეს არის გვერდები უმნიშვნელო პარამეტრით. როგორც Yandex-ის მაგალითში. ბაზარი განსაზღვრავს ამ გვერდს, როგორც "სესიის ID" ეს პარამეტრი პრინციპში არ ცვლის გვერდის შინაარსს.
დუბლიკატების აღმოსაჩენად და რომელ გვერდებზე წვდება რობოტი, შეგიძლიათ გამოიყენოთ Yandex. ვებმასტერი.
სტატისტიკის გარდა, ასევე არის რობოტის მიერ გადმოწერილი გვერდების მისამართები. ხედავთ კოდს და ბოლო ზარს.
პრობლემები, რომლებსაც დუბლიკატები იწვევს
რა არის ცუდი ორმაგში?
პირველ რიგში, რობოტი იწყებს საიტის აბსოლუტურად იდენტურ გვერდებზე წვდომას, რაც ქმნის დამატებით დატვირთვას არა მხოლოდ თქვენს სერვერზე, არამედ გავლენას ახდენს მთლიანად საიტის ცოცხალზე. რობოტი იწყებს ყურადღების მიქცევას დუბლიკატ გვერდებზე და არა იმ გვერდებზე, რომლებიც უნდა იყოს ინდექსირებული და შეტანილი ძიების შედეგებში.
მეორე პრობლემა არის ის, რომ დუბლიკატი გვერდები, თუ ისინი ხელმისაწვდომია რობოტისთვის, შეიძლება დასრულდეს ძიების შედეგებში და კონკურენცია გაუწიოს მთავარ გვერდებს შეკითხვებისთვის, რაც, ბუნებრივია, შეიძლება უარყოფითად იმოქმედოს გარკვეული მოთხოვნებისთვის მოძიებულ საიტზე.
როგორ შეგიძლიათ გაუმკლავდეთ დუბლიკატებს?
უპირველეს ყოვლისა, გირჩევთ გამოიყენოთ "კანონიკური" ტეგი რათა რობოტი მიუთითოს მთავარ, კანონიკურ გვერდზე, რომელიც უნდა იყოს ინდექსირებული და ნაპოვნი საძიებო კითხვებში.
მეორე შემთხვევაში, შეგიძლიათ გამოიყენოთ 301 სერვერის გადამისამართება, მაგალითად, სიტუაციებისთვის მისამართის ბოლოს და ხაზოვანი ხაზის გარეშე. ჩვენ დავაყენეთ გადამისამართება - არ არის დუბლიკატები.
და მესამე, როგორც უკვე ვთქვი, ეს არის robots.txt ფაილი. თქვენ შეგიძლიათ გამოიყენოთ როგორც უარყოფის დირექტივები, ასევე Clean-param დირექტივა, რათა თავიდან აიცილოთ უმნიშვნელო პარამეტრები.
საიტის სარკეები
მეორე ამოცანა, რომლის გადაწყვეტის საშუალებას robots.txt გაძლევთ, არის რობოტის მითითება მთავარი სარკის მისამართზე.
სარკეები არის საიტების ჯგუფი, რომლებიც აბსოლუტურად იდენტურია, დუბლიკატების მსგავსად, მხოლოდ ორი საიტია განსხვავებული. როგორც წესი, ვებმასტერები სარკეებს ორ შემთხვევაში ხვდებიან - როცა სურთ ახალ დომენში გადასვლა, ან როცა მომხმარებელს სჭირდება რამდენიმე ვებსაიტის მისამართის ხელმისაწვდომობა.
მაგალითად, თქვენ იცით, რომ როდესაც მომხმარებლები აკრეფენ თქვენს მისამართს, თქვენი ვებსაიტის მისამართი მითითებულია მისამართის ზოლი, ხშირად უშვებენ ერთსა და იმავე შეცდომას - შეცდომით წერენ, არასწორ სიმბოლოს აყენებენ ან სხვა რამეს. თქვენ შეგიძლიათ შეიძინოთ დამატებითი დომენი, რათა მომხმარებლებს აჩვენოთ არა ჰოსტინგის პროვაიდერის ნამუშევარი, არამედ საიტი, სადაც ნამდვილად სურდათ წასვლა.
მოდით ყურადღება გავამახვილოთ პირველ პუნქტზე, რადგან სწორედ ამით ჩნდება პრობლემები ყველაზე ხშირად სარკეებთან მუშაობისას.
გირჩევთ, გადაადგილების მთელი პროცესი შესაბამისად განახორციელოთ მითითებების შემდეგ. მცირე ინსტრუქცია, რომელიც საშუალებას მოგცემთ თავიდან აიცილოთ სხვადასხვა პრობლემებიახალ დომენზე გადასვლისას:
პირველ რიგში, თქვენ უნდა გახადოთ საიტები ხელმისაწვდომი ინდექსირების რობოტისთვის და განათავსოთ მათზე აბსოლუტურად იდენტური შინაარსი. ასევე დარწმუნდით, რომ რობოტმა იცის საიტების არსებობის შესახებ. უმარტივესი გზაა მათი Yandex-ში დამატება. ვებმასტერი და დაადასტურეთ უფლებები მათზე.
მეორეც, ჰოსტის დირექტივის გამოყენებით, მიუთითეთ რობოტი მთავარი სარკის მისამართზე - ის, რომელიც უნდა იყოს ინდექსირებული და იყოს ძიების შედეგებში.
ველოდებით ყველა ინდიკატორის წებოვნებას და გადატანას ძველი საიტიდან ახალზე.
რის შემდეგაც შეგიძლიათ დააყენოთ გადამისამართება ძველი მისამართიდან ახალზე. მარტივი ინსტრუქცია, თუ გადაადგილდებით, აუცილებლად გამოიყენეთ. იმედია არანაირი პრობლემა არ იქნება
მოძრავი.
მაგრამ, ბუნებრივია, შეცდომები წარმოიქმნება სარკეებთან მუშაობისას.
უპირველეს ყოვლისა, ყველაზე მნიშვნელოვანი პრობლემა არის ინდექსირების რობოტისთვის მკაფიო ინსტრუქციების არარსებობა მთავარი სარკის მისამართზე, მისამართი, რომელიც უნდა იყოს ძიებაში. შეამოწმეთ თქვენს საიტებზე, რომ მათ აქვთ ჰოსტის დირექტივა მათ robots.txt-ში და რომ ის მივყავართ ზუსტად იმ მისამართზე, რომლის ნახვაც გსურთ ძიებაში.
მეორე ყველაზე პოპულარული პრობლემა არის გადამისამართების გამოყენება სარკეების არსებულ ჯგუფში მთავარი სარკის შესაცვლელად. Რა ხდება? ძველი მისამართი, რადგან ის გადამისამართდება, არ არის ინდექსირებული რობოტის მიერ და გამორიცხულია ძიების შედეგებიდან. ამ შემთხვევაში, ახალი საიტი არ ჩანს ძიებაში, რადგან ის არ არის მთავარი სარკე. კარგავ ტრაფიკს, კარგავ ვიზიტორებს, ვფიქრობ ეს არავის სჭირდება.
და მესამე პრობლემა არის ერთ-ერთი სარკის მიუწვდომლობა გადაადგილებისას. ამ სიტუაციაში ყველაზე გავრცელებული მაგალითია, როდესაც მათ დააკოპირეს საიტის შინაარსი ახალ მისამართზე, მაგრამ ძველი მისამართი უბრალოდ გამორთული იყო, მათ არ გადაიხადეს დომენის სახელი და ის მიუწვდომელი გახდა. ბუნებრივია, ასეთი საიტები არ გაერთიანდება;
სასარგებლო ბმულები ნამუშევარში:
- მეტი გამოსადეგი ინფორმაციათქვენ ნახავთ Yandex.Help სერვისში.
- ყველა ინსტრუმენტი, რაზეც ვისაუბრე და კიდევ უფრო მეტი - არსებობს Yandex.Webmaster-ის ბეტა ვერსია.
პასუხები კითხვებზე
„გმადლობთ ანგარიშისთვის. აუცილებელია რობოტისთვის CSS ფაილების ინდექსირების გამორთვა robots.txt-ში თუ არა?
ჩვენ არ გირჩევთ მათ დახურვას ამ დროს. დიახ, უმჯობესია დატოვოთ CSS და JavaScript, რადგან ახლა ჩვენ ვმუშაობთ იმის უზრუნველსაყოფად, რომ ინდექსირების რობოტმა დაიწყეს ორივე სკრიპტის ამოცნობა თქვენს საიტზე და სტილები და ნახოს, როგორ აკეთებს ვიზიტორი ჩვეულებრივი ბრაუზერიდან.
"მითხარი, თუ საიტის URL იგივეა ძველისთვის და ახალისთვის, ეს ნორმალურია?"
Არაუშავს. ძირითადად, თქვენ უბრალოდ განაახლეთ დიზაინი, დაამატეთ გარკვეული შინაარსი.
„საიტს აქვს კატეგორია და შედგება რამდენიმე გვერდისგან: slash, page1, page2, მაგალითად, 10-მდე. ყველა გვერდს აქვს ერთი და იგივე კატეგორიის ტექსტი და აღმოჩნდება დუბლიკატი. იქნება ეს ტექსტი დუბლიკატი თუ როგორმე უნდა დაიხუროს, ახალი ინდექსი მეორე და შემდგომ გვერდებზე?
უპირველეს ყოვლისა, რადგან პირველ გვერდზე პაგინაცია და მეორე გვერდის შინაარსი ზოგადად განსხვავებულია, ისინი არ იქნება დუბლიკატი. მაგრამ თქვენ უნდა ელოდოთ, რომ მეორე, მესამე და შემდგომი პაგინაციის გვერდები შეიძლება მოხვდნენ ძიებაში და გამოჩნდნენ შესაბამისი შეკითხვისთვის. უკეთესია პაგინაციის გვერდებზე, მე გირჩევთ გამოიყენოთ კანონიკური ატრიბუტი, საუკეთესო შემთხვევაში - იმ გვერდზე, რომელზედაც ყველა პროდუქტია თავმოყრილი, რათა რობოტმა არ ჩართოს პაგინაციის გვერდები ძიებაში. ხალხი ძალიან ხშირად იყენებს კანონიკურს გვერდების პირველ გვერდზე. რობოტი მოდის მეორე გვერდზე, ხედავს პროდუქტს, ხედავს ტექსტს, არ მოიცავს გვერდს ძიებაში და ატრიბუტის გამო ხვდება, რომ ეს არის პირველი პაგინაციის გვერდი, რომელიც უნდა იყოს შეტანილი ძიების შედეგებში. გამოიყენე კანონიკური და დახურე თავად ტექსტი, მგონი არ არის საჭირო.
წყარო (ვიდეო): როგორ დავაყენოთ საიტის ინდექსირება- ალექსანდრე სმირნოვი
მაგომედ ჩერბიჟევი
ამ მასალისგან გაიგებთ:
- რა არის ინდექსირება
- როგორ დავამატოთ საიტი მონაცემთა ბაზაში
- როგორ დავაჩქაროთ ინდექსირება
რა არის ინდექსირება?
ჩვენ უკვე გითხარით ამის შესახებ. მოკლედ, ეს არის პასუხები მომხმარებლის შეკითხვებზე, რომლებსაც ისინი აკრიფებენ საძიებო სისტემაში. თუ დააწკაპუნებთ „იყიდეთ სპილო“, მიიღებთ საიტებს, რომლებიც სპილოებს საბითუმო და საცალო ვაჭრობას სთავაზობენ. Yandex ან Google არ აჩვენებს პლასტმასის ფანჯრებს და არ დაურეკავს გოგონებს ასეთი მოთხოვნებისთვის. ახლა კი ყურადღება, კითხვა: შედის თუ არა ყველა საიტი ძიების შედეგებში? არა, ყველას არა. მინიმუმ, საძიებო სისტემებმა უნდა იცოდნენ ამ საიტის არსებობისა და მასზე განთავსებული შინაარსის შესახებ. ბოლოს და ბოლოს, როგორ შეგიძლია აჩვენო ის, რაც არავინ იცის? ამისათვის არსებობს ვებსაიტების მონაცემთა ბაზები. მოკლედ, ამ მონაცემთა ბაზაში საიტის თავისი შინაარსით დამატებას ინდექსირება ჰქვია. როგორ მუშაობს ინდექსირება? Yandex ან Google რობოტი მუშაობს საკუთარი ალგორითმების მიხედვით: ის ეძებს ინფორმაციას თქვენი საიტის შესახებ (ეს ინფორმაცია მოიცავს ძირითად სტატიებს, ტექსტებს, ფოტოებს და ა.შ. - ერთი სიტყვით, მთელ კონტენტს). ის რენტგენის მსგავსია, ის ათვალიერებს საიტის ყველა გვერდს, აანალიზებს, ასკანირებს და ამატებს თქვენს საიტს მონაცემთა ბაზაში. ის ახლა გამოჩნდება ძიების შედეგებიდა გამოჩნდება მომხმარებლის მოთხოვნების საპასუხოდ. და რა პოზიციებზე - ლიდერები თუ აუტსაიდერები - დამოკიდებულია იმ შინაარსზე, რომლითაც იგი ივსება. რა თქმა უნდა, საიტის ინდექსირება უბრალოდ აუცილებელია. როდესაც თქვენი საიტი იწყებს საძიებო სისტემებში ხილვას, მასში სტუმრები მოდიან და ის იზრდებაროგორ დავამატო საიტი მონაცემთა ბაზაში?
ვთქვათ, თქვენ შექმენით ვებსაიტი Mostbestsite.rf. ჩვენ ის შევავსეთ, რა თქმა უნდა, საუკეთესო შინაარსით და მოუთმენლად ველით მის მწვერვალს. იმისათვის, რომ საიტი და შინაარსი იყოს ინდექსირებული და მონაცემთა ბაზაში შეტანილი, შეგიძლიათ გამოიყენოთ ორი მეთოდი.- დაელოდეთ თვითინდექსირებას. ადრე თუ გვიან, რობოტები იპოვიან თქვენს საიტს - ამისათვის თქვენ უბრალოდ უნდა დატოვოთ აქტიური ბმულები სხვა რესურსებიდან. ითვლება, რომ რაც მეტი ბმული იქნება, მით უფრო სწრაფი იქნება ინდექსირება.
- დაამატეთ საიტი ხელით საძიებო სისტემაში სპეციალური ფორმის შევსებით. იქ თქვენ უნდა მიაწოდოთ საიტის ბმული და მოკლე ინფორმაცია მის შესახებ. მაგალითად, Yandex-ში ეს კეთდება სერვისშიYandex Webmasterგვერდზე შეატყობინეთ ახალი საიტის შესახებ .
როგორ დავაჩქაროთ ინდექსირება?
საძიებო სისტემის ალგორითმები არაპროგნოზირებადი რამ არის და, როგორც უკვე აღვნიშნეთ, ზუსტი რეცეპტი არ არსებობს. ჩვენ შეგვიძლია გირჩიოთ დადასტურებული მეთოდები (არსებითად იგივე, რაც გავლენას ახდენს ვებსაიტის პოპულარიზაციაზე ძიების შედეგებში)- უნიკალური შინაარსი, რომელიც საძიებო სისტემებს ძალიან უყვართ. ერთი რამ: თუ თქვენ განათავსეთ სტატია ვებსაიტზე ან ბლოგზე და ის ჯერ არ არის ინდექსირებული, ნებისმიერს შეუძლია თეორიულად მოიპაროს და დამოუკიდებლად განათავსოს. თუ სტატია უფრო ადრეა ინდექსირებული სხვა საიტზე, თქვენ პრობლემები გაქვთ. თქვენი სტატია ჩაითვლება არაუნიკალურად, ხოლო თქვენი კონკურენტი სიბნელეში დარჩება.
- საიტის სტრუქტურის გასუფთავება. დაიცავით სამი დაწკაპუნების წესი: თქვენ შეგიძლიათ მიხვიდეთ თითოეულ გვერდზე მთავარი გვერდიდან არაუმეტეს სამი დაწკაპუნებით. ნაკლები კარგია, მეტი უკეთესი! ამგვარად საძიებო სისტემებს გაუადვილებთ დავალებას, რომლებიც არამარტო მთავარ გვერდს, არამედ სხვა გვერდებსაც დაადექსირებენ.
- შიდა გვერდებთან დაკავშირება სასარგებლოა როგორც ვიზიტორებისთვის, ასევე რობოტისთვის.
- პოსტების გადაცემა RSS დირექტორიებში. ყველა თქვენი პოსტი გაორმაგდება RSS კატალოგებში, რომლებშიც დამატებულია RSS არხები. ეს არის ბლოგის ან ვებსაიტის განახლებების გამოწერის არხები, რათა მიიღოთ უახლესი ელფოსტა. მათი დახმარებით, საძიებო სისტემა სწრაფად იპოვის თქვენს ახალ სტატიებს და ინდექსებს.
აქ არის წარმატებული ინდექსირების მაგალითი
ერთი კვირის წინ ერთ-ერთ საიტზე გაჩნდა სტატია იარაღზე VPO-213 . ინტერნეტში პრაქტიკულად არ იყო ინფორმაცია ამ იარაღის შესახებ - ის ჯერ არ გამოჩენილა გაყიდვაში. იუთუბზე მხოლოდ მოკლე პრეზენტაცია იყო ვიდეოში. შესაბამისად, ტექსტი სრულიად უნიკალური და თითქმის ერთადერთი იყო ინტერნეტში ამ თემაზე. დაახლოებით შუაღამისას ტექსტი გამოქვეყნდა საიტზე (არც მთავარ გვერდზე!) და ინდექსირებული იქნა მოკლე დროში. მეორე დღეს დილის ცხრის ნახევარზე სტატია მესამე ადგილზე იყო Yandex-ის ძიების შედეგებში. 9.50 საათზე იგი გახდა პირველი და დღემდე ინარჩუნებს ამ თანამდებობას.
ამ ინსტრუქციაში განვიხილავთ სხვადასხვა საძიებო სისტემებში ინდექსაციისთვის ჩვენი ახალი საიტის დამატების საკითხს.
გადავწყვიტე მეთქვა როგორ პოპულარული საძიებო სისტემები, ისევე როგორც მათ შესახებ, რომელთა შესახებ შესაძლოა არ გსმენიათ.
საიტის ინდექსირება Yandex-ში
ინდექსაციისთვის საიტის დასამატებლად, უბრალოდ შეიყვანეთ მთავარი გვერდის url და captcha. Captcha არის რამდენიმე ნომერი, რომელიც იცავს ავტომატური რეგისტრაციისგან. ღილაკზე „დამატების“ დაწკაპუნების შემდეგ, შესაძლებელია მოვლენების განვითარების რამდენიმე ვარიანტი.
1) შეტყობინება "თქვენი საიტი დამატებულია" მიუთითებს რესურსის წარმატებულ დამატებაზე Yandex-ში ინდექსაციისთვის.
2) თუ გამოჩნდება შეტყობინება „თქვენი ჰოსტინგი არ პასუხობს“, ეს ნიშნავს, რომ თქვენი სერვერი ამ მომენტში გათიშულია. შეგიძლიათ მოგვიანებით სცადოთ საიტის დამატება ან იპოვოთ უკეთესი ჰოსტინგი.
3) მაგრამ თუ გამოჩნდება შეტყობინება, რომ "მითითებულ URL-ს აკრძალულია ინდექსირება", მაშინ ყველაფერი ცუდია. ეს მიუთითებს იმაზე, რომ სანქციები დაწესდა თქვენს რესურსზე საიტის აკრძალვის სახით. სავსებით შესაძლებელია, რომ თქვენ მიერ შეძენილ დომენს უკვე ჰქონოდა ვებსაიტი, რომელმაც მიიღო სანქციები. addurl-ის გამოყენებით, ვებმასტერები ხშირად ამოწმებენ საიტებს Yandex-ში აკრძალვისთვის.
ვებსაიტების ინდექსირება Google-ში (Google)
შემდეგი ყველაზე მნიშვნელოვანი ჩვენი საიტისთვის არის საძიებო სისტემაᲒუგლი გუგლი). Google-ში ინდექსირებაში საიტის დამატების პროცესი ზუსტად იგივეა, რაც Yandex-ზე. გუგლს ასევე აქვს საკუთარი ადურილკა, რომელიც მდებარეობს მისამართზე: https://www.google.com/webmasters/tools/submit-url.
დამატებისას ასევე უნდა შეიყვანოთ captcha. მაგრამ არსებობს ორი განსხვავება. თუ Yandex-ში შეგიძლიათ უბრალოდ დაამატოთ URL ზედმეტი მოძრაობების გარეშე, მაშინ Google-ში უნდა შეხვიდეთ თქვენს ანგარიშში. წინააღმდეგ შემთხვევაში ეს არ იმუშავებს. შესაბამისად, თუ იქ ჯერ არ გაქვთ ანგარიში, მოგიწევთ მისი შექმნა. მეორე განსხვავება Google-სა და Yandex-ს შორის არის ინდექსირების სიჩქარე. Google ძალიან სწრაფად ახდენს ვებგვერდების ინდექსირებას.
საიტის ინდექსირება Rambler-ში (Rambler.ru)
რა თქმა უნდა, Rambler არ არის ის, რაც იყო, როგორც ბევრი იტყვის, და უზრუნველყოფს ძალიან მცირე ტრაფიკს. და მაინც, რატომ უგულებელყოფთ მათ? საიტის ინდექსირების პროცესი Rambler-ში ყველაზე გრძელია შიდა საძიებო სისტემებს შორის. და მისი ადურილკა დიდი ხანია არ მუშაობს, იყო საიტზე: robot.rambler.ru/cgi-bin/addsite.cgi
ის დიდი ხანია იყენებს Yandex-ის საძიებო ბაზას. ამიტომ, Rambler.ru ინდექსში მოსახვედრად საკმარისია Yandex-ში დამატება.
საიტის ინდექსირება Mail.ru-ში (ფოსტა)
საძიებო სისტემა Mail.ru-ს ასევე აქვს ვებმასტერის ანგარიში. Mail.ru-ში ინდექსაციისთვის საიტის დამატება ხდება addurl ფორმის საშუალებით, რომელიც მდებარეობს მისამართზე: go.mail.ru/addurl
უფრო მეტიც, Google-ის მსგავსად, ინდექსირებაზე განაცხადის მისაღებად, თქვენ უნდა შექმნათ თქვენი საკუთარი ანგარიში და შეხვიდეთ მასში. სხვანაირად არ გამოვა. მაილი ბოლო დროს ცდილობს განავითაროს თავისი საკუთარი იარაღებივებმასტერებისთვის.
ზემოთ ჩვენ გადავხედეთ მთავარ შიდა საძიებო სისტემებს, რომლებშიც გვსურს ჩვენი საიტის ინდექსირება. მე მივცემ შემდეგ PS-ს უფრო მეტს თქვენი ზოგადი SEO ერუდიციისთვის, ვიდრე კონკრეტული მოქმედებებისთვის.
საძიებო სისტემა Aport.ru (Aport)
Aport.ru ოდესღაც საძიებო სისტემა იყო, თავისი ინდექსების მონაცემთა ბაზით და adurilka-ით. ახლა ის გადაიქცა პროდუქტის საძიებო სისტემად, რომელშიც შეგიძლიათ შეადაროთ საქონლისა და მომსახურების ფასები.
საძიებო სისტემა Nigma.ru (Nigma)
Nigma.ru არის ჩვენი რუსული ინტელექტუალური საძიებო სისტემა. მისი ტრაფიკის მთლიანი მოცულობა შეადგენს დაახლოებით სამ მილიონ მოთხოვნას დღეში. ცხადია, ტრაფიკი ნიგმადან არ უნდა იყოს უგულებელყოფილი. შეგიძლიათ დაამატოთ თქვენი საიტი ნიგმაში ინდექსაციისთვის გვერდზე nigma.ru/index_menu.php?menu_element=add_site.
მედია ნავიგატორი Tagoo.ru
Tagoo.ru სისტემა არის მედიის საძიებო სისტემა, რომელიც ეძებს მედია მონაცემებს. ეს მოიცავს მუსიკალურ კონტენტს, ვიდეოებსა და პროგრამებს. იმისათვის, რომ თქვენი საიტი იყოს ინდექსირებული Tagoo სისტემის მიერ, თქვენ უნდა გამოიყენოთ დამატების ფორმა: tagoo.ru/ru/webmaster.php?mode=add_site.
საძიებო სისტემა Turtle.ru (კუს)
საერთაშორისო საძიებო სისტემა Turtle (Turtle) ეძებს დსთ-ს ქვეყნებს ნებისმიერ ენაზე. ინდექსაციისთვის მიიღება ისეთი დომენის ზონებში განთავსებული რესურსები, როგორიცაა: ru, su, ua, am, az, ge, by, kz, kg, uz, md. კუსში ინდექსაციისთვის საიტის დასამატებლად, თქვენ უნდა გამოიყენოთ Aduril: http://www.turtle.ru/add.html. მიზანშეწონილია დაელოდოთ შეტყობინებას, რომ თქვენი საიტი მიღებულია. შეიძლება არ დაემატოს, მაგრამ თქვენ არც კი იცით.
უცხოური საძიებო სისტემები
თუ ზემოთ ჩამოთვლილი იყო შიდა საძიებო სისტემები, მაშინ ქვემოთ იქნება უცხოური საძიებო სისტემების სია.
საძიებო სისტემა Yahoo.com (Yahoo)
საძიებო სისტემა Bing.com (Bing)
Bing საძიებო სისტემა Microsoft-ის საკუთრებაა და შეიქმნა Live Search-ის ჩასანაცვლებლად. მაიკროსოფტი იმედოვნებს, რომ ახალი იდეა ბევრად უფრო პოპულარული იქნება, ვიდრე მისი წინამორბედი. თუ გსურთ, რომ თქვენი Bing.com საიტი იყოს ინდექსირებული, ამის გაკეთება შეგიძლიათ მისამართზე http://www.bing.com/toolbox/submit-site-url.
უკრაინული საძიებო სისტემები
და ჩემი მიმოხილვის დასასრულს, მე მოვიყვან ორ პოპულარულ საძიებო სისტემას უკრაინაში.
უკრაინული საძიებო სისტემა Meta.ua (Meta)
მრავალი მიზეზის გამო, საძიებო სისტემები არ ახდენენ საიტის ყველა გვერდის ინდექსირებას ან, პირიქით, არასასურველს ამატებენ ინდექსში. შედეგად, თითქმის შეუძლებელია იპოვოთ საიტი, რომელსაც აქვს იგივე რაოდენობის გვერდები Yandex-სა და Google-ში.
თუ შეუსაბამობა არ აღემატება 10% -ს, მაშინ ამას ყველა არ აქცევს ყურადღებას. მაგრამ ეს პოზიცია მოქმედებს მედია და საინფორმაციო საიტებზე, როდესაც გვერდების მცირე ნაწილის დაკარგვა გავლენას არ ახდენს მთლიან ტრაფიკზე. მაგრამ ონლაინ მაღაზიებისთვის და სხვა კომერციული საიტებისთვის, ძიებაში პროდუქტის გვერდების არარსებობა (ათიდან ერთიც კი) არის შემოსავლის დაკარგვა.
ამიტომ, მნიშვნელოვანია თვეში ერთხელ მაინც შეამოწმოთ Yandex-სა და Google-ში გვერდების ინდექსირება, შეადაროთ შედეგები, დაადგინოთ რომელი გვერდები აკლია ძიებას და მიიღოთ ზომები.
ინდექსირების მონიტორინგის პრობლემა
ინდექსირებული გვერდების ნახვა არ არის რთული. ეს შეიძლება გაკეთდეს ვებმასტერებისთვის პანელებში მოხსენებების ატვირთვით:
- ("ინდექსირება" / "გვერდები ძიებაში" / "ყველა გვერდი" / "ჩამოტვირთეთ XLS / CSV ცხრილი");
ხელსაწყოს შესაძლებლობები:
- ინდექსირებული გვერდების ერთდროული შემოწმება Yandex-სა და Google-ში (ან ერთ PS-ში);
- ყველა საიტის URL-ის ერთდროულად შემოწმების შესაძლებლობა;
- არ არის შეზღუდვა URL-ების რაოდენობაზე.
თავისებურებები:
- მუშაობა "ღრუბელში" - არ არის საჭირო პროგრამული უზრუნველყოფის ან დანამატების ჩამოტვირთვა და ინსტალაცია;
- ანგარიშების ატვირთვა XLSX ფორმატში;
- შეტყობინება ელექტრონული ფოსტით მონაცემთა შეგროვების დასრულების შესახებ;
- ანგარიშების შენახვა შეუზღუდავი დროით PromoPult სერვერზე.
