인덱싱이란 무엇입니까? 로봇이 사이트 페이지의 콘텐츠를 가져와서 해당 콘텐츠를 검색 결과에 포함시키는 프로세스입니다. 숫자를 보면 인덱싱 로봇 데이터베이스에는 수조 개의 웹 사이트 페이지 주소가 포함되어 있습니다. 로봇은 매일 수십억 개의 주소를 요청합니다.
그러나 이 전체 인터넷 인덱싱 프로세스는 다음과 같은 작은 단계로 나눌 수 있습니다.
먼저 크롤러는 사이트의 페이지 모양에 대해 알아야 합니다. 예를 들어, 인터넷에서 다른 페이지의 색인을 생성하거나, 링크를 찾거나, 세트 nemp를 다운로드합니다. 페이지에 대해 알게 된 후 이 페이지를 크롤링하고 사이트의 이 페이지에 대한 요청을 위해 서버에 데이터를 보내고 콘텐츠를 수신하여 검색 결과에 포함할 계획입니다.
이 전체 과정은 인덱싱 로봇을 웹사이트와 교환하는 과정입니다. 인덱싱 로봇이 보낸 요청이 실제로 변경되지 않고 페이지 주소만 변경된 경우 로봇의 페이지 요청에 대한 서버의 응답은 다음과 같은 여러 요인에 따라 달라집니다.
- CMS 설정에서
- 호스팅 제공업체의 설정에서
- 중간 공급자의 작업에서.
이 대답은 단지 변화하고 있습니다. 우선 페이지를 요청할 때 사이트의 로봇은 다음과 같은 서비스 응답을 받습니다.
HTTP 헤더입니다. 여기에는 로봇이 이제 어떤 콘텐츠가 전송되는지 이해할 수 있도록 하는 다양한 서비스 정보가 포함되어 있습니다.
첫 번째 헤더에 초점을 맞추고 싶습니다. 이것은 HTTP 응답 코드로, 로봇이 요청한 페이지의 상태를 인덱싱 로봇에 표시합니다.
다음과 같은 수십 가지 HTTP 상태 코드가 있습니다.
나는 가장 인기있는 것들에 대해 말할 것입니다. 가장 일반적인 응답 코드는 HTTP-200입니다. 페이지를 사용할 수 있고 색인을 생성할 수 있고 검색 결과에 포함할 수 있으며 모든 것이 정상입니다.
이 상태의 반대는 HTTP-404입니다. 사이트에 페이지가 없고 색인을 생성할 항목이 없으며 검색에 포함할 항목도 없습니다. 사이트 구조 변경 및 내부 페이지 주소 변경 시 리다이렉트용 301 서버 설정을 권장합니다. 그는 로봇에게 다음과 같이 지적할 것입니다. 오래된 페이지새 주소로 이전되었으며 검색 결과에 새 주소를 포함해야 합니다.
로봇의 마지막 방문 이후 페이지의 내용이 변경되지 않은 경우 HTTP-304 코드를 반환하는 것이 가장 좋습니다. 로봇은 검색 결과의 페이지를 업데이트할 필요가 없으며 콘텐츠 전송도 발생하지 않는다는 것을 이해합니다.
예를 들어 서버에서 작업을 수행할 때와 같이 사이트를 잠시 사용할 수 있는 경우 HTTP-503을 구성하는 것이 가장 좋습니다. 그는 로봇에게 현재 사이트와 서버를 사용할 수 없음을 알려줄 것입니다. 잠시 후에 가셔야 합니다. 단기적으로 사용할 수 없는 경우 검색 결과에서 페이지가 제외되지 않습니다.
이러한 HTTP 코드, 페이지 상태 외에도 페이지 자체의 콘텐츠를 직접 가져와야 합니다. 일반 방문자의 경우 페이지가 다음과 같이 표시됩니다.
이것들은 그림, 텍스트, 탐색이며 모든 것이 매우 아름답습니다. 인덱싱 로봇의 경우 모든 페이지는 소스 코드, HTML 코드의 집합일 뿐입니다.
다양한 메타 태그, 텍스트 콘텐츠, 링크, 스크립트, 모든 종류의 정보. 로봇은 이를 수집하고 검색 결과에 포함합니다. 모든 것이 단순한 것 같습니다. 페이지를 요청했습니다. 상태가 있고, 콘텐츠가 있고, 검색에 포함되어 있습니다.
그러나 Yandex의 검색 서비스가 서버 응답에 특정 문제가 발생했다는 웹마스터 및 사이트 소유자로부터 500개 이상의 편지를 받는 것은 헛된 것이 아닙니다.
이 모든 문제는 두 부분으로 나눌 수 있습니다.
HTTP 응답 코드의 문제와 페이지의 즉각적인 내용과 관련된 HTML 코드의 문제입니다. 이러한 문제에는 여러 가지 이유가 있을 수 있습니다. 가장 일반적인 것은 호스팅 제공자가 인덱싱 로봇을 차단하는 것입니다.
예를 들어 웹 사이트를 시작하고 새 섹션을 추가했습니다. 로봇은 귀하의 사이트를 더 자주 방문하기 시작하고 서버의 부하를 증가시킵니다. 호스팅 제공업체는 모니터에서 이를 보고 인덱싱 로봇을 차단하므로 로봇이 사이트에 액세스할 수 없습니다. 리소스로 이동합니다. 모든 것이 정상이고, 모든 것이 작동하고, 페이지가 예쁘고, 모든 것이 열리고, 모든 것이 훌륭하지만 로봇은 사이트를 색인화할 수 없습니다. 예를 들어 결제를 잊은 경우 등 일시적으로 사이트를 이용할 수 없는 경우 도메인 이름, 사이트가 며칠 동안 비활성화되었습니다. 로봇이 사이트에 오면 사용할 수 없으며 이러한 조건에서는 잠시 후 문자 그대로 검색 결과에서 사라질 수 있습니다.
예를 들어, 다른 CMS로 업데이트하거나 전환할 때 잘못된 CMS 설정으로 인해 디자인을 업데이트할 때 설정이 잘못된 경우 사이트 페이지가 검색 결과에서 사라질 수도 있습니다. 예를 들어, 금지 메타 태그의 존재 소스 코드사이트 페이지, 표준 속성의 잘못된 설정. 사이트를 변경한 후 로봇이 페이지에 액세스할 수 있는지 확인하십시오.
Yandex의 도구가 도움이 될 것입니다. 서버 응답을 확인하는 웹마스터:
서버가 로봇에 반환하는 HTTP 헤더를 페이지의 콘텐츠에서 직접 확인할 수 있습니다.
"인덱싱"섹션에는 제외 된 페이지, 이러한 표시기의 변경 역학, 다양한 정렬 및 필터링을 볼 수있는 통계가 포함되어 있습니다.
또한 오늘 저는 이미 이 섹션인 "사이트 진단" 섹션에 대해 이야기했습니다. 로봇이 사이트를 사용할 수 없게 되면 해당 알림 및 권장 사항을 받게 됩니다. 어떻게 해결할 수 있습니까? 이러한 문제가 없으면 사이트를 사용할 수 있고 200개의 코드에 응답하고 올바른 콘텐츠가 포함된 다음 로봇이 다음에서 시작됩니다. 자동 모드그가 배우는 모든 페이지를 방문하십시오. 이것이 항상 원하는 결과로 이어지는 것은 아니므로 로봇의 활동이 특정 방식으로 제한될 수 있습니다. 이를 위한 robots.txt 파일이 있습니다. 우리는 다음 섹션에서 그것에 대해 이야기 할 것입니다.
로봇.txt
robots.txt 파일 자체가 작습니다. 텍스트 문서, 사이트의 루트 폴더에 있으며 사이트를 크롤링할 때 따라야 하는 인덱싱 로봇에 대한 엄격한 규칙이 포함되어 있습니다. robots.txt 파일의 장점은 이 파일을 사용하는 데 특별한 지식이나 전문 지식이 필요하지 않다는 것입니다.
메모장을 열고 형식에 대한 특정 규칙을 입력한 다음 서버에 파일을 저장하기만 하면 됩니다. 하루 안에 로봇은 이러한 규칙을 사용하기 시작합니다.
간단한 robots.txt 파일의 예를 들면 다음 슬라이드에 있습니다.
User-Agent 지시문: ”은 지시문과 보조 Sitemap 및 Host 지시문을 허용/거부하여 규칙이 의도된 로봇을 보여줍니다. 약간의 이론, 나는 실습으로 이동하고 싶습니다.
몇 달 전 만보계를 사고 싶어 Yandex로 눈을 돌렸습니다. 선택에 대한 도움을 요청하십시오. 이전 위치 홈페이지얀덱스에서 얀덱스로. 시장에 나와 서비스의 메인 페이지로 이동했습니다.
아래에서 내가 방문한 페이지의 주소를 볼 수 있습니다. 사이트의 사용자인 나를 식별하는 식별자도 서비스 자체의 주소에 추가되었습니다.
그런 다음 "카탈로그"섹션으로 이동했습니다.
원하는 하위 섹션을 선택하고 정렬 매개변수, 가격, 필터, 정렬 방법, 제조업체를 설정했습니다.
제품 목록이 있는데 페이지 주소가 이미 늘어났습니다.
원하는 제품에 가서 '장바구니에 담기' 버튼을 누르고 디자인을 계속했다.
내 짧은 여행 동안 페이지 주소가 특정 방식으로 변경되었습니다.
서비스 매개 변수가 추가되어 나를 사용자로 식별하고 정렬을 설정하고 내가 사이트의 이 페이지 또는 해당 페이지로 이동한 사이트 소유자에게 표시됩니다.
이러한 페이지, 서비스 페이지는 검색 엔진 사용자에게별로 흥미롭지 않을 것이라고 생각합니다. 그러나 인덱싱 로봇이 사용할 수 있는 경우 로봇이 실제로 사용자처럼 행동하기 때문에 검색에 참여할 수 있습니다.
그는 한 페이지로 이동하여 클릭할 수 있는 링크를 보고 해당 페이지로 이동하여 로봇의 데이터베이스에 데이터를 로드하고 전체 사이트의 크롤링을 계속합니다. 이러한 주소의 동일한 범주에는 사용자의 개인 데이터(예: 배송 정보 또는 사용자 연락처 정보)가 포함될 수 있습니다.
당연히 금지하는 것이 좋습니다. 여기에서 robots.txt 파일이 도움이 될 것입니다. 오늘 밤 웹마스터가 끝날 때 사이트에 방문하여 실제로 사용할 수 있는 페이지를 보려면 클릭하십시오.
robots.txt를 확인하기 위해 웹마스터에 특별한 도구가 있습니다.
다운로드하고 페이지 주소를 입력하고 로봇에 사용할 수 있는지 여부를 확인할 수 있습니다.
일부 변경을 수행하고 로봇이 이러한 변경에 어떻게 반응하는지 확인하십시오.
robots.txt 작업 시 오류
서비스 페이지 폐쇄와 같은 긍정적인 영향 외에도 robots.txt를 잘못 처리하면 잔인한 농담이 될 수 있습니다.
첫째, robots.txt를 사용할 때 가장 일반적인 문제는 사이트에서 실제로 필요한 페이지, 즉 요청에 따라 검색하고 표시해야 하는 페이지가 닫히는 것입니다. robots.txt를 변경하기 전에 닫고 싶은 페이지가 검색어에 포함되어 있지 않은지 확인하십시오. 아마도 일부 매개변수가 있는 페이지가 검색 결과에 있고 방문자는 검색을 통해 페이지를 방문합니다. 따라서 robots.txt를 사용 및 수정하기 전에 반드시 확인하시기 바랍니다.
둘째, 사이트에서 키릴 자모 URL을 사용하는 경우 robots.txt에서 직접 지정할 수 없으며 인코딩해야 합니다. robots.txt는 국제 표준이므로 모든 인덱싱 로봇이 이를 따르며 반드시 코딩해야 합니다. 키릴 문자는 명시적으로 지정할 수 없습니다.
세 번째로 가장 인기 있는 문제는 검색 엔진이 다른 로봇마다 규칙이 다르다는 것입니다. 한 인덱싱 로봇의 경우 모든 인덱싱 페이지가 닫혔고 두 번째 로봇에서는 아무 것도 닫히지 않았습니다. 결과적으로 한 검색 엔진에서 잘하고 있고 원하는 페이지가 검색에 있고 다른 검색 엔진에는 휴지통, 다양한 쓰레기 페이지 등이있을 수 있습니다. 금지를 설정하면 모든 인덱싱 로봇에 대해 수행되어야 합니다.
네 번째로 가장 일반적인 문제는 필요하지 않을 때 Crawl-delay 지시문을 사용하는 것입니다. 이 지시문을 사용하면 인덱싱 로봇의 쿼리 순도에 영향을 줄 수 있습니다. 이것은 실용적인 예입니다. 작은 사이트, 작은 호스팅에 넣어, 모든 것이 괜찮습니다. 우리는 큰 카탈로그를 추가했고 로봇이 와서 많은 새 페이지를 보고 사이트를 더 자주 방문하기 시작했으며 로드가 증가하고 다운로드하여 사이트에 액세스할 수 없게 되었습니다. Crawl-delay 지시어를 설정하면 로봇이 이를 보고 부하를 줄이며 모든 것이 정상이고 사이트가 작동하고 모든 것이 완벽하게 색인화되고 검색 결과에 있습니다. 일정 시간이 지나면 사이트가 훨씬 더 커지고 이러한 요청에 대처할 준비가 된 새 호스팅으로 이전됩니다. 큰 금액요청하고 Crawl-delay 지시문을 제거하는 것을 잊지 마십시오. 결과적으로 로봇은 귀하의 사이트에 많은 페이지가 표시되었음을 인식하지만 단순히 지시문 때문에 색인을 생성할 수 없습니다. Crawl-delay 지시문을 사용한 적이 있는 경우 지금은 존재하지 않는지, 서비스가 인덱싱 로봇의 로드를 처리할 준비가 되었는지 확인하십시오.
설명된 기능 외에도 robots.txt 파일을 사용하면 사이트에서 중복을 제거하고 기본 미러의 주소를 지정하는 두 가지 매우 중요한 작업을 해결할 수 있습니다. 이것이 바로 다음 섹션에서 이야기할 내용입니다.
더빙
중복이란 완전히 동일한 콘텐츠를 포함하는 동일한 사이트의 여러 페이지를 의미합니다. 가장 일반적인 예는 주소 끝에 슬래시가 있거나 없는 페이지입니다. 또한 중복은 다른 범주의 동일한 제품으로 이해될 수 있습니다.
예를 들어, 롤러 스케이트는 소녀를 위한 것일 수 있고 소년의 경우 동일한 모델이 동시에 두 섹션에 있을 수 있습니다. 셋째, 중요하지 않은 매개 변수가 있는 페이지입니다. Yandex의 예에서와 같이. 시장에서 이 페이지는 "세션 식별자"이며 이러한 매개변수는 원칙적으로 페이지의 내용을 변경하지 않습니다.
중복을 찾고 로봇이 액세스하는 페이지를 보려면 Yandex를 사용할 수 있습니다. 웹마스터.
통계 외에도 로봇이 다운로드한 페이지의 주소도 있습니다. 코드와 마지막 히트가 표시됩니다.
두 배로 이어지는 고민
중복이 왜 그렇게 나쁜가요?
먼저 로봇이 사이트의 완전히 동일한 페이지에 액세스하기 시작하여 서버에 추가 로드를 생성할 뿐만 아니라 사이트 전체의 크롤링에도 영향을 줍니다. 로봇은 색인을 생성하고 검색 결과에 포함해야 하는 페이지가 아닌 중복 페이지에 주의를 기울이기 시작합니다.
두 번째 문제는 로봇이 사용할 수 있는 경우 중복 페이지가 검색 결과에 표시되고 쿼리에 대한 기본 페이지와 경쟁할 수 있다는 것입니다. 이는 물론 특정 쿼리에 대한 사이트 찾기에 부정적인 영향을 미칠 수 있습니다.
어떻게 중복을 처리할 수 있습니까?
먼저 "canonical" 태그를 사용하는 것이 좋습니다. 인덱싱되고 검색되어야 하는 기본 표준 페이지로 로봇을 가리키기 위해.
두 번째 경우에는 주소 끝에 슬래시가 있고 슬래시가 없는 경우와 같이 301 서버 리디렉션을 사용할 수 있습니다. 리디렉션 설정 - 중복 없음.
그리고 세 번째는 내가 말했듯이 robots.txt 파일입니다. 중요하지 않은 매개변수를 제거하기 위해 금지 지시문과 Clean-param 지시문을 모두 사용할 수 있습니다.
사이트 미러
robots.txt가 해결할 수 있는 두 번째 작업은 로봇이 메인 미러의 주소를 가리키도록 하는 것입니다.
미러는 복제와 같이 두 개의 다른 사이트만 있는 절대적으로 동일한 사이트 그룹입니다. 웹마스터는 일반적으로 두 가지 경우에 미러에 직면합니다. 새 도메인으로 이동하려는 경우 또는 사용자가 여러 웹사이트 주소를 사용할 수 있도록 해야 할 때입니다.
예를 들어 사용자가 귀하의 주소를 입력할 때 귀하의 사이트 주소가 주소 표시 줄, 종종 같은 실수를 범합니다. 입력하거나 잘못된 기호를 넣거나 다른 것을 넣습니다. 사용자에게 호스팅 제공업체의 스텁이 아니라 실제로 가고 싶었던 사이트를 보여주기 위해 추가 도메인을 구입할 수 있습니다.
거울 작업에서 가장 자주 문제가 발생하는 것이 그와 함께 있기 때문에 첫 번째 요점에 대해 생각해 봅시다.
이사의 전체 과정, 나는 당신이 수행하는 것이 좋습니다 지시에 따라... 피하는 데 도움이 되는 작은 가이드 다양한 문제새 도메인 이름으로 이동할 때:
먼저 인덱싱 로봇이 사이트에 액세스할 수 있도록 하고 사이트에 완전히 동일한 콘텐츠를 배치해야 합니다. 또한 로봇이 사이트의 존재를 알고 있는지 확인하십시오. 가장 쉬운 방법은 Yandex에 추가하는 것입니다. 웹마스터 및 권한을 확인합니다.
둘째, Host 지시문을 사용하여 로봇이 메인 미러의 주소를 가리키도록 합니다.
우리는 이전 사이트에서 새 사이트로 모든 지표의 접착 및 이전을 기다리고 있습니다.
그런 다음 이미 이전 주소에서 새 주소로 리디렉션을 설정할 수 있습니다. 간단한 지침, 이동하는 경우 반드시 사용하십시오. 에 문제가 없기를 바랍니다.
움직이는.
그러나 자연스럽게 미러 작업을 할 때 오류가 발생합니다.
우선, 주요 문제는 검색에 있어야 하는 주소인 메인 미러의 주소에 대한 인덱싱 로봇에 대한 명시적 지침이 부족하다는 것입니다. 귀하의 사이트에서 robots.txt에 호스트 지시문이 있는지 확인하십시오. 그러면 검색에서 보고자 하는 주소로 정확히 연결됩니다.
두 번째로 가장 일반적인 문제는 리디렉션을 사용하여 기존 미러 그룹의 마스터 미러를 변경하는 것입니다. 무슨 일이야? 이전 주소는 리디렉션되기 때문에 로봇에 의해 인덱싱되지 않으므로 검색 결과에서 제외됩니다. 동시에 새 사이트는 기본 미러가 아니므로 검색에 포함되지 않습니다. 당신은 트래픽을 잃고 방문자를 잃고 있습니다. 아무도 그것을 필요로하지 않는다고 생각합니다.
그리고 세 번째 문제는 움직일 때 거울 중 하나에 접근 할 수 없다는 것입니다. 이 상황의 가장 일반적인 예는 사이트 콘텐츠가 새 주소로 복사되고 이전 주소가 단순히 비활성화되었고 도메인 이름에 대한 비용이 지불되지 않아 사용할 수 없게 된 경우입니다. 당연히 이러한 사이트는 함께 접착되지 않으며 인덱싱 로봇에 사용할 수 있어야 합니다.
직장에서 유용한 링크:
- 더 유용한 정보 Yandex.Help 서비스에서 찾을 수 있습니다.
- 내가 말한 모든 도구와 그 이상 - Yandex.Webmaster의 베타 버전이 있습니다.
질문에 대한 답변
“신고해 주셔서 감사합니다. robots.txt는 로봇에 대한 CSS 인덱싱을 닫아야 합니까?
현재로서는 닫는 것을 권장하지 않습니다. 예, CSS, JavaScript를 그대로 두는 것이 좋습니다. 이제 크롤러 로봇이 사이트의 스크립트와 스타일을 모두 인식하고 방문자가 일반 브라우저에서 어떻게 왔는지 볼 수 있도록 작업 중이기 때문입니다.
"사이트 주소의 URL이 같으면 이전 URL과 새 URL이 동일한지 알려주세요. 괜찮나요?"
괜찮아. 기본적으로 일부 콘텐츠를 추가한 디자인 업데이트만 있으면 됩니다.
“사이트에는 카테고리가 있고 여러 페이지로 구성되어 있습니다. 예를 들어 슬래시, 페이지 1, 페이지 2, 최대 10개입니다. 모든 페이지에는 하나의 카테고리 텍스트가 있으며 중복된 것으로 판명되었습니다. 이 텍스트가 중복됩니까, 아니면 어떻게든 닫아야 합니까? 두 번째 페이지와 다음 페이지에 새 색인이 있습니까?"
우선 첫 번째 페이지의 페이지 매김과 두 번째 페이지의 내용이 일반적으로 다르기 때문에 중복되지 않습니다. 그러나 두 번째, 세 번째 및 추가 페이지 매김 페이지가 검색에 들어가 관련 검색어에 대해 표시될 수 있다는 것을 예상해야 합니다. 페이지 매김 페이지에서는 로봇이 검색에 페이지 매김 페이지를 포함하지 않도록 모든 제품이 수집되는 페이지에서 기껏해야 표준 속성을 사용하는 것이 좋습니다. 사람들은 페이지 매김의 첫 페이지에서 매우 자주 표준을 사용합니다. 로봇은 두 번째 페이지에 와서 제품을 보고 텍스트를 보고 검색에 페이지를 포함하지 않고 검색 결과에 페이지 매김의 첫 페이지를 포함해야 한다는 속성 때문에 이해합니다. 표준을 사용하고 텍스트 자체를 닫는 것은 필요하지 않다고 생각합니다.
출처(비디오): 사이트 인덱싱을 설정하는 방법- 알렉산더 스미르노프
마고메드 체르비제프
이 자료에서 다음을 배우게 됩니다.
- 인덱싱이란
- 데이터베이스에 사이트를 추가하는 방법
- 인덱싱 속도를 높이는 방법
인덱싱이란 무엇입니까?
우리는 이미 당신에게... 간단히 말해서 이들은 검색 엔진으로 유도하는 사용자 쿼리에 대한 답변입니다. "코끼리 구매"를 망치면 코끼리 도매 및 소매를 제공하는 사이트를 얻으십시오. Yandex 또는 Google은 이러한 요청에 대해 플라스틱 창이나 콜걸을 표시하지 않습니다. 이제 주의를 기울여야 합니다. 모든 사이트가 검색 결과에 표시됩니까? 아니, 모두가 아니다. 최소한 검색 엔진은 이 사이트의 존재와 이 사이트에 게시된 콘텐츠에 대해 알아야 합니다. 결국 아무도 모르는 것을 어떻게 보여줄 수 있습니까? 이를 위한 웹사이트 데이터베이스가 있습니다. 간단히 말해서 콘텐츠가 있는 사이트를 이 데이터베이스에 추가하는 것을 인덱싱이라고 합니다. 인덱싱은 어떻게 작동합니까? Yandex 또는 Google 로봇은 자체 알고리즘에 따라 작동합니다. 사이트에 대한 정보를 찾습니다(이 정보에는 주요 기사, 텍스트, 사진 등이 포함됩니다. 한 마디로 모든 콘텐츠). X-ray와 같으며 사이트의 모든 페이지를 비추고 분석하고 크롤링하여 사이트를 데이터베이스에 추가합니다. 이제 에 표시됩니다. 검색 결과사용자 요청에 대한 응답으로 표시됩니다. 그리고 어떤 직위(리더 또는 외부인)는 그것이 채워지는 내용에 달려 있습니다. 물론 사이트 인덱싱은 필수입니다. 검색 엔진이 귀하의 사이트를 보기 시작하면 방문자가 사이트를 방문하여 성장합니다.데이터베이스에 사이트를 추가하는 방법은 무엇입니까?
최고의 site.rf 사이트를 만들었다고 가정해 보겠습니다. 물론 최고의 콘텐츠로 가득 채웠으며 정상에 도달하기를 고대하고 있습니다. 사이트와 콘텐츠가 인덱싱되어 데이터베이스에 포함되기 위해서는 두 가지 방법을 사용할 수 있습니다.- 자체 인덱싱을 기다립니다. 조만간 로봇이 사이트를 찾을 것입니다. 다른 리소스에서 해당 사이트에 대한 활성 링크를 남겨두기만 하면 됩니다. 링크가 많을수록 인덱싱이 빨라집니다.
- 검색 엔진에서 특수 양식을 작성하여 사이트를 수동으로 추가하십시오. 거기에서 사이트에 대한 링크와 이에 대한 간략한 정보를 제공해야 합니다. 예를 들어 Yandex에서 이것은 서비스에서 수행됩니다.얀덱스 웹마스터페이지에서 새 사이트 신고 .
인덱싱 속도를 높이는 방법은 무엇입니까?
검색 엔진 알고리즘은 예측할 수 없으며 이미 언급했듯이 정확한 레시피가 없습니다. 입증된 방법에 대해 조언할 수 있습니다(사실, 검색 결과에서 웹사이트 홍보에 영향을 미치는 것과 동일한 방법)- 검색 엔진이 매우 좋아하는 독특한 콘텐츠. 한 가지 요점: 웹사이트나 블로그에 기사를 게시했는데 아직 색인이 생성되지 않은 경우 이론적으로 누구나 해당 기사를 가져가 게시할 수 있습니다. 다른 사이트에서 기사가 더 일찍 색인이 생성된 경우 현재 진행 중인 것입니다. 귀하의 기사는 고유하지 않은 것으로 간주되며 경쟁자는 초콜릿으로 남습니다.
- 명확한 사이트 구조. 세 번 클릭의 규칙을 따르십시오. 세 번만 클릭하면 기본 페이지에서 각 페이지로 이동할 수 있습니다. 적을수록 좋고 많을수록 좋지 않습니다! 이렇게 하면 검색 엔진이 홈 페이지뿐만 아니라 다른 페이지도 쉽게 색인화할 수 있습니다.
- 내부 페이지와의 연동은 방문자와 로봇 모두에게 유용합니다.
- RSS 디렉토리에 게시물을 브로드캐스트합니다. 모든 게시물은 RSS 피드가 추가되는 RSS 디렉토리에 복제됩니다. 이것은 블로그나 사이트의 업데이트를 구독하기 위한 피드이므로 최신 메일을 모두 받을 수 있습니다. 그들의 도움으로 검색 엔진은 새 기사를 빠르게 찾고 색인을 생성합니다.
성공적인 인덱싱의 예를 들어보겠습니다.
일주일 전, 총에 대한 기사가 한 사이트에 나타났습니다. VPO-213 ... 웹에는이 총에 대한 정보가 거의 없었습니다. 아직 판매되지 않았습니다. YouTube에는 짧은 비디오 프레젠테이션만 있었습니다. 따라서 텍스트는 완전히 독특했으며이 주제에 대한 인터넷상의 거의 유일한 것입니다. 자정쯤에 그 텍스트가 사이트에 게시되었습니다(홈 페이지에도 없었습니다!) 그리고 짧은 시간 안에 색인이 생성되었습니다. 다음날 아침 9시 반에 해당 기사는 Yandex 검색 결과에서 3위를 차지했습니다. 9시 50분에 첫 번째가 되었으며 그 이후로 이러한 위치를 유지하고 있습니다.
이 매뉴얼에서는 다양한 검색 엔진에 색인을 생성할 새 사이트를 추가하는 문제를 고려할 것입니다.
나는 방법을 언급하기로 결정 인기있는 검색 엔진, 그리고 당신이 들어보지 못한 것들.
Yandex의 사이트 인덱싱
인덱싱할 사이트를 추가하려면 기본 페이지의 URL과 보안 문자를 입력하기만 하면 됩니다. Captcha는 자동 등록을 방지하는 몇 가지 숫자입니다. "추가" 버튼을 클릭한 후 이벤트 개발에 대한 몇 가지 가능한 시나리오가 있습니다.
1) "사이트가 추가되었습니다"라는 메시지는 Yandex에서 인덱싱을 위해 대기열에 리소스를 성공적으로 추가했음을 나타냅니다.
2) "귀하의 호스팅이 응답하지 않습니다"라는 문구가 표시되면 현재 귀하의 서버가 다운되었음을 의미합니다. 나중에 사이트를 추가하거나 더 나은 호스팅을 찾을 수 있습니다.
3) 그러나 "지정된 URL은 인덱싱이 금지되어 있습니다"라는 메시지가 나타나면 문제가 있는 것입니다. 이는 사이트 금지 형태로 리소스에 제재가 부과되었음을 나타냅니다. 구매한 도메인에 제재를 받은 웹사이트가 있을 가능성이 큽니다. addurl의 도움으로 웹마스터는 종종 Yandex에서 금지 사이트를 확인합니다.
Google(Google)의 사이트 인덱싱
다음으로 우리 사이트에서 가장 중요한 것은 검색 시스템구글(구글). Google에서 인덱싱을 위해 사이트를 추가하는 프로세스는 Yandex에서와 정확히 동일합니다. Google에는 다음 위치에 있는 자체 adurilka도 있습니다. https://www.google.com/webmasters/tools/submit-url.
추가할 때도 보안 문자를 입력해야 합니다. 그러나 두 가지 차이점이 있습니다. Yandex에서 불필요한 제스처 없이 간단히 URL을 추가할 수 있다면 Google에서는 계정에 로그인해야 합니다. 그렇지 않으면 작동하지 않습니다. 따라서 아직 계정이 없는 경우 계정을 만들어야 합니다. Google과 Yandex의 두 번째 차이점은 인덱싱 속도입니다. Google은 사이트의 색인을 매우 빠르게 생성합니다.
Rambler(Rambler.ru)의 사이트 인덱싱
물론 Rambler는 많은 사람들이 말하듯이 예전과 다르며 트래픽이 거의 없습니다. 그리고 그럼에도 불구하고 왜 그것을 무시해야 합니까? 램블러에서 사이트를 인덱싱하는 과정은 다른 국내 검색 엔진 중 가장 오래 걸립니다. 그리고 그의 adurilka는 오랫동안 작동하지 않았습니다. 주소: robot.rambler.ru/cgi-bin/addsite.cgi
그는 오랫동안 Yandex 검색 데이터베이스를 사용해 왔습니다. 따라서 Rambler.ru 색인에 진입하려면 Yandex에 추가하는 것으로 충분합니다.
Mail.ru(Mail)의 사이트 인덱싱
Mail.ru 검색 엔진에는 웹마스터 사무실도 있습니다. Mail.ru에 인덱싱을 위한 사이트 추가는 go.mail.ru/addurl에 있는 addurl 양식을 통해 발생합니다.
게다가 구글처럼 인덱싱 애플리케이션을 만들려면 자신의 계정을 만들고 로그인해야 한다. 그렇지 않으면 작동하지 않습니다. Mile은 최근 자신의 자신의 도구웹마스터용.
위에서 우리는 우리 사이트를 색인화하는 것이 바람직한 국내 주요 검색 엔진을 조사했습니다. 특정 작업보다 일반적인 SEO 지식을 위해 다음 검색 엔진을 더 많이 인용하겠습니다.
검색 엔진 Aport.ru (Aport)
Aport.ru는 한때 자체 색인 기반과 adurilka를 갖춘 검색 엔진이었습니다. 이제 상품 및 서비스 가격을 비교할 수 있는 상품 검색 엔진이 만들어졌습니다.
검색 엔진 Nigma.ru (Nigma)
Nigma.ru는 러시아 지능형 검색 엔진입니다. 트래픽의 총량은 하루에 약 300만 요청입니다. 분명히, 당신은 Nigma에서 트래픽을 무시해서는 안됩니다. nigma.ru/index_menu.php?menu_element=add_site 페이지에서 Nigma에 색인을 생성할 사이트를 추가할 수 있습니다.
미디어 내비게이터 Tagoo.ru
Tagoo.ru 시스템은 미디어 데이터를 검색하는 미디어 검색 엔진입니다. 이들은 음악 콘텐츠, 비디오 및 프로그램입니다. Tagoo 시스템에서 사이트의 색인을 생성하려면 tagoo.ru/ru/webmaster.php?mode=add_site 추가 형식을 사용해야 합니다.
검색 엔진 Turtle.ru (거북이)
국제 검색 엔진 Turtle은 모든 언어로 CIS 국가를 검색합니다. 인덱싱을 위해 ru, su, ua, am, az, ge, by, kz, kg, uz, md와 같은 도메인 영역에 있는 리소스를 허용합니다. 거북이에 색인을 생성할 사이트를 추가하려면 adurilka를 사용해야 합니다. http://www.turtle.ru/add.html. 사이트 승인에 대한 메시지가 표시될 때까지 기다리는 것이 좋습니다. 추가하지 않을 수도 있지만 모를 것입니다.
외국 검색 엔진
위의 내용이 국내 검색 엔진인 경우 아래에 외국 검색 엔진 목록이 표시됩니다.
Yahoo.com 검색 엔진(Yahu)
Bing.com 검색 엔진(Bing)
Bing 검색 엔진은 Microsoft Corporation이 소유하고 있으며 Live Search를 대체하기 위해 만들어졌습니다. Microsoft는 새로운 발명품이 이전 제품보다 훨씬 더 인기가 있기를 바랍니다. PS 사이트 Bing.com의 색인을 생성하려면 http://www.bing.com/toolbox/submit-site-url에서 색인을 생성할 수 있습니다.
우크라이나어 검색 엔진
그리고 리뷰가 끝나면 우크라이나에서 인기있는 두 개의 검색 엔진을 인용하겠습니다.
우크라이나어 검색 엔진 Meta.ua(메타)
검색 엔진은 여러 가지 이유로 사이트의 모든 페이지를 색인화하지 않거나 반대로 원하지 않는 페이지를 색인에 추가하지 않습니다. 결과적으로 Yandex와 Google에서 동일한 페이지 수의 사이트를 찾는 것은 거의 불가능합니다.
불일치가 10 %를 초과하지 않으면 모든 사람이 이에주의를 기울이는 것은 아닙니다. 그러나 이 입장은 페이지의 작은 부분 손실이 전체 트래픽에 영향을 미치지 않는 미디어 및 정보 사이트에 대해 공정합니다. 그러나 온라인 상점 및 기타 상업 사이트의 경우 검색에 제품 페이지가 없으면(10개 중 1개라도) 수입 손실입니다.
따라서 적어도 한 달에 한 번 Yandex와 Google에서 페이지의 인덱싱을 확인하고 결과를 비교하고 검색에서 누락된 페이지를 식별하고 조치를 취하는 것이 중요합니다.
인덱싱 모니터링 중 문제
색인된 페이지를 보는 것은 어렵지 않습니다. 이는 웹마스터용 패널에 보고서를 업로드하여 수행할 수 있습니다.
- ("인덱싱" / "검색 중인 페이지" / "모든 페이지" / "XLS/CSV 테이블 다운로드");
도구 기능:
- Yandex와 Google(또는 하나의 PS)에서 인덱싱된 페이지 동시 확인
- 모든 사이트 URL을 한 번에 확인하는 기능
- URL 수에는 제한이 없습니다.
특징:
- "클라우드에서" 작업 - 소프트웨어나 플러그인을 다운로드하여 설치할 필요가 없습니다.
- XLSX 형식으로 보고서 업로드
- 데이터 수집 종료에 대한 우편 알림
- PromoPult 서버에 보고서를 무제한으로 저장합니다.
