بسیاری از افراد با ایندکس نادرست سایت هایشان توسط موتورهای جستجو با مشکلاتی مواجه می شوند. در این مقاله نحوه ایجاد robots.txt صحیح برای Bitrix را برای جلوگیری از خطاهای نمایه سازی توضیح خواهم داد.
robots.txt چیست و برای چیست؟
Robots.txt یک فایل متنی است که حاوی پارامترهای نمایه سازی سایت برای روبات های موتورهای جستجو (اطلاعات Yandex) است.اساساً برای مسدود کردن صفحات و فایل‌هایی که موتورهای جستجو نیازی به فهرست‌بندی آنها ندارند و در نتیجه به نتایج جستجو اضافه می‌شود، لازم است.
اینها معمولاً فایل‌ها و صفحات فنی، پنل‌های مدیریت، حساب‌های کاربری و اطلاعات تکراری مانند جستجوی سایت شما و غیره هستند.
ایجاد یک robots.txt اولیه برای Bitrix
اشتباه رایجی که مبتدیان مرتکب می شوند، کامپایل دستی این فایل است. نیازی به این کار نیست.Bitrix در حال حاضر یک ماژول مسئول فایل robots.txt دارد. می توان آن را در صفحه یافت "بازاریابی -> بهینه سازی موتورهای جستجو -> راه اندازی robots.txt" .
در این صفحه دکمه ای برای ایجاد مجموعه ای از قوانین اولیه برای سیستم Bitrix وجود دارد. از آن برای ایجاد تمام قوانین استاندارد استفاده کنید:
پس از تولید نقشه سایت، مسیر آن به طور خودکار به robots.txt اضافه می شود.
پس از این، شما یک مجموعه اصولی خوب از قوانین خواهید داشت. و سپس باید از توصیه های متخصص سئو اقدام کنید و (با استفاده از دکمه "Block file/folder") صفحات لازم را ببندید. معمولاً اینها صفحات جستجو، حساب های شخصی و موارد دیگر هستند.
و فراموش نکنید که می توانید با ما تماس بگیرید
ارائه یک وب سایت تمام شده در Bitrix چندان بد نیست. به عنوان یک قاعده، همه سرگرمی ها پس از ایندکس شدن توسط ربات های جستجوگر گوگل و یاندکس آغاز می شود، زمانی که بسیاری از اطلاعات غیرضروری برای کاربران می توانند وارد نتایج جستجو شوند: از "زباله های فنی" تا آن عکس از شرکت های بزرگ سال نو. مهمانی - جشن.
در آنجا بمان، مرد ناشناس سئو، در آنجا بمان، برنامه نویس بالقوه، اما تنها کاری که باید انجام می دادی این بود که برنامه مناسب را ایجاد کنی robots.txt برای Bitrix.
برای مرجع: robots.txt فایلی است که در ریشه سایت قرار دارد و دسترسی روبات های جستجوگر به بخش ها و صفحات خاصی را محدود می کند.
Robots.txt برای سایت های شرکتی و سایت های کارت ویزیت
عبارت مورد علاقه کپی رایترهای مشتاق، "هر پروژه متفاوت است" به بهترین وجه با شرایط ما سازگار است. تنها استثناء دستورالعمل های استاندارد برای robots.txt است: User-agent; غیر مجاز، میزبان و نقشه سایت. اگر بخواهید، این حداقل اجباری است.
بقیه موارد در مورد بستن و پوشش به اختیار شماست. با وجود این واقعیت که Bitrix یک راه حل جعبه ای است، دستورالعمل های پروژه های ساخته شده بر روی آن ممکن است تا حد زیادی با یکدیگر متفاوت باشد. سوال ساختار و عملکرد یک سایت واحد است.
بیایید تصور کنیم که یک وب سایت شرکتی در Bitrix دارید با مجموعه ای استاندارد از بخش ها: "درباره شرکت"، "خدمات"، "پروژه ها"، "مخاطبین"، "اخبار". اگر محتوای چنین سایتی منحصر به فرد است، باید روی بستن بخش فنی پروژه کار کنید.
1. پوشه ای را از فهرست بندی ببندید /bitrixو /cgi-bin. اطلاعات صرفاً فنی (CSS، قالب‌ها، کپچاها)، که برای هیچ‌کس به‌جز فحش دادن GoogleBot در پنل مدیر وب‌سایت، فایده‌ای ندارد. می توانید با خیال راحت آن را ببندید. الگوریتم عمل به شرح زیر است: Disallow: /example/
2. پوشه /جستجو کردنهمچنین برای موتورهای جستجو یا کاربران جالب نیست. با بستن آن، از خود در برابر صفحات تکراری، برچسب ها و عناوین تکراری در نتایج جستجو محافظت خواهید کرد.
3. هنگام کامپایل robots.txt در Bitrix، مردم گاهی اوقات بستن فرم های مجوز و احراز هویت PHP در سایت را فراموش می کنند. این در مورد است
/auth/
/auth.php
4. اگر سایت شما توانایی چاپ هر گونه مطالبی را دارد: نقشه های منطقه یا فاکتورهای پرداختی، فراموش نکنید که دایرکتوری های زیر را در فایل robots.txt ببندید:
/*?print=
/*&چاپ=
5. Bitrix کل تاریخچه وب سایت شما را با دقت ذخیره می کند: ثبت نام های موفق کاربر، سوابق تغییرات موفقیت آمیز رمز عبور و بازیابی. با این حال، ما شک داریم که این مورد برای ربات های جستجوگر جالب باشد.
/*ثبت=بله
/*forgot_password=بله
/*change_password=بله
/*login=yes
/*خروج=بله
/*auth=بله
6. تصور کنید که در حال بررسی یک آلبوم عکس در یک وب سایت هستید، عکس های یک، دوم، سوم را باز می کنید، اما در چهارمین تصمیم می گیرید یک قدم به عقب برگردید. چیزی شبیه این کلمه نفرین در نوار آدرس ظاهر می شود: ?back_url_ =%2Fbitrix%2F%2F. با تغییر فایل robots.txt در ریشه CMS "1C-Bitrix" دوباره حذف می شود.
/*BACKURL=*
/*back_url=*
/*BACK_URL=*
/*back_url_admin=*
بنابراین، بخش باز (قابل مشاهده برای کاربران) و قسمت بسته (قابل مشاهده برای مدیران Bitrix CMS) را بیمه می کنیم.
7. پوشه / آپلود. در آن، Bitrix تصاویر و ویدیوهای سایت را ذخیره می کند. اگر محتوا منحصر به فرد است، دیگر نیازی به بستن پوشه نیست. پس از همه، تصاویر و ویدیوهای فهرست شده منبع اضافی ترافیک هستند. زمانی که /upload اطلاعات محرمانه یا محتوای غیر منحصر به فرد را ذخیره می کند موضوع دیگری است.
Robots.txt در Bitrix برای فروشگاه های آنلاین
اساس آن مانند وب سایت های شرکتی است، اما با چند اصلاح.
1. برخلاف یک وب سایت شرکت کوچک، یک فروشگاه آنلاین معمولاً حداقل صد صفحه دارد. صفحات صفحه بندی که وظیفه انتقال کاربر از یک کارت محصول به کارت دیگر را بر عهده دارند، موتورهای جستجو را مسدود می کنند. هر چه تعداد صفحات بیشتر باشد، "زباله" بیشتر است.
/*?PAGEN
2. ممنوعیت اعمال نمایه سازی کاربران و مدیران سایت. آثار فیلترینگ، مقایسه محصولات، افزودن محصولات به سبد خرید نیز باید از چشم ربات جستجوگر پنهان بماند.
/*؟شمردن
/*؟عمل
/*?set_filter=*
3. در نهایت، برچسب های UTM. شما می توانید دسترسی به آنها را به صورت زیر مسدود کنید:
/*openstat=
/*utm_source=
ما کتاب جدیدی را منتشر کرده‌ایم، بازاریابی محتوای رسانه‌های اجتماعی: چگونه در سر دنبال‌کنندگان خود وارد شوید و آنها را عاشق برند خود کنید.
1C Bitrix محبوب ترین موتور تجاری است. این به طور گسترده در بسیاری از استودیوها استفاده می شود، اگرچه ایده آل نیست. و اگر در مورد بهینه سازی سئو صحبت می کنیم، باید بسیار مراقب باشید.
robots.txt را برای 1C Bitrix درست کنید
در نسخه های جدید، توسعه دهندگان CMS در ابتدا robots.txt را قرار دادند که می تواند تقریباً تمام مشکلات صفحات تکراری را حل کند. اگر نسخه شما به روز نشده است، یک ربات جدید را مقایسه و آپلود کنید.
همچنین اگر پروژه شما در حال حاضر توسط برنامه نویسان نهایی می شود، باید با دقت بیشتری به موضوع ربات ها بپردازید.
User-agent: * Disallow: /bitrix/ Disallow: /search/ Allow: /search/map.php Disallow: /club/search/ Disallow: /club/group/search/ Disallow: /club/forum/search/ Disallow: /communication/forum/search/ Disallow: /communication/blog/search.php Disallow: /club/gallery/tags/ Disallow: /examples/my-components/ Disallow: /examples/download/download_private/ Disallow: /auth/ Disallow : /auth.php غیر مجاز: /personal/ غیر مجاز: /communication/forum/user/ غیر مجاز: /e-store/paid/detail.php غیر مجاز: /e-store/affiliates/ غیر مجاز: /club/$ غیر مجاز: /club /messages/ Disallow: /club/log/ Disallow: /content/board/my/ Disallow: /content/links/my/ Disallow: /*/search/ Disallow: /*PAGE_NAME=search غیر مجاز: /*PAGE_NAME=user_post غیر مجاز : /*PAGE_NAME=detail_slide_show غیر مجاز: /*/slide_show/ غیر مجاز: /*/gallery/*order=* غیر مجاز: /*?print= غیر مجاز: /*&print= غیر مجاز: /*register=yes غیر مجاز: /*forgot_password= بله غیر مجاز: /*change_password=yes غیر مجاز: /*login=yes غیر مجاز: /*logout=yes غیر مجاز: /*auth=yes غیر مجاز: /*action=ADD_TO_COMPARE_LIST غیر مجاز: /*action=DELETE_FROM_COMPARE_LIST غیر مجاز: /*action=ADD Disallow: /*action=BUY غیر مجاز: /*print_course=Y غیر مجاز: /*bitrix_*= غیر مجاز: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow : /*back_url_admin=* غیر مجاز: /*index.php$
میزبان: www.site.ru نقشه سایت: http://www.site.ru/sitemap.xmlبهینه سازی اولیه وب سایت SEO در 1C Bitrix
1C Bitrix دارای یک ماژول SEO است که قبلاً در تعرفه "شروع" گنجانده شده است. این ماژول دارای قابلیت های بسیار بالایی است که در طول بهینه سازی اولیه سایت تمامی نیازهای متخصصین سئو را برآورده خواهد کرد.
قابلیت های آن:
- رتبه بندی عمومی لینک؛
- استناد؛
- تعداد پیوندها؛
- کلمات جستجو؛
- نمایه سازی توسط موتورهای جستجو
ماژول SEO + تجزیه و تحلیل وب
ابزارهای بهینه سازی موتورهای جستجو درون صفحه:
- تمام اطلاعاتی که کاربر برای اصلاح صفحه نیاز دارد ارائه می شود.
- بخش عمومی اطلاعات اولیه را در مورد محتوای صفحه نمایش می دهد.
- اطلاعات ویژه در مورد صفحه نمایش داده می شود: فراوانی نمایه سازی توسط موتورهای جستجو، پرس و جوهایی که به این صفحه منتهی می شوند، اطلاعات آماری اضافی.
- یک ارزیابی بصری از عملکرد صفحه ارائه شده است.
- امکان فراخوانی فوری دیالوگ های لازم و ایجاد تغییرات در صفحه.
ابزاری برای بهینه سازی سایت برای موتورهای جستجو:
- تمام اطلاعات لازم برای اصلاح سایت را نمایش می دهد.
- اطلاعات اولیه در مورد محتوای سایت در بخش عمومی آن نمایش داده می شود.
- در رابطه با کل سایت، موارد زیر نمایش داده می شود: رتبه بندی کلی لینک، نقل قول ها، تعداد لینک ها، کلمات جستجو، فهرست بندی توسط موتورهای جستجو.
- ارزیابی بصری عملکرد وب سایت؛
- امکان فراخوانی فوری دیالوگ های لازم و ایجاد تغییرات در سایت.
1C-Bitrix: Marketplace
Bitrix همچنین دارای بازار مخصوص به خود است که در آن چندین ماژول برای بهینه سازی سئو پروژه وجود دارد. آنها عملکردهای یکدیگر را کپی می کنند، بنابراین بر اساس قیمت و ویژگی ها انتخاب کنید.
به راحتی متا تگ ها را برای سئو مدیریت کنید
رایگان
ماژولی که به شما امکان می دهد داده های منحصر به فرد SEO (عنوان، توضیحات، کلمات کلیدی) را به هر صفحه از سایت، از جمله عناصر کاتالوگ اضافه کنید.
ابزارهای سئو
پرداخت شده
- مدیریت وب سایت CNC در یک صفحه.
- امکان تعریف مجدد عناوین صفحات و متا تگ ها.
- امکان نصب ریدایرکت ها.
- تست تگ های OpenGraph
- آخرین تماس یک ربات واقعی Google یا Yandex (بررسی اعتبار ربات با آدرس IP آن به تعویق افتاد).
- لیست انتقال به صفحات شما، ترافیک جستجو
- شمارش تعداد لایک های صفحات خود با استفاده از یک سرویس شخص ثالث
ابزارهای سئو: مدیریت تگ متا PRO
پرداخت شده
ابزاری برای تولید خودکار عنوان، توضیحات، متا تگ کلمات کلیدی و همچنین هدر H1 برای هر صفحه سایت.
- استفاده از قوانین و الگوها؛
- اعمال قانون مبتنی بر هدف گذاری؛
- توانایی سفارشی کردن پروژه برای هر تعداد کلید.
- مدیریت متمرکز متا تگ ها در هر پروژه؛
- کنترل عملیاتی وضعیت متا تگ ها در هر صفحه از پروژه.
ابزارهای تخصصی سئو
پرداخت شده
ماژول به شما اجازه می دهد:
- تگ های متا (عنوان، کلمات کلیدی، توضیحات) را تنظیم کنید.
- تغییرات اجباری در H1 (عنوان صفحه) تنظیم شده توسط هر مؤلفه در صفحه.
- پرچم آدرس متعارف را تنظیم کنید.
- حداکثر سه متن SEO را در هر نقطه از صفحه، با استفاده از ویرایشگر بصری یا بدون آن، نصب کنید.
- چند سایتی.
- همه موارد بالا را هم از روی صورت سایت و هم از پنل مدیریت ویرایش کنید.
- ماژول را در نسخه "اولین سایت" Bitrix نصب و استفاده کنید.
ویرایشگر-بهینه ساز ASEO
پرداخت شده
این ماژول به شما امکان می دهد داده های منحصر به فرد SEO (عنوان، توضیحات، کلمات کلیدی) را تنظیم کنید و محتوا را برای بلوک های HTML در هر صفحه ای از سایت که دارای URL خاص خود است یا برای یک الگوی URL خاص بر اساس پارامترهای GET تغییر دهید.
SeoONE: بهینه سازی و تجزیه و تحلیل جامع برای موتورهای جستجو
پرداخت شده
- راه اندازی "URL بدون پارامتر".
- راه اندازی "داده های صفحه متا".
- "Static" - در اینجا می توانید به راحتی متا داده (کلمات کلیدی و توضیحات) منحصر به فرد را برای صفحه و همچنین یک عنوان مرورگر و عنوان صفحه (معمولاً h1) تنظیم کنید.
- "Dynamic" - این تنظیم مشابه تنظیمات قبلی است. تنها تفاوت این است که برای صفحات ایجاد شده به صورت پویا (مثلاً برای کاتالوگ محصول) ایجاد می شود.
- تنظیم "جایگزینی آدرس" به شما امکان می دهد یک URL ثانویه برای صفحه تنظیم کنید.
- راه اندازی "تحلیل اکسپرس". در این صفحه می توانید تعداد نامحدودی سایت برای تجزیه و تحلیل اضافه کنید.
CNCizer (ما یک کد نمادین تنظیم کردیم)
پرداخت شده
این ماژول به شما امکان می دهد کدهای نمادین را برای عناصر و بخش ها در وب سایت به طور خودکار تنظیم کنید.
لاین مدیا: بلوک های سئو در سایت
پرداخت شده
مؤلفه ای را ارائه می دهد که به شما امکان می دهد چندین بلوک متنی SEO را به هر صفحه اضافه کنید و اطلاعات متا را در مورد صفحه تنظیم کنید.
پیوند به بخش ها و عناصر بلوک های اطلاعاتی
پرداخت شده
با استفاده از این ماژول در ویرایشگر تصویری استاندارد، افزودن و ویرایش پیوندها به عناصر/بخش های بلوک های اطلاعاتی امکان پذیر می شود.
تجزیه و تحلیل وب در 1C Bitrix: Yandex Metrica و Google Analytics
چندین گزینه برای قرار دادن شمارنده در cms وجود دارد:
گزینه شماره 1. کد شمارنده bitrix/templates/name template/headers.php را بعد از تگ قرار دهید.
.گزینه شماره 2. از یک افزونه ویژه برای Yandex Metrics استفاده کنید.
گزینه شماره 3. Bitrix ماژول تجزیه و تحلیل وب خود را دارد. البته به شما این امکان را نمی دهد که گزارش های خود را بسازید، تقسیم بندی کنید و غیره، اما برای استفاده ساده، نظارت بر آمار کاملاً یک ابزار است.
Yandex Webmaster و Google Webmaster در 1C Bitrix
بله، راه حل های داخلی برای افزودن یک سایت به سرویس وبمستر (هم گوگل و هم یاندکس) وجود دارد، اما ما قویاً کار کردن مستقیم با این سرویس ها را توصیه می کنیم.
زیرا:
- در آنجا می توانید داده های بسیار بیشتری را مشاهده کنید.
- مطمئن خواهید بود که داده ها به روز هستند (تا حد امکان) و تحریف نشده اند.
- اگر سرویس یک به‌روزرسانی منتشر کند، می‌توانید بلافاصله آن را ببینید و از آن استفاده کنید (اگر با یک افزونه کار می‌کنید، باید منتظر به‌روزرسانی باشید).
اگر به تازگی یک وب سایت ایجاد می کنید و به این فکر می کنید که 1C Bitrix چقدر برای تبلیغ در موتورهای جستجو مناسب است و آیا مشکلی در آن وجود دارد یا خیر، جای نگرانی نیست. این موتور پیشرو در میان cms های پولی در بازار است و برای مدت طولانی همه متخصصان سئو (من فقط در مورد استودیوی ما صحبت نمی کنم) بیش از یک بار با Bitrix روبرو شده اند و همه تجربه دارند.
در 1C Bitrix هیچ تفاوتی با تبلیغات در سایر cms یا موتورهای سفارشی ندارد. تفاوت ها را فقط می توان در ابزارهای بهینه سازی که در بالا نوشتیم مشاهده کرد.
اما شایان ذکر است که ابزارها به تنهایی سایت شما را ارتقا نمی دهند. در اینجا ما به متخصصانی نیاز داریم که آنها را به درستی پیکربندی کنند.
ضمناً ما مقالات آموزشی زیادی داریم که حاوی توصیه های کاربردی زیادی با سابقه چندین سال تمرین است. البته، ما به تنظیم یک لیست پستی موضوعی فکر می کردیم، اما هنوز وقت نکرده ایم. بنابراین چه چیزی راحت تر است
زمان خواندن: 7 دقیقه
تقریباً هر پروژه ای که برای ممیزی یا ارتقاء به ما می آید، یک فایل robots.txt نادرست دارد و اغلب به طور کلی گم شده است. این به این دلیل اتفاق می افتد که هنگام ایجاد یک فایل، همه با تخیل خود هدایت می شوند و نه قوانین. بیایید دریابیم که چگونه این فایل را درست بنویسیم تا ربات های جستجوگر به طور موثر با آن کار کنند.
چرا باید robots.txt را پیکربندی کنید؟
Robots.txtفایلی است که در دایرکتوری ریشه یک سایت قرار دارد و به روبات های موتورهای جستجو می گوید که به کدام بخش ها و صفحات سایت می توانند دسترسی داشته باشند و به کدام قسمت ها نمی توانند دسترسی داشته باشند.
راه اندازی robots.txt بخش مهمی در نتایج موتورهای جستجو است که به درستی پیکربندی شده اند، عملکرد سایت را نیز افزایش می دهد. از دست دادن Robots.txt موتورهای جستجو را از خزیدن و نمایه سازی سایت شما باز نمی دارد، اما اگر این فایل را ندارید، ممکن است دو مشکل داشته باشید:
ربات جستجوگر کل سایت را می‌خواند، که بودجه خزیدن را تضعیف می‌کند. بودجه خزنده تعداد صفحاتی است که یک ربات جستجوگر قادر است در یک بازه زمانی مشخص بخزد.
بدون فایل ربات، موتور جستجو به صفحات پیش‌نویس و پنهان، به صدها صفحه‌ای که برای مدیریت CMS استفاده می‌شوند، دسترسی خواهد داشت. آنها را ایندکس می‌کند، و وقتی به صفحات ضروری که محتوای مستقیم برای بازدیدکنندگان ارائه می‌دهند، می‌رسد، بودجه خزنده به پایان می‌رسد.
این فهرست ممکن است شامل صفحه ورود به سایت و سایر منابع مدیر باشد، بنابراین مهاجم می تواند به راحتی آنها را ردیابی کند و یک حمله ddos انجام دهد یا سایت را هک کند.
چگونه روبات‌های جستجو یک سایت را با و بدون robots.txt می‌بینند:
نحو Robots.txt
قبل از اینکه به درک نحو و تنظیم robots.txt بپردازیم، بیایید نگاه کنیم که "فایل ایده آل" چگونه باید باشد:
اما شما نباید فوراً از آن استفاده کنید. هر سایتی اغلب به تنظیمات خاص خود نیاز دارد، زیرا همه ما ساختار سایت متفاوت و CMS متفاوتی داریم. بیایید به ترتیب به هر دستورالعمل نگاه کنیم.
عامل کاربر
عامل کاربر - یک ربات جستجو را تعریف می کند که باید دستورالعمل های توضیح داده شده در فایل را دنبال کند. اگر نیاز دارید که همه را به یکباره خطاب کنید، از نماد * استفاده کنید. همچنین می توانید با یک ربات جستجوگر خاص تماس بگیرید. به عنوان مثال، Yandex و Google:
با استفاده از این دستورالعمل، ربات متوجه می شود که کدام فایل ها و پوشه ها از ایندکس شدن ممنوع هستند. اگر می خواهید کل سایت شما برای نمایه سازی باز باشد، مقدار Disallow را خالی بگذارید. برای مخفی کردن تمام محتوای سایت پس از Disallow، "/" را قرار دهید.
ما می توانیم از دسترسی به یک پوشه، فایل یا پسوند فایل خاص جلوگیری کنیم. در مثال ما، ما با تمام ربات‌های جستجوگر تماس می‌گیریم و دسترسی به bitrix، پوشه جستجو و پسوند pdf را مسدود می‌کنیم.
اجازه
اجازه دهید صفحات و بخش‌های سایت مجبور به فهرست‌بندی شوند. در مثال بالا، ما با ربات جستجوگر گوگل تماس می گیریم، دسترسی به bitrix، پوشه جستجو و پسوند pdf را مسدود می کنیم. اما در پوشه bitrix ما به اجبار 3 پوشه را برای نمایه سازی باز می کنیم: کامپوننت، js، ابزار.
میزبان - آینه سایت
سایت آینه ای تکراری از سایت اصلی است. آینه ها برای اهداف مختلفی استفاده می شوند: تغییر آدرس، امنیت، کاهش بار روی سرور و غیره.
میزبانی یکی از مهمترین قوانین است. اگر این قانون نوشته شود، ربات متوجه می شود که کدام یک از آینه های سایت باید برای نمایه سازی در نظر گرفته شود. این دستورالعمل برای روبات های Yandex و Mail.ru ضروری است. سایر ربات ها این قانون را نادیده می گیرند. هاست فقط یک بار ثبت می شود!
برای پروتکل های "https://" و "http://"، نحو در فایل robots.txt متفاوت خواهد بود.
نقشه سایت - نقشه سایت
نقشه سایت شکلی از ناوبری سایت است که برای اطلاع رسانی به موتورهای جستجو در مورد صفحات جدید استفاده می شود. با استفاده از دستورالعمل نقشه سایت، "به زور" به ربات نشان می دهیم که نقشه در آن قرار دارد.
نمادها در robots.txt
نمادهای استفاده شده در فایل: "/، *، $، #".
بررسی عملکرد پس از راه‌اندازی robots.txt
پس از اینکه Robots.txt را در وب سایت خود قرار دادید، باید آن را در Yandex و Google webmaster اضافه کرده و بررسی کنید.
بررسی Yandex:
- این لینک را دنبال کنید.
- انتخاب کنید: تنظیمات نمایه سازی - تجزیه و تحلیل Robots.txt.
گوگل چک:
- این لینک را دنبال کنید.
- انتخاب کنید: اسکن - ابزار بازرسی فایل Robots.txt.
به این ترتیب می توانید robots.txt خود را از نظر خطا بررسی کنید و در صورت لزوم تنظیمات لازم را انجام دهید.
- محتویات فایل باید با حروف بزرگ نوشته شود.
- فقط یک فایل یا دایرکتوری باید در دستورالعمل Disallow مشخص شود.
- خط "کاربر-عامل" نباید خالی باشد.
- User-agent همیشه باید قبل از Disallow باشد.
- در صورت نیاز به غیرفعال کردن نمایه سازی یک فهرست، فراموش نکنید که یک اسلش اضافه کنید.
- قبل از آپلود فایل در سرور، حتماً آن را از نظر نحو و خطاهای املایی بررسی کنید.
آرزو می کنم موفق شوی!
بررسی ویدئویی 3 روش برای ایجاد و سفارشی سازی فایل Robots.txt
Bitrix یکی از رایج ترین سیستم های مدیریتی در بخش روسی اینترنت است. با در نظر گرفتن این واقعیت که از یک طرف فروشگاه های آنلاین و وب سایت های نسبتاً بارگذاری شده اغلب بر روی این CMS ساخته می شوند و از طرف دیگر Bitrix سریع ترین سیستم نیست، کامپایل صحیح فایل robots.txt یکسان می شود. کار فوری تر اگر ربات جستجوگر فقط موارد مورد نیاز برای ارتقاء را فهرست کند، این به حذف بار غیرضروری در سایت کمک می کند. همانطور که در مورد داستان با، تقریبا در هر مقاله در اینترنت خطا وجود دارد. من چنین مواردی را در انتهای مقاله نشان خواهم داد تا درک شود که چرا چنین دستوراتی نیازی به نوشتن ندارند.
من با جزئیات بیشتری در مورد کامپایل robots.txt و معنای تمام دستورالعمل های آن نوشتم. در زیر به جزئیات در مورد معنای هر قانون نمی پردازم. من خودم را به توضیح مختصر در مورد آنچه برای چه چیزی لازم است محدود می کنم.
Robots.txt را برای Bitrix درست کنید
کد Robots که در زیر نوشته شده است، برای هر سایتی در Bitrix اساسی و جهانی است. در عین حال، باید بدانید که سایت شما ممکن است ویژگی های فردی خود را داشته باشد و این فایل باید در مورد خاص شما تنظیم شود.
عامل کاربر: * # قوانین برای همه ربات‌ها غیرمجاز: /cgi-bin # پوشه میزبانی غیرمجاز: /bitrix/ # پوشه با فایل‌های سیستم Bitrix غیر مجاز: *bitrix_*= # Bitrix GET درخواست‌های غیرمجاز: /local/ # پوشه با سیستم Bitrix فایل‌ها غیر مجاز: /*index.php$ # صفحات تکراری index.php غیر مجاز: /auth/ # مجوز غیر مجاز: *auth= # مجوز غیر مجاز: /personal/ # حساب شخصی غیر مجاز: *ثبت‌نام= # ثبت نام غیر مجاز: *رمز_گذرواژه = # رمز عبور را فراموش کرده ام غیر مجاز: *change_password= # تغییر رمز عبور غیرمجاز: *login= # login غیر مجاز: *logout= # خروج غیر مجاز: */search/ # جستجو غیر مجاز: *action= # actions غیر مجاز: *print= # چاپ غیر مجاز: *؟ new=Y # new page Disallow: *?edit= # editing Disallow: *?preview= # preview Disallow: *backurl= # trackbacks Disallow: *back_url= # trackbacks Disallow: *back_url_admin= # trackbacks Disallow: *captcha # captcha Disallow : */feed # all feeds Disallow: */rss # rss feed Disallow: *?FILTER*= # در اینجا و زیر پارامترهای مختلف فیلتر محبوب غیر مجاز هستند: *?ei= Disallow: *?p= Disallow: *?q= Disallow : *?tags= غیر مجاز: *B_ORDER= غیر مجاز: *BRAND= غیر مجاز: *CLEAR_CACHE= غیر مجاز: *ELEMENT_ID= غیر مجاز: *price_from= غیر مجاز: *price_to= غیر مجاز: *PROPERTY_TYPE= غیر مجاز: *PROPERTY_WIDTH= غیر مجاز: *PROPERTY_WIDTH= غیر مجاز: *PROPERTY غیر مجاز: *PROPERTY_DIA= غیرمجاز: *PROPERTY_OPENING_COUNT= غیر مجاز: *PROPERTY_SELL_TYPE= غیر مجاز: *PROPERTY_MAIN_TYPE= غیر مجاز: *PROPERTY_PRICE[*]= غیرمجاز: *S_LAST= عدم مجاز: *SECTION_ID= غیر مجاز: *SECTION_ID= غیر مجاز: *SALL = غیر مجاز: *SHOW_ALL= غیر مجاز: *SHOWBY= غیر مجاز: *SORT= غیر مجاز: *SPHRASE_ID= غیر مجاز: *TYPE= غیر مجاز: *utm*= # پیوند با برچسب utm غیر مجاز: *openstat= # پیوند با برچسب openstat غیر مجاز : * from= # پیوند با برچسب‌ها از Allow: */upload/ # باز کردن پوشه با فایل‌های آپلود شده اجازه: /bitrix/*.js # در اینجا و باز کردن اسکریپت‌های بیشتر برای نمایه‌سازی اجازه دادن: /bitrix/*.css اجازه دادن: /local/ * .js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg اجازه: /local/*.png مجاز: /local/*.gif # مشخص کردن یک یا چند فایل نقشه سایت نقشه سایت : http://site.ru/sitemap.xml نقشه سایت: http://site.ru/sitemap.xml.gz # آینه اصلی سایت را مانند مثال زیر مشخص کنید (با WWW / بدون WWW، اگر HTTPS # سپس پروتکل را بنویسید، اگر نیاز به تعیین پورت دارید، آن را نشان دهید). دستور اختیاری شده است. قبلاً هاست # Yandex و Mail.RU را درک می کرد. اکنون همه موتورهای جستجوی اصلی دستور Host را در نظر نمی گیرند. میزبان: www.site.ru
- صفحات صفحه بندی را از فهرست بندی مسدود کنید
قانون عدم اجازه: *?PAGEN_1= یک خطا است. صفحات صفحه بندی باید ایندکس شوند. اما در چنین صفحاتی باید نوشته شود. - بستن تصویر و دانلود فایل ها (DOC، DOCX، XLS، XLSX، PDF، PPT، PPTS، و غیره)
نیازی به این کار نیست. اگر قانون Disallow: /upload/ دارید، آن را حذف کنید. - صفحات برچسب و دسته را ببندید
اگر واقعاً سایت شما دارای ساختاری است که محتوای این صفحات تکراری است و ارزش خاصی در آنها وجود ندارد، بهتر است آن را ببندید. با این حال، ارتقاء منابع اغلب از طریق صفحات دسته‌بندی و برچسب‌گذاری نیز انجام می‌شود. در این صورت ممکن است مقداری از ترافیک را از دست بدهید. - ثبت Crawl-Delay
قانون مد با این حال، تنها زمانی باید مشخص شود که واقعاً نیاز به محدود کردن بازدید ربات‌ها از سایت شما وجود داشته باشد. اگر سایت کوچک است و بازدیدها بار قابل توجهی روی سرور ایجاد نمی کند، محدود کردن زمان "به طوری که باشد" معقول ترین ایده نخواهد بود.
