Silver PC
Well-Known Member
توضیح مختصر: راه های فراوانی برای به اصطلاح رام کردن روبات موتورهای جستجو وجود دارد اما یکی از راه های مفید، استفاده از فایل robots.txt می باشد که توسط این فایل می توانید به روبات ها به نوعی دستور دهید که در چه تاریخ، چه زمان وارد و چه فایل و چه فولدری را ایندکس کند.
یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد. تا چند روز پیش برای تمامی سیستم های مدیریت محتوا این پارامتر یکی بود اما امروز دیتالایف خود را از آنها جدا کرد. زیرا با توجه به تبهر خاصی که در رام کردن روبات ها دارد و نقشه برنامه نویسی آن و کدی که از گوگل برای ایندکس شدن مطالب و صفحات دریافت کرده بر این باور است که مقدار 1 برای دیرکرد روبات ها مناسب نمی باشد و بجای آن مقدار 10 را به کاربران پیشنهاد کرده است.
فایل robots.txt خود را باز کنید و کد زیر را وارد کنید:
با انجام این کار باعث شدید که روبات ها هر 10 ثانیه یکبار به سایت شما سر بزند. البته قابل ذکر است که بی رتبه و بی مطلب در سایت این کار هیچ تأثیری ندارد.
یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد. تا چند روز پیش برای تمامی سیستم های مدیریت محتوا این پارامتر یکی بود اما امروز دیتالایف خود را از آنها جدا کرد. زیرا با توجه به تبهر خاصی که در رام کردن روبات ها دارد و نقشه برنامه نویسی آن و کدی که از گوگل برای ایندکس شدن مطالب و صفحات دریافت کرده بر این باور است که مقدار 1 برای دیرکرد روبات ها مناسب نمی باشد و بجای آن مقدار 10 را به کاربران پیشنهاد کرده است.
فایل robots.txt خود را باز کنید و کد زیر را وارد کنید:
کد:
User-agent: *
Crawl-delay: 10
User-Agent: *
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /engine/
Disallow: /languages/
User-agent: *
Allow: /
Sitemap: http://yoursait.ir/sitemap.xmlبا انجام این کار باعث شدید که روبات ها هر 10 ثانیه یکبار به سایت شما سر بزند. البته قابل ذکر است که بی رتبه و بی مطلب در سایت این کار هیچ تأثیری ندارد.
