آیا می دونید چرا صفحات 404 نزد کاربران به ویژه غربیان محبوب است؟ و همینطور موتور های جستجو هم پیشنهاد می کنند این صفحه را بهش خیلی اهمیت بدهیم؟ خوب مسلماً نمی دانید که می خواهید با عدم دسترسی دادن به آنها از پایین آمدن رنکتون جلوگیری کنید.
قرار نیست با هر پاک کردن صفحه رنک شما بیاد پایین. وقتی صفحه ای ایندکس شده باشه و بعد ها خطای 404 بده در وبمستر گوگل نشان میده و شما می تونید اون آدرس ها رو در بخش remove url در وبمستر گوگل وارد کنید و به مرور زمان از cache و ایندکس حذف بشه و حتی اگر دوباره همچین آدرسی درست بشه موردی پیش نمیاد.
اما حالا صفحه 404 را گفتم چون به فکر کاربران باید باشیم. اگر من اون صفحه را دوست داشته باشم بهش سر می زنم و اگر ببینم مشکلی داره و باز نمی کنه حالا به هر دلیلی دوست دارم وارد صفحه ای بشم که دلیلش را متوجه بشم و امکاناتی نظیر تماس با ما | صفحه خانگی و ... داشته باشه که دیگه برنگردم صفحه اول.
بجای استفاده از Disallow شما با خیال راحت صفحات را پاک کنید و بعد از یک هفته برو به بخش وبمستر گوگل و آدرس صفحات را کپی کن و در Remove URL وارد کن. فقط دقت کنید که از شما سوال میشه به چه دلیل می خواهی اینکارو کنی و شما تو گزینه ها اولی که خودش انتخاب کرده بگذار باشه و تیک زیرش هم بزن بعد OK کن.
اینطوری دیگه نیاز نیست برای این همه آدرس از فایل robots.txt کمک بگیری