چطور می تونم یه فایل robotd.txt استاندارد طراحی کنم؟

phpweb · Apr 5, 2011

من می خوام یه فایل robotd.txt استاندارد طراحی کنم.

لطفا راهنمایی کنید.

اگر مرجعی برای این کار می شناسید لطفا معرفی کنید.

20irib · Apr 7, 2011

وبمستر تولز گوگل به راحتی براتون میسازه.البته من تست نکردم

20irib · Apr 7, 2011

هر مسیری که نباید توسط خزنده گوگل دنبال بشه مثل صفحات کاربری،رمز عبور و...

کد:

Disallow: /url/

هر مسیر که اجازه داده میشه:

کد:

allow: /url/

البته اصولیترینش اینه که تمامی مسیرهایی که میخواهیم دنبال نشه رو زیر هم ردیف کنیم ... اجازه صادر کردن در موارد خاص نیازه.

BehrouzPc · Apr 7, 2011

این رو سرچ کن توی (google)...
robot.txt generator

phpweb · Apr 7, 2011

20irib گفت:
هر مسیری که نباید توسط خزنده گوگل دنبال بشه مثل صفحات کاربری،رمز عبور و...

کد:

Disallow: /url/

هر مسیر که اجازه داده میشه:

کد:

allow: /url/

البته اصولیترینش اینه که تمامی مسیرهایی که میخواهیم دنبال نشه رو زیر هم ردیف کنیم ... اجازه صادر کردن در موارد خاص نیازه.

با استفاده از کد شما، اگر چند پوشه توی پوشه url وجود داشت، آیا لازم هست که اسم اونها رو هم توی فایل قرار داد؟

سوال دیگه اینکه ایتفاده از / در ابتدا و انتهای نام پوشه الزامی هست؟

20irib · Apr 9, 2011

فایلها نیازی به / پایانی ندارند یا همون trailing slash
مسیر ها را باید کامل با / اغازی تعیین کنید.

phpweb · Apr 9, 2011

20irib گفت:
فایلها نیازی به / پایانی ندارند یا همون trailing slash
مسیر ها را باید کامل با / اغازی تعیین کنید.

فرض کنید که پوشه url حاوی پوشه ها و فایلهای متعددی هست. اگر ما این پوشه رو برای موتورهای جستجو مسدود کنیم، آیا لازم هست که توی فایل robots.txt نام محتویات این پوشه رو هم ببریم یا اینکه بطور دسترسی به همه محتویات پوشه غیر فعال می شه؟

20irib · Apr 10, 2011

نه...اگر دستور را برای یک فولدر بنویسید و از trailing slash استفاده شود تمام دایرکتوری ها و فایلهای اون پوشه بررسی میشود.مثلا در روت سایت ولدری به نام user ، شامل دو فولدر name و pass هست....و فایلهای دیگر....با دستور زیر کلیه محتویات فولدر رو خود فولدر دسترسی اش کنترل میشه:

کد:

Disallow: /user/

phpweb · Apr 10, 2011

20irib گفت:
نه...اگر دستور را برای یک فولدر بنویسید و از trailing slash استفاده شود تمام دایرکتوری ها و فایلهای اون پوشه بررسی میشود.مثلا در روت سایت ولدری به نام user ، شامل دو فولدر name و pass هست....و فایلهای دیگر....با دستور زیر کلیه محتویات فولدر رو خود فولدر دسترسی اش کنترل میشه:

کد:

Disallow: /user/

trailing slash یعنی چی؟

من می خوام طوری تنظیمات رو انجام بدم که موتور جستجو هیچ کدوم از محتویات یه پوشه رو ایندکس نکنن. برای اینکار چیکار باید بکنم؟

فرض کنید می خوام که موتورهای جستجو محتویات پوشه user رو ایندکس نکنن، چه کدی باید بنویسم؟