چرا وقتی وردپرس رو جایی غیر از ریشه هاست نصب میکنیم فایل robots.txt وجود نداره؟ من از لوکال هاست استفاده میکنم وقتی تو پوشه www نصب میکنم فایل robots.txt تو آدرس localhost/robots.txt وجود داره ولی وقتی درون پوشه ای تو همون مسیر نصب میکنم وجود نداره. مثلا با زدن آدرس localhost/wordpress/robots.txt میگه این صفحه وجود نداره. اما در مورد فایل sitemap.xml اینطور نیست چه تو ریشه چه دورن یه پوشه تو ریشه این فایل وجود داره
در مورد اینکه نصب ورد پرس چه مواردی رو به چه دلیلی انجام میده نمیتونم نظری بدم، اما خزنده های وب موقع کاوش یک سایت فایل robots.txt رو صرفا در ریشه بررسی می کنند، در پوشه ها دنبالش نخواهند گشت و اگر در پوشه ها قرار بگیره دیده نمیشه و موثر نیست.
فرضا خزنده های وب اگر به لینک www
.site
.com/gallery/index.html برسند، دنبال www
.site
.com/robots.txt میگردند، نه www
.site
.com/gallery/robots.txt
از طرف دیگه در robots.txt میشه آدرس خاصی رو برای sitemap مشخص کرد، بنابر این با اتکا به robots.txt میشه فایل یا فایل های sitemap رو در هر پوشه دلخواهی قرار داد و نیازی نیست که حتما در کنار robots.txt در ریشه باشه.
