توضیحی در مورد فایل های robots.txt

[sajjad_eb]

سلام

کسی می تونه یه توضیح بده که robots.txt چی هست و چه شکلی می شه درستش کرد و ... ؟
اینم یه سایت درمورد این فایل .

 

[ady_constantine]

این لینک به شما کمک می کنه ؟
http://www.yarantoos.com/index.php/topic,2528.0.html

 

[sajjad_eb]

یعنی فقط به این درد می خوره که بعضی چیزا ایندکس نشن ؟