عمق پیشرفت یک web crawler

سلام دوستان
کسی میدونه چطور میشه با php تعیین کرد که web crawler چه مقدار باید تو سایت ها بگرده؟
یعنی لینک های یک صفحه رو که برداشت و به لینک های خارجی رفت تا بقیه لینک ها رو دربیاره بعدش تا کجا پیش میره؟ممنون
 

جدیدترین ارسال ها

بالا