خزنده ، php ، googlebot

ببخشید . یه سوال برام پیش اومده بود . مثلا چه جوری میشه اطلاعات یه سایت رو از توی نوشته هاش در آورد . مثل googlebot که سایت ها رو می بینه و رتبه بندی شون می کنه یا مثلا alexa لطفا کمکم کنید . می خوام خزنده ام بتونه تشخیص بده که توی یه سایت دیگه ، یه مطلب جدید ایجاد شده ...