ببخشید . یه سوال برام پیش اومده بود . مثلا چه جوری میشه اطلاعات یه سایت رو از توی نوشته هاش در آورد . مثل googlebot که سایت ها رو می بینه و رتبه بندی شون می کنه یا مثلا alexa
لطفا کمکم کنید . می خوام خزنده ام بتونه تشخیص بده که توی یه سایت دیگه ، یه مطلب جدید ایجاد شده ...
الکسا بر حصب تعداد بازدید رتبه میده.
و گوگل کلمات کلیدی؛ تگ های مشخص شده با <h1> و <h2> و ... و عنوان های لینک ها و عکس ها و همینطور عبارت های meta tagها رو ذخیره میکنه.
فکر میکنم برای فهمیدن این که مطلبی در سایت اضافه شده باید رباتتون دوباره از نو لینک به لینک بخزه و اطلاعات جدید رو با قبلی ها که توی دیتابیس خودش هست چک کنه.
یا اینکه اون سایت دارای rss باشه!
درکل برای راه اندازی خزنده باید ببینی چه اطلاعاتی از اون سایت میخوای. و اینکه احتیاج به هاست قوی با ترافیک بالا داری. پس خرجت میزنه بالا.
به علاوه اگه ادمین هاست ببینه زیاد داری ازش کار میکشی شاید محدودت کنه. یا بن شی. که باید از هاست های warez استفاده کنی.
دوستان اگه جایی رو اشتباه کردم لطفا به بزرگی خودتون ببخشین و تصحیح کنین.
خوب ببخشید . من می خواستم ببینم اصلا یه ربات رو چجوری می نویسن . مثلا چجوری می تونی بگی که برو توی این لینک . بعدش واسا ببین هر موقع یکی به بازدید اضافه شد ، یکی هم به عددی که توی دیتابیس ذخیره کردی اضافه کن .
مسئله نیاز به هاست ترافیک بالا هم حل شده . فقط می خوام توی چند تا وبلاگ (10 تا) بخزه .
