ببخشید . یه سوال برام پیش اومده بود . مثلا چه جوری میشه اطلاعات یه سایت رو از توی نوشته هاش در آورد . مثل googlebot که سایت ها رو می بینه و رتبه بندی شون می کنه یا مثلا alexa
لطفا کمکم کنید . می خوام خزنده ام بتونه تشخیص بده که توی یه سایت دیگه ، یه مطلب جدید ایجاد شده ...
اینجور برنامه ها که اصطلاحا Bot نامیده م یشوند از کلاس های HTTP و پروتکل های مرتبط با آن برای تعامل با وب سرور استفاده می کنند.
پروتکل HTTP نحوه درخواست مرورگر از سرور و عکس العمل سرور به مرورگر را مشخص می کند(حالت عکس آن امکان پذیر نیست), در واقع کل وب گردی ما و یا هر برنامه دیگری در همین درخواست و پاسخ ها خلاصه م یشود. مسئله خیلی فراتر و پیچیده تر از مفهوم عمومی آن است . دنبال مطالبی در زمینه HTTP و انواع Request ها باشید
کافیه یه اسکریپت بنویسین که وارد صفحات سایت بشه و به صورت Recursive لینکهای داخل هر صفحه رو پیدا کنه و بره توشون. فقط باید توجه کنین که تو loop نیفته چون خیلی صفحات به هم لینک mutual دارن. برای پیدا کردن لینکها ساده ترین کار جستجو برای <a و href در اون صفحه است. بعد از محتویات href استفاده می کنین و میرین تو صفحه جدید. برای load کردن صفحات هم از یه تایع ساده (مثل curl یا fsockopen تو php) می تونین استفاده کنین.
