یکی از اصولیترین راه حل های این قضیه جلوگیری از ورود روبات هوشمند مخابرات است :
این روش که مینویسم صرفا برای روبات مخابرات نیست برای تمام روبات ها استفاده میشه در اخر مزایای دیگه اش را مینویسم
۱- درصورتیکه آی پی سرور ها را میدانید جلوی ورود آنها را بگیرید راحتترین راهش بستن آی پی آنها از سی پنل هست (در این مورد از آی پی اطمینان ندارم ولی چیزی که اخیرا دیدم یک روبات باهوشه که هربار از یک آی پی و با یک نوع معرفی جدید میاد و حدس میزنم خودشون باشن
۲- بستن دسترسی روبات با بررسی user agent که اگر دوستانیکه قبلا فی.لت.ر شدن اطلاعات در این مورد در اختیارمون بزارن میتوانیم خیلی بهتر تشخیص بدیمشون و راهشون ندیم
توی دو راه قبلی فرض کردیم که این روبات هوشمند واقعا احمق باشه
یا اینکه روبات هوشمند استانداردهای وب را رعایت کرده باشه و درست حسابی خودش رو معرفی کنه که ما جلوش رو بگیریم
ولی از اونجایی که ایرانی ها نوشتن و باهوشن حتما با استاندارد روبات ها نمیان و مثل ویزیتور معمولی خودشون رو معرفی میکنند با این روش میتوانید تشخیص بدیدشان :
هر کاربری که وارد سایت شد یک session بهش اختصاص بدید و بعد در بالای صفحه سایتتان یک عکس خیلی خیلی کوچک در حد یک pixel قرار بدید که توسط چشم به سختی با ذره بین قابل دیدن هست
بعد این عکس را لینک کنید به یک صفحه مثلا پی اچ پی
دفت کنید این لینک را در بالا صفحه بزارید تر جیحا آدرس عکس و آدرس لینک و alt , title لینک و عکس را کلمات مورد دار انتخاب کنید تا روبات حتما تعقیب کنه لینک را
خب حالا اینجا روبات رو میندازید توی دام
چون عکس خیلی کوچیک هست و در حد یک pixel هست قابل دیدن نیست و هیچ بازدید کننده انسانی هیچوقت روی این لینک کلیک نمیکنه ولی روبات چون داره سایت شما رو بررسی میکنه حتما این لینک را دنبال میکنه و شما خیلی ساده میفهمید که روبات امده به سایت و به محض ورود به صفحه دام دسترسیش را به سایت ببندید و اطلاعاتش را ذخیره کنید تا دفعه دیگه هم راهش ندید به سایت
این روش ممکنه جلوی روبات گوگل رو هم بگیره پس برای بعضی روبات ها مثل گوگل و یاهو بقیه استثنا درنظر بگیرید .
مزیت ها دیگه این روش جلوگیری از سو استفاده انواع روبات ها و اسپمر های خارجی هست که اگر روزی دیدید کلی پهنا باند دارید از دست میدید و کلی ویزیتور توی امار هست ولی سایت واقعا بازدید کننده نداره بدانید که کار روبات های خارجی هست و با این روش جلوشان را میتوانید بگیرید
تجربه من روی یکی از سایت ها واقعا زیبا بود تقریبا روزانه ۱۲۰۰ مگ پهنای باند مصرف میشد که با بستن دسترسی روبات ها و اسپمر ها و دزدهای محتوای سایت به ۸۰۰ مگ در روز مصرف پهنای باند کاهش پیدا کرد