سوال خیلی اظطراری درباره robot.txt

saeedmontazer · Oct 5, 2009

سلام دوستان خوبم ،ببخشید که دوباره مصّدی اوقات شریفتون میشم..

توی این 2 ماهی که سایتم رو راه اندازی کردم متوجه شدم که ایندکس شدن تصاویر و صفحات سایتم در گوگل افتضاح بوده! حتی یک عکس هم ثبت نشده در گوگل! الان رفتم در قسمت google webmaster و دیدم فایلی وجود داره به نام robot.txt و محتویات اون این شکلی هست:
http://shiaupload.com/images/40590307966983080552.jpg

اونطوری که متوجه شدم طی این 2 ماه این فایل باعث میشد هیچ چیزی در سایتم ایندکس نشه؟ آیا این صحت داره؟!

و میخواستم از حضور شریفتون بپرسم اکنون که فایل robot.txt را از root هاستم حذف کردم مشکلم حل خواهد شد؟!

بسیار سپاسگذارم برادر یا علی مدد

asadiweb · Oct 6, 2009

saeedmontazer گفت:
سلام دوستان خوبم ،ببخشید که دوباره مصّدی اوقات شریفتون میشم..

توی این 2 ماهی که سایتم رو راه اندازی کردم متوجه شدم که ایندکس شدن تصاویر و صفحات سایتم در گوگل افتضاح بوده! حتی یک عکس هم ثبت نشده در گوگل! الان رفتم در قسمت google webmaster و دیدم فایلی وجود داره به نام robot.txt و محتویات اون این شکلی هست:
http://shiaupload.com/images/40590307966983080552.jpg

اونطوری که متوجه شدم طی این 2 ماه این فایل باعث میشد هیچ چیزی در سایتم ایندکس نشه؟ آیا این صحت داره؟!

و میخواستم از حضور شریفتون بپرسم اکنون که فایل robot.txt را از root هاستم حذف کردم مشکلم حل خواهد شد؟!

بسیار سپاسگذارم برادر یا علی مدد

نه عزیز مشکل از اون نیست ان کارش رو انجام می ده کاریش نداشته باش

مشکل شما در نبود آدرس به عکس هست آخه کجای سایت شما عکس هست که گوگل ایندکسش کنه

شما یه لیستی چیزی از عکسها تو صفحه اصلی سایت بزار تا گوگل ایندکس کنه

ضمنا اگه می خوای گوگل مستقیم به تصاویر سایتت آدرس بده توی فایل روبوت که گفتی این پوشه را پاک کن image تا اسپایدر گوگل مجاز به خوندن محتویات اون بشه

موفق باشی :wink:

saeedmontazer · Oct 6, 2009

دوست عزیز اول تشکر میکنم ...

ولی خدمت شما عرض کنم ، گاه راهنمایی‌های بی اطلاع باعث گمراهی میشه!

با دوستان اهل فن مشورت کردم ، مشکل سایت من دقیقاً همین مشکل بود ، در فایل robot.txt اشتباهاً disallow تعریف شده بود که باعث میشه از crawler گوگل جلوگیری بشه!

لینک تصاویر در جاهای مختلف سایت وجود داره، در نقشه‌ی سایت هم به هر موضوع تصویر ، یه لینک مجزّا دادم.

(من رو ییخشید که بی پرده صحبت کردم)

خدانگهدار

asadiweb · Oct 7, 2009

asadiweb گفت:
ضمنا اگه می خوای گوگل مستقیم به تصاویر سایتت آدرس بده توی فایل روبوت که گفتی این پوشه را پاک کن image تا اسپایدر گوگل مجاز به خوندن محتویات اون بشه

موفق باشی

منم همین رو که گفتم متن را درست بخونید

ضمنا تصاویری که در متن صفحه باشه زودتر ایندکس میشه

گوگل مپ هم به گوگل مسیر میده تا سایت را اندکس کنه ولی ( گوگل تضمین نمیده که تصاویر و صفحات دینامیک را ایندکس کنه)

خدمت شما عرض کنم راهنمایی من بی اطلاع نیست من 5 سال تو این زمینه تجربه دارم ضما منظور من را بد فهمیدید

saeedmontazer · Oct 7, 2009

گوگل مپ هم به گوگل مسیر میده تا سایت را اندکس کنه ولی ( گوگل تضمین نمیده که تصاویر و صفحات دینامیک را ایندکس کنه)

دوست عزیز الان بیش از نیمی از صفحات اینترنت dynamic هست ، منظورتون رو از اینکه گوگل تضمین نمیکنه که این صفحات رو ثبت کنه متوجه نشدم!

منظورتون از داینامیک همون صفحات تولید شده توسط cms هست دیگه ، درسته؟

asadiweb · Oct 7, 2009

saeedmontazer گفت:
دوست عزیز الان بیش از نیمی از صفحات اینترنت dynamic هست ، منظورتون رو از اینکه گوگل تضمین نمیکنه که این صفحات رو ثبت کنه متوجه نشدم!

منظورتون از داینامیک همون صفحات تولید شده توسط cms هست دیگه ، درسته؟

من از خودم اینا رو نمی گم من دائما وبلاگ گوگل را می خونم یکی از تخصص های من seo هست شما هم وبلاگ گوگل را سرچ کن چیزی را که گفتم پیدا می کنی

saeedmontazer · Oct 7, 2009

من از خودم اینا رو نمی گم من دائما وبلاگ گوگل را می خونم یکی از تخصص های من seo هست شما هم وبلاگ گوگل را سرچ کن چیزی را که گفتم پیدا می کنی

خوب دوست عزیز این اصلا از عقل به دوره!

الان سایت‌های زیادی هستن که در بسیاری از کلید‌واژه‌های پرکاربرد top 10 هستن ، ولی از سیستم‌های مدیریت محتوا استفاده میکنن...

اتفاقاً سیستم‌های مدیریت محتوا محبوبیت بسیار بیشتری نزد اسپایدر‌های گوگل دارند تا صفحات استاتیکی که به صورت دستی نوشته شده باشند.
مگر همین مجید آنلاین از vb استفاده نمیکنه؟
اکثر مواقع شما مقاله‌ای رو سرچ کنید جزء اولین جست و جو ها بالا میاد،

خدانگهدار

asadiweb · Oct 7, 2009

saeedmontazer گفت:
خوب دوست عزیز این اصلا از عقل به دوره!

الان سایت‌های زیادی هستن که در بسیاری از کلید‌واژه‌های پرکاربرد top 10 هستن ، ولی از سیستم‌های مدیریت محتوا استفاده میکنن...

اتفاقاً سیستم‌های مدیریت محتوا محبوبیت بسیار بیشتری نزد اسپایدر‌های گوگل دارند تا صفحات استاتیکی که به صورت دستی نوشته شده باشند.
مگر همین مجید آنلاین از vb استفاده نمیکنه؟
اکثر مواقع شما مقاله‌ای رو سرچ کنید جزء اولین جست و جو ها بالا میاد،

خدانگهدار

دوست عزیز نمی دونم شما چقدر از دانش سئو می دونید ولی اگه تو وب یه چرخی بزنید می بینید که سایتهایی هستند که مثل مجید آنلاین رنک بالایی ندارند ولی بازم تو نتایج گوگل بالا نشون داده می شن

چرا ؟ چون صفحاتشون استاتیک خونده شده :shock:

ولی وقتی سایت رو باز می کنی می بینی یه سایت دینامیک هست و....

به عنوان مثال اگر آدرس همین تالار اینطوری هست
http://forum.majidonline.com/newreply.php?do=newreply
بر طبق تکنیکهای سئو اگه بصورت پایین بود درصد کامل ایندکس شدن خیلی بالاتر می رفت
http://forum.majidonline.com/newreply/newreply.htm

البته رنک این تالار بالاست و خود این باعث میشه کامل ایندکس بشه ولی من می تونم هزار تا تالار به شما نشون بدم که از vb استفاده می کنند ولی رتبشون پایین هست چرا ؟ چون رنک ندارن و برای افزایشش از سئو استفاده نکردن

==================================================================

در کل گوگل یعنی تمام وب هر سایتی که روی ترافیکش سوار بشه مثل برق پیشرفت می کنه و جز سایتهای مطرح اینترنت میشه

برای اینکه بتونی از گوگل حداکثر ترافیک را بگیری باید صفحات سایتت خوب توش خونده بشه بعد خوب آنالیز بشه بعد توی رقابت با سایتهای رقیب با استفاده از رتبت برنده بشی و....

سایتهایی مثل : ایستگاه ، بلاگفا و... با گوگل به اینجا رسیدند نه خود به خود ....

oldooz · Oct 7, 2009

http://shiaupload.com/images/40590307966983080552.jpg
خب معلومه که مشکل از این بوده!
disallow داد میزنه!

oldooz · Oct 7, 2009

به عنوان مثال اگر آدرس همین تالار اینطوری هست
http://forum.majidonline.com/newreply.php?do=newreply
بر طبق تکنیکهای سئو اگه بصورت پایین بود درصد کامل ایندکس شدن خیلی بالاتر می رفت
http://forum.majidonline.com/newreply/newreply.htm

تایید میشه!

saeedmontazer · Oct 15, 2009

کد:

دوست عزیز نمی دونم شما چقدر از دانش سئو می دونید ولی اگه تو وب یه چرخی بزنید می بینید که سایتهایی هستند که مثل مجید آنلاین رنک بالایی ندارند ولی بازم تو نتایج گوگل بالا نشون داده می شن

چرا ؟ چون صفحاتشون استاتیک خونده شده  ولی وقتی سایت رو باز می کنی می بینی یه سایت دینامیک هست و....

به عنوان مثال اگر آدرس همین تالار اینطوری هست
http://forum.majidonline.com/newreply.php?do=newreply
بر طبق تکنیکهای سئو اگه بصورت پایین بود درصد کامل ایندکس شدن خیلی بالاتر می رفت 
http://forum.majidonline.com/newreply/newreply.htm

البته رنک این تالار بالاست و خود این باعث میشه کامل ایندکس بشه ولی من می تونم هزار تا تالار به شما نشون بدم که از vb استفاده می کنند ولی رتبشون پایین هست چرا ؟ چون رنک ندارن و برای افزایشش از سئو استفاده نکردن

ممنونم از توجهتون...

اما من یه تعریف دیگری از استاتیک شنیده بودم!

اونجوری که من مطالعه کردم صفحات داینامیک به صفحاتی و کلاً به سایت‌هایی گفته میشه که از طریق سیستم‌های مدیریت محتوا ساخته شدند و صفحهات استاتیک به صفحاتی میگن که بصورت دستی کدنویسی شده‌اند.

حالا شما میفرمایید اگر به آخر آدرس هر سایتی یک html. اضافه بشه حتی اگر با cms باشه باز هم بصورت استاتیک خونده میشه؟؟!

مثلا الان این صفحه با جوملا درست شده ولی html. داره
http://shiapics.ir/chat.html

یعنی استاتیکه!؟!!!

asadiweb · Oct 15, 2009

saeedmontazer گفت:
کد:

دوست عزیز نمی دونم شما چقدر از دانش سئو می دونید ولی اگه تو وب یه چرخی بزنید می بینید که سایتهایی هستند که مثل مجید آنلاین رنک بالایی ندارند ولی بازم تو نتایج گوگل بالا نشون داده می شن چرا ؟ چون صفحاتشون استاتیک خونده شده ولی وقتی سایت رو باز می کنی می بینی یه سایت دینامیک هست و.... به عنوان مثال اگر آدرس همین تالار اینطوری هست http://forum.majidonline.com/newreply.php?do=newreply بر طبق تکنیکهای سئو اگه بصورت پایین بود درصد کامل ایندکس شدن خیلی بالاتر می رفت http://forum.majidonline.com/newreply/newreply.htm البته رنک این تالار بالاست و خود این باعث میشه کامل ایندکس بشه ولی من می تونم هزار تا تالار به شما نشون بدم که از vb استفاده می کنند ولی رتبشون پایین هست چرا ؟ چون رنک ندارن و برای افزایشش از سئو استفاده نکردن

ممنونم از توجهتون...

اما من یه تعریف دیگری از استاتیک شنیده بودم!

اونجوری که من مطالعه کردم صفحات داینامیک به صفحاتی و کلاً به سایت‌هایی گفته میشه که از طریق سیستم‌های مدیریت محتوا ساخته شدند و صفحهات استاتیک به صفحاتی میگن که بصورت دستی کدنویسی شده‌اند.

حالا شما میفرمایید اگر به آخر آدرس هر سایتی یک html. اضافه بشه حتی اگر با cms باشه باز هم بصورت استاتیک خونده میشه؟؟!

مثلا الان این صفحه با جوملا درست شده ولی html. داره
http://shiapics.ir/chat.html

یعنی استاتیکه!؟!!!

عزیز ساختارش دینامیک هست ولی گوگل این صفحه رو استاتیک تشخیص می ده

در سئو هدف جذب حداکثر ترافیک از گوگل هست بنابراین صفحات باید جوری باشه که گوگل راحتر ایندکس کنه

هر چه تعداد صفحات ایندکس شده بیشتر باشه و مدت زمان ایندکس شدن تمام صفحات هم کمتر باشه خوب نتیجه مطلوب تر بدست می آید

چون سایت شما زودتر در لیست نتایج گوگل ظاهر می شود و ترافیک بیشتری حاصل می شود :green:

oldooz · Oct 15, 2009

به نظر من یه آدرس استاتیک نسبت به داینامیک مزیتی جز این که کلمات کلیدی توی url باشن نداره
گوگل به url بسیار اهمیت میده

milani · Oct 26, 2009

در مورد سایت خودتون می شه بیشتر توضیح بدین؟؟
ساختار سایت شما چگونه است؟؟؟

saeedmontazer · Oct 27, 2009

عذر میخوام منظور شما رو متوجه نشدم!

milani · Oct 27, 2009

ساست خودتون رو چگونه طراحی کردیده اید؟؟
اگر از سایت سار ها استفاده کرده اید مثلا جوملا مامبو و یا ...بعضی وقتها افراد دوست ندارند که گوگل فایلهای ساختار این نرم افزار را مورد کاوش قرار دهد برای همین موتور جستجو را از ورود به آن قسمت منع می کنند.
اگر تصاویری را که در سایت آپلود می شود در داخل یکی از آن فایل ها باشد بنابراین گوگل نباید آنرا مورد کاوش قرار دهد.
در ضمن بهتر است از قسمت مربوط وب ادمین گوگل سایت خودتون و فایل robo.txt را معرفی کنید.
بهتون پیشنهاد می کنم خاصیت ها SEO سایت رو چک کنید سایتها زیادی برای این کار وجود دارد.تو گوگل یه سرچ بزنید

saeedmontazer · Oct 28, 2009

بله ، از جوملا استفاده کردم.

راستش در تنظیمات seo مشکلی وجود نداره و سایت کاملاً سازگار با seo هست.

فایل robots.txt هم ثبت شده ، خودتون هم میتونید ببینید:

www.shiapics.ir/robots.txt

الان فکر کنم فقط احتیاج به زمان دارم...