چرا و چگونه Robots.txt بسازیم

فرض کنید ربات های گوگل برای ورود به وب سایت شما نیاز به اجازه دارند و البته نیز باید در نظر گرفت که سایت های زیادی وجود خواهند داشت که به گوگل اجازه نمی دهند به تمامی محتوای خود دسترسی داشته باشند و یا در واقع گوگل را محدود خواهند کرد و برخی مواقع نیز این اشتباه انجام خواهد شد و موجب مشکل در سئو می شود

ساخت فایل روبوت

چرا و چگونه Robots.txt بسازیم

Robots.txt و کاربرد آن در وب سایتها

سایت نیز مانند هر چیز دیگری پس از طراحی نیاز به یک سری المان ها و البته پیش نیاز ها برای بهتر ایندکس شدن خواهد داشت که بسیار نیز می تواند سئوی کلاه سفید را مورد توجه قرار دهد در نظر داشته باشید که اکثر سایت ها امروزه در دنیای وب دچار برخی مشکلات مشترک هستند و تنها با استفاده از چند کلیک و ساخت فایل های خاص و معرفی آن به گوگل وب مستر تولز می تواند مشکلات مورد نظر را به راحتی رفع کرده و سایت مفید و البته غیر اسپمی را در نظر داشت.

چرا نیاز به ساخت فایل روبوت داریم؟

البته در حال حاضر گفته می شود دستور دهی در این فایل برای دسترسی کاربردی نخواهد داشت و فایل مورد نظر فقط در صورتی کاربرد خواهد داشت که بخواهید ربات های گوگل را از انجام کاری منع کنید که البته این کار نیز باید به درستی انجام شود، در گذشته چنین بود که شما مشخص می کردید چه بخش هایی از وب سایت شما باید ایندکس گردد و ربات ها اجازه دسترسی به ان را خواهند داشت، اما حالا ما در این پست راه های ارائه را خدمت شما خواهیم گفت که چگونه این فایل را ساخته و مدیریت نمائید و در چه جایگاهی نیز آن را قرار دهید.

نخست مطمئن شوید چنین فایلی در سایت شما موجود است یا خیر؟

برای این کار ادرس وب سایت خود را به شکل زیر و با اضافه کردن متنی در انتهای آن بزنید

http://yoursite.com/robots.txt

در صورتی که با وارد کردن این ادرس وب سایت شما به صفحه وجود نداشتن مطلب منتقل شد و همین طور خطای 404 و یا موجود نبودن صفحه را از سوی سرور وب سایتتان دریافت کردید باید بدانید وب سایت شما این فایل را ندارد و بهتر است هر چه سریع تر فایل مورد نظر را ایجاد کرده تا گوگل بهتر وب سایت شما را تشخیص داده و مطالبتان را نیز ایندکس کند و همچنین از ایندکس مطالب غیر ضروری نیز بر روی وب سایت شما که با استفاده از سیستم مدیریت محتوا طراحی شده است نیز بپرهیزد.

توجه داشته باشید که باید درست برای ادرسی این فایل ساخته شود که ایندکس گوگل از سوی ان انجام می شود دیده شده است برای برخی از سایت ها نیز ایندکس های مختلف در نظر گرفته می شود و این می تواند بسیار برای سایت شما خطرناک بوده و حتی توسط موتور جستجو و کاوش گر گوگل به عنوان اسپم شناخته شوید که می تواند ایراد زیادی را بر روی وب سایتتان متحمل سازد.

برای این کار نیاز است تا یک فایل با نام robots.txt را در مسیر روت سیستم هاست سرور خود بسازید به طوری که با درج نام این فایل در انتهای ادرس سایتتان این فایل قابل مشاهده باشد و گوگل نیز بتواند به راحتی مطالب شما را با استفاده از دستورات این فایل ایندکس نماید و از ان در موتور جستجوی خود نیز استفاده کند.

همین طور افزونه های زیادی نیز امکان ساخت ان را خواهند داشت که شما می توانید با استفاده از ان ها این فایل را ساخته و یا به ان دستورات مورد نیاز را نیز اضافه کنید.

سه دستور می توانید در این ربات استفاده کنید که تک تک آن دستورات را در این مطلب وب سایت بکوریتی به شما شرح خواهیم داد تا بتوانید از ان ها استفاده نمائید.

User-agent: نخستین دستور می باشد که می توانید مطلع سازی چه رباتی را قرار است فراخوانی کنید و این فایل باید کدام یک از موتور های جستجوی زیر را در نظر گیرد و از انها برای دستورا ت زیر نیز درون خود استفاده نماید.

Disallow: این دستور نیز به ربات ها اجازه ایندکس مطالب خاصی را از سوی خود نمی دهد که امکان دست کاری ان نیز وجود دارد اما توجه داشته باشید همین فایل می تواند سئوی وب سایت شما را مورد حمله قرار داده و آن را نابود نماید که باید در استفاده از ان دقت کافی را نیز داشته باشیم، زیرا گوگل دستورات موجود در این کلمه را باید طبق قوانین حریم شخصی مو به مو انجام دهد و به فایل های اضافی موجود دسترسی نداشته باشد.

Allow: این دستور نیز دقیقا عکس دستور بالا عمل می کند البته گفته می شود که استفاده از این دستور در حال حاضر و در قوانین جدید گوگل چندان کاربرد نخواهد داشت و می توان البته از این دستور غیر رسمی درون وب سایت خود استفاده کرد زیر برخی از ربات های موتور های جستجو می توانند به راحتی از ان استفاده کرده و مطالب را با سرعت و البته دقت بیشتری مورد جستجو قرار دهند.

User-agent: *
:Disallow

این دستور به موتور های جستجو اجازه خواهد تا به طور کامل وب سایت مورد نظر را ایندکس کرده و البته تمامی فایل های ان را نیز مورد کاوش قرار دهند اما در صورتی که در مقابل خط دوم دستور / درج شود هیچ یک از مطالب وب سایت توسط گوگل جستجو و ایندکس نخواهند شد.

به طوری که اگر پس از / ادرسی قرار گیرد ان نیز توسط موتور جستجو های مختلف مورد کاوش قرار نخواهد گرفت.

البته دیده می شود در برخی از وب سایت های ایرانی به اشتباه از دستوراتی استفاده می شود که موتور های جستجو را به ایندکس wp-admin و همین طور wp-includes منع خواهد ساخت که البته این مورد توسط یواست نیز تایید نشده است و گفته می شود می تواند تاثیرات منفی بر سئوی وب سایت شما داشته باشد و بهتر است از ان ها درون وب سایت وردپرسی خود استفاده نکنید.

https://www.google.com/webmasters

آدرس بالا نیز وارد بخش وب مستر های گوگل خواهد شد و شما در ان می توانید فایل روبوت خود را مورد تست و اعتماد سازی گوگل قرار دهید به طوری که اگر مشکلی در این فایل مشخص بود گوگل به راحتی ان را تشخیص داده و ایراد را به شما نشان خواهد داد تا ان را به راحتی چند کلیک و هر چه زود تر قبل از اعمالات گوگل برطرف سازید.

این اتفاق در بخش crawl خواهد افتاد البته شما باید ادرس فایل مورد نظرتان در گوگل وب مستر را داده باشید.

نباید پیغام بلاک را در این بخش مشاهده نمائید.

در این بخش البته شما می توانید کد های بیشتری را نیز ویرایش کرده و به سایت اضافه نمائید.

فایل مخصوص سئو

چرا و چگونه Robots.txt بسازیم

Robots.txt همچنین می تواند ارتقا خوبی برای وب سایت در سئوی کلاه سفید و بک لینک ها باشد