همه چیز در مورد فایل robots.txt و متاتگ robots
فایل robots.txt و متاتگ robots دو تا از ابزار هایی هستند که ما بوسیله ی آنها میتوانیم با روبات های موتور های جستجو صحبت کنیم بوسیله ی این دو ابزار ما به کراولر ها میگوییم که کدام صفحه ما را خزش کنند و کدام صفحات ما را رها کنند.بوسیله ی این دو ابزار ما میتوانیم به ربات های موتور جستجو فرمان بدهیم که فلان صفحه را خزش و ایندکس کن.برای اطلاعات بیشتر و نحوه ی کار با این ابزار ادامه ی مقاله را در سئو 098 دنبال نمایید.
تفاوت فایل robots.txt و متاتگ robots
1) اولویت فایل robots.txt از متاتگ robots بیشتر است.یعنی ربات موتور های جستجو اول به فایل robots.txt نگاه میکند و بعد وارد صفحه میشود.
2)robots.txt به شکل فایل است که آدرس آن بصورت زیر است:
www.yourdomain.com/robots.txt
ولی متاتگ robots به شکل تگ است و در قسمت head صفحه قرار میگیرد:
<head><meta name=”robots” content=”noindex,nofollow”></head>
3)در فایل robots.txt شما میتوانید بسیاری از صفحات را برای ربات ها و موتور های جستجو مسدود کنید ولی با متاتگ robots امکان پذیر نیست.
4)در فایل robots.txt شما میتوانید سایت مپ را به ربات معرفی کنید ولی با متاتگ robots نمیشود.
5)دستورات متاتگ robots انعطاف پذیری بیشتری نسبت به فایل robots.txt دارند.
6)در فایل robots.txt به ربات میگوییم خزش نکند ولی گاهی آن صفحه ناخواسته ایندکس میشود در حالی که برای ایندکس نشدن بهتر است از متاتگ robots هم استفاده کنید.طبق گفته گوگل بهتر است از هز دو این ها استفاده شود.
فایل robots.txt و نحوه ی ساخت آن
یک فایل متنی است که بوسیله ی آن خط مشی ربات موتور جستجو را معین میکنیم.اینکه کدام صفحات را خزش و ایندکس بکند یا نکند.خزش با ایندکس فرق دارد.ربات اول باید در صفحات خزش بکند بعد تصمیم بگیرد که ایندکس بکند یا نکند.
هر ربات استانداردی قبل از خزیدن در صفحه ای از دامنه ابتدا فایل robots.txt را میخواند و بر اساس دستورات موجود در این فایل اجازه ی خزیدن یا عدم خزش را پیدا میکند تا بتواند ایندکس را انجام بدهد.
بعد از ساختن فایل robots.txt با فرمت ASCII یا UTF-8 این فایل حتما باید در آدرس زیر قرار بگیرد:
www.domain.com/robots.txt
نکات مربوط به فایل robots.txt
دستور های موجود در فایل robots.txt
user agent:نام ربات مورد نظر را روبروی این مینویسیم که به حروف بزرگ و کوچک حساس نیست و هر موتور جستجویی یک یا چند ربات دارد.
disallow:مقابل این دایرکتوری را مینویسیم که قصد نداریم توسط گوگل یا دیگر موتور های جستجو و ربات های آن ها ایندکس شود.
علامت * به همه اشاره دارد.
علامت / به معنی تمامی آدرس ها است.
علامت $ به پایان مسیر یک URL اشاره دارد.
ربات های گوگل الویت خود را دستوراتی در نظر میگیرند که بطور مخصوص برای ربات خاص نوشته شده است.
میتوانید فایل robots.txt را در سرچ کنسول قدیمی تست کنید.
در تصویر زیر انواعی از دستورات فایل robots.txt را مشاهده میکنید:
در سایت های وردپرسی برای استثنا قائل شدن ربات ها برای فایل admin-ajax.php کد زیر نوشته میشود.
2 خط اول در زیر بهتر است برای تمامی سایت های وردپرسی در نظر گرفته شود.
user-agent:*
disallow:/wp-admin/
allow:/wp-admin/admin-ajax.php
متاتگ robots چیست
متاتگ robots بهترین روش برای جلوگیری از ایندکس شدن صفحه شما توسط ربات موتور های جستجو است.این تگ در ابتدای صفحه قرار میگیرد و تکلیف صفحه ی مورد نظر و لینک های آن را مشخص میکند.برای اطلاعات بیشتر در مورد لینک ها مقاله ی انواع لینک ها در سئو را بخوانید.در ادامه نحوه ی استفاده از متاتگ robots را مشاهده میکنید.
