همه چیز در مورد فایل robots.txt و متاتگ robots

فایل robots.txt

فایل robots.txt و متاتگ robots دو تا از ابزار هایی هستند که ما بوسیله ی آنها میتوانیم با روبات های موتور های جستجو صحبت کنیم بوسیله ی این دو ابزار ما به کراولر ها میگوییم که کدام صفحه ما را خزش کنند و کدام صفحات ما را رها کنند.بوسیله ی این دو ابزار ما میتوانیم به ربات های موتور جستجو فرمان بدهیم که فلان صفحه را خزش و ایندکس کن.برای اطلاعات بیشتر و نحوه ی کار با این ابزار ادامه ی مقاله را در سئو 098 دنبال نمایید.

تفاوت فایل robots.txt و متاتگ robots

فایل robots.txt

1) اولویت فایل robots.txt از متاتگ robots بیشتر است.یعنی ربات موتور های جستجو اول به فایل robots.txt نگاه میکند و بعد وارد صفحه میشود.
2)robots.txt به شکل فایل است که آدرس آن بصورت زیر است:
www.yourdomain.com/robots.txt
ولی متاتگ robots به شکل تگ است و در قسمت head صفحه قرار میگیرد:

<head><meta name=”robots” content=”noindex,nofollow”></head>

3)در فایل robots.txt شما میتوانید بسیاری از صفحات را برای ربات ها و موتور های جستجو مسدود کنید ولی با متاتگ robots امکان پذیر نیست.
4)در فایل robots.txt شما میتوانید سایت مپ را به ربات معرفی کنید ولی با متاتگ robots نمیشود.
5)دستورات متاتگ robots انعطاف پذیری بیشتری نسبت به فایل robots.txt دارند.
6)در فایل robots.txt به ربات میگوییم خزش نکند ولی گاهی آن صفحه ناخواسته ایندکس میشود در حالی که برای ایندکس نشدن بهتر است از متاتگ robots هم استفاده کنید.طبق گفته گوگل بهتر است از هز دو این ها استفاده شود.

فایل robots.txt و نحوه ی ساخت آن

فایل robots.txt

یک فایل متنی است که بوسیله ی آن خط مشی ربات موتور جستجو را معین میکنیم.اینکه کدام صفحات را خزش و ایندکس بکند یا نکند.خزش با ایندکس فرق دارد.ربات اول باید در صفحات خزش بکند بعد تصمیم بگیرد که ایندکس بکند یا نکند.
هر ربات استانداردی قبل از خزیدن در صفحه ای از دامنه ابتدا فایل robots.txt را میخواند و بر اساس دستورات موجود در این فایل اجازه ی خزیدن یا عدم خزش را پیدا میکند تا بتواند ایندکس را انجام بدهد.
بعد از ساختن فایل robots.txt با فرمت ASCII یا UTF-8 این فایل حتما باید در آدرس زیر قرار بگیرد:
www.domain.com/robots.txt

نکات مربوط به فایل robots.txt

  • اگر ربات قصد داشته باشد به زیر دامنه های ما سر بزند باید برای هر زیر دامنه یک فایل robots.txt جداگانه ایجاد کنیم.
  • اگر سایت شما هم با wwwو هم بدون www باز شود باید فایل robots.txt را در هر دو حالت یکسان تنظیم کنید.همین موضوع برای http و https هم صدق میکند.
  • فایل robots.txt حتما باید با حروف کوچک نوشته شود,
  • آدرس فایل robots.txt برای زیر دامنه ها و دامنه هایی که با پورت باز میشوند معتبر نیست و فقط برای همان دامنه و تمام فولدر های آن معتبر است.
  • هر زیر دامنه و همینطور دیگر ورژن های زیر دامنه باید یک فایل robots.txt مجزا از دامنه ی اصلی داشته باشند.
  • اگر به انتهای آدرس سایت خود robots.txt اضافه کردید و چیزی نیاورد این یعنی سایت شما آن فایل را ندارد و باید از طریق محیط هاست خود آن را بسازید.برای این کار میتوانید یک فایل با نام robots.txt در محل اصلی سایت خود بسازید.

دستور های موجود در فایل robots.txt

user agent:نام ربات مورد نظر را روبروی این مینویسیم که به حروف بزرگ و کوچک حساس نیست و هر موتور جستجویی یک یا چند ربات دارد.

disallow:مقابل این دایرکتوری را مینویسیم که قصد نداریم توسط گوگل یا دیگر موتور های جستجو و ربات های آن ها ایندکس شود.
علامت * به همه اشاره دارد.
علامت / به معنی تمامی آدرس ها است.
علامت $ به پایان مسیر یک URL اشاره دارد.
ربات های گوگل الویت خود را دستوراتی در نظر میگیرند که بطور مخصوص برای ربات خاص نوشته شده است.
میتوانید فایل robots.txt را در سرچ کنسول قدیمی تست کنید.
در تصویر زیر انواعی از دستورات فایل robots.txt را مشاهده میکنید:

فایل robots.txt

در سایت های وردپرسی برای استثنا قائل شدن ربات ها برای فایل admin-ajax.php کد زیر نوشته میشود.
2 خط اول در زیر بهتر است برای تمامی سایت های وردپرسی در نظر گرفته شود.

user-agent:*
disallow:/wp-admin/
allow:/wp-admin/admin-ajax.php

متاتگ robots چیست

متاتگ robots بهترین روش برای جلوگیری از ایندکس شدن صفحه شما توسط ربات موتور های جستجو است.این تگ در ابتدای صفحه قرار میگیرد و تکلیف صفحه ی مورد نظر و لینک های آن را مشخص میکند.برای اطلاعات بیشتر در مورد لینک ها مقاله ی انواع لینک ها در سئو را بخوانید.در ادامه نحوه ی استفاده از متاتگ robots را مشاهده میکنید.

متاتگ robots
متاتگ robots

منبع

5/5 - (1 امتیاز)

آیا این مطالب برایتان مفید بود؟

Similar Posts

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.