بیشتر سایت های وردپرسی و غیر وردپرسی از فایلی بنام Robots.txt برخوردارند که اکثر مدیران سایت ها، کاربرد این فایل را نمی دانند. این فایل نقش بسیار مهمی در زمینه سئو دارد، کافی است تا با نحوه عملکرد آن آشنا شوید تا بتوانید به راحتی از آن برای بهبود وضعیت سایت خود کمک بگیرید. در این مقاله به فایل Robots.txt، دستورات و نحوه عملکرد آن می پردازیم.

فایل Robots.txt چیست؟

فایل Robots.txt  فایلی متنی ساده، با فرمت .txt می باشد، که در (root) قرار دارد. این فایل دستوراتی را در خود جای می دهد. فایل های ربات هر سایت برای کاربران و حتی موتور های جستجو نیز قابل مشاهده است. تنها کافی است تا آدرس example.com/robots.txt  را متناسب با دامنه سایت مورد نظر وارد کرده تا بتوانید فایل ربات آن را ببینید. فایلی است، که توسط مدیران سایت ساخته می شود و کارایی آن ارائه دستورات متفاوت به کراولرها و یا ربات های مختلف می باشد. برای مثال می تواند به ربات های گوگل فرمان دهد که صفحه ای را ایندکس کنند و یا صفحه ای را ایندکس نکنند. اگر به دنبال این هستید که به طور جدی بر روی سئو سایت خود فعالیت کنید، لازم است تا سایت شما این فایل را داشته باشد و کنترل فعالیت ربات های گوگل در دست خودتان باشد.

فایل Robots.txt چگونه به سئو کمک می کند؟

از آنجایی که حتی خود گوگل هم، چنین فایلی را دارد و طی بیانیه هایی اعلام کرده است که این فایل برای بهبود شرایط سئو مهم است پس حتما به همین شکل است و این فایل در بهبود سئو سایت خیلی موثر است. اما اگر فایل Robots.txt نداشته باشید چه اتفاقی می افتد؟

فایل robots.txt چیست؟ گلزاروب
فایل روبات سایت و نکات مهم آن

درصورتی که سایت شما این فایل را نداشته باشد، گوگل نمی داند که چه فایل هایی را نباید ایندکس کند، حتی فایل های شخصی شما را ایندکس می کند و توانایی خارج کردن مطالب شخصی و محافظت شده را از ایندکس گوگل ندارد. به همین دلیل است که لازم است حتما این فایل را برای سایت خود بسازید.

انواع دستورهای موجود در فایل Robots.txt

در فایل های Robots.txt کلا دو نوع دستور داریم:

  • دستور محدود کردن موتور های جستجو از خزیدن
  • دستور مجاز شمردن موتورهای جستجو برای خزیدن

در واقع عملکرد این فایل به این گونه است که شما به کمک این فایل می توانید به ربات های جستجو دستور دهید تا صحفه ای را نخزند (Disallow) و یا بخزند (Allow).

از آنجایی که ربات های گوگل بسیار پیشرفته نمی باشند لازم است تا به این نکته دقت داشته باشید که دستورات شما نباید بسیار پیچیده باشد و تنها باید از دو دستور Allow  و Disallow استفاده کنید. 

سینتکس دستورالعمل ها در فایل Robots.txt

لازم است بدانید، قبل از درج هر گونه دستوری در فایل Robots.txt  باید ابتدا اسم ربات را درج کنید و آن را مورد خطاب قرار دهید. برای خطاب کردن ربات موتورهای جستجو از عبارت زیر باید استفاده کنید.

User-agent: *

علامت * که در ابتدای عبارت آمده است، تمامی ربات های موتور های جستجو را مورد خطاب قرار می دهد. چرا که هر موتور جستجو خود ربات های مختلف با نام های مختلف دارد. به عنوان مثال نام برخی از ربات ها به شرح زیر است :

ربات گوگل: googlebot

ربات بینگ: bingbot

ربات یاهو: mozilla

نحوه کارکرد فایل روبات سایت - گلزاروب
فایل robots برای چه موتورهای جستجویی کاربردی است؟

به همین دلیل است که اگر می خواهید ربات خاصی را مورد خطاب قرار دهید، لازم است تا نام آن را بلد باشید. اما این روش اصلا توصیه نمی شود.

سایر دستورهای فایل Robots.txt:

دستور Disallow: این دستور اجازه ایندکس کردن بخشی از سایت را به موتور های جستجو نمی دهد.

دستور Allow: در مقابل دستور Disallow، اجازه ایندکس کردن را به موتور های جستجو می دهد. 

دستور Crawl-delay: این دستور به موتور های جستجو دستور می دهد تا سایت را با تاخیر ایندکس کنند.  

دستور Sitemap: این دستور به منظور معرفی سایت مپ سایت به کراولر استفاده می شود.

بعد از خطاب قرار دادن ربات در این فایل باید یکی از دستورات بالا را به فایل اضافه کنیم که البته ترتیب این فایل به گونه ای می باشد که ابتدا دستورات سلب اجازه در فایل قرار می گیرند و سپس دستوراتی که به ربات اجازه ایندکس می دهد، قرار می گیرد.

مثال هایی از دستورالعمل های فایل Robots.txt

به مثال هایی که در پایین برای شما آورده شده است دقت کنید، تا با نحوه نگارش این فایل ها آشنا شوید.

مثال هایی از فایل robots - گلزاروب
مثالهای کاربردی از فایل robots.txt

مثال ۱ / با دستور زیر تمامی موتور های جستجو دسترسی به سایت شما نخواهند داشت.

User-agent: *
Disallow: /

Disallow: / مثال ۲ / زمانی که بخواهیم تنها یک پوشه خاص را برای تمامی کراولر ها محدود کنیم. در واقع با این دستور دسترسی به همه جای سایت به جز این پوشه آزاد خواهد بود.

User-agent: *
Disallow: /folder/

مثال 3 / زمانی که می خواهید اجازه ایندکس فایلی را که در میان پوشه ای محدود قرار دارد، بدهید.  

User-agent: *
Disallow: /folder/
Allow: /folder/images/examplefile.html

مثال ۴ / زمانی که بخواهیم تمامی تصاویر سایت اجازه ایندکس نداشته باشند

User-agent: googlebot-images
Disallow: /photos

مثال ۵ / این مثال فایل Robots.txt فروش کتاب آنلاین می باشد! با این دستور دسترسی به فایل های ادمین محدود شده است بجز فایل admin-ajax.php. همچنین دسترسی به فایل های کتاب هم محدود شده است. همچنین در این فایل سایت مپ نیز به ربات معرفی شده است.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/uploads/books/
Sitemap: https://example.com/sitemap.xml

نحوه ساخت و ثبت فایل Robots.txt

ساخت فایل Robots.txt بسیارساده است!

کافیست یک فایل Text باز کنید و دستورات خود را وارد کنید. می توانید از دستور مثال  5 نیز استفاده کنید، البته اگر دستور دیگری را در نظر ندارید.

نحوه ساخت فایل robots - گلزاروب
چه طور یک فایل robots بسازیم؟

در مرحله بعدی لازم است تا فایل را با فرمت .txt، با انکود UTF-8 و با نام robots سیو کنید. و در مرحله آخر این فایل را درون ریشه هاست خود (root) قرار دهید.

در آخر لازم است تا بگویم که فایل robots.txt به کوچکی و بزرگی حروف بسار حساس می باشد، حتی ممکن است فایل شما به طور کلی خوانده نشود. به همین دلیل است تا به این نکته باید توجه کنید.

در آخر امیدواریم که از این مقاله نهایت استفاده را برده باشید. در آخر نکاتی راجع به شرکت طراحی سایت گلزاروب ارائه می گردد.

شرکت گلزاروب که دارای تجربه ی بسیار زیادی در رابطه با خدمات طراحی سایت و سئو سایت می باشد، می تواند به صاحبان کسب و کار برای ارائه محصولات و خدمات آن ها در فضای دیجیتال بسیار کمک شایانی نماید. این خدمات می تواند طراحی سایت شرکتی، طراحی سایت فروشگاهی، طراحی سایت ریسپانسیو، طراحی سایت چند زبانه و … باشد. برای آشنایی بیشتر با خدمات شرکت ما می توانید از طریق شماره های زیر با کارشناسان ما در ارتباط باشید.
شماره تماس گلزاروب: 09109212500