با فایل robots.txt می‌توانید خزنده‌های موتور جستجو را به صفحات مهم سایت هدایت کنید. این موضوع باعث بهینه شدن منابع سرور و صرفه جویی در کرال باجت سایت می‌شود که این موارد در نهایت باعث می‌شود که رتبه خوبی در نتایج و سئو سایت خود دریافت کنید. این مقاله راهنمای کاملی برای معرفی، روش استفاده و بهینه سازی فایل robots.txt است که می‌توانید تمامی موارد را در این مقاله مطالعه کنید.
با فایل robots.txt نمی توانید صفحه‌ای را از گوگل مخفی کنید که آن صفحه در نتایج ایندکس نشود. خزندهها می‌توانید از طریق لینک‌هایی که به آن صفحه می‌رسند وارد آن صفحه شوند و آن صفحه را نمایه سازی کنند. برای این که یک صفحه را از دید گوگل مخفی کنید تا در نتایج نیاید فقط از دو روش می‌توانید استفاده کنید که در این صورت هم گوگل آنها را پیدا می‌کند اما نمایه سازی نمی‌شود.
- دستور no index را در صفحه ایجاد کنید.
- برای ورود به آن صفحه پسورد ایجاد کنید.
فایل robots.txt چه کاربردی دارد؟
| 1 | بهینه سازی بوجه خزش سایت | برای اینکه بتوانید بودجه خزش سایت خود را بهینه سازی کنید می‌توانید صفحات غیر ضروری و بی اهمیت سایت خود را در فایل Robots.txt مسدود کنید تا بودجه خزش سایت شما برای صفحاتی مانند درباره‌ما و تماس باما مصرف نشود. اگر این کار را نکنید صفحات سایت اصلی سایت شما خزش و نمایه سازی نمی‌شود یا اینکه زمان زیادی باید صرف آن کنید. |
| 2 | بهینه سازی منابع سرور | وقتی خزندهها وارد سایت شما می‌شوند مانند کاربران سایت مقداری از منابع سرور را استفاده می‌کنند. اگر صفحات بی اهمیت را در این فایل برای کرال شدن Disallow یا مسدود از خزیده شدن نکرده باشید خزندهها وارد آن صفحات می‌شوند و از منابع سرور شما برای خزیدن در این صفحات استفاده می‌کنند. در این صورت منابع سرور شما مشغول می‌شود و بار سرور شما بی دلیل زیاد می‌شود. |
| 3 | هدایت خزندهها | هنگامی که در فایل robots.txt صفحات غیر ضروری را مسدود می‌کنید خزندهها به صفحات اصلی هدایت می‌شوند. که اگر این کار را نکنید باعث می‌شود که صفحات اصلی دیرتر کرال شود و یا در صف خزیدن بمانند که باعث ایجاد دو مشکل اساسی می‌شود. صفحات مهم منتشر شده دیرتر کرال و ایندکس شوند. تغییراتی که در آن صفحات ایجاد می کنید در گوگل دیرتر اعمال شوند. |
| 4 | جلوگیری از نمایه سازی رسانه‌ها | در این فایل می‌توانید رسانه‌ها یا همان فایل‌های تصویر، صوتی، ویدیو و اسکریپت‌ها را از نمایه سازی مسدود کنید. ممکن است در یک سایت صد‌ها یا هزاران فایل باشد که لازم نباشد در نتایج گوگل باشد در این صورت می‌توانید آنها را در فایل مسدود کنید. |
گذر خزنده ها از فایل robots.txt چگونه است؟
جلوگیری از ورود خزندهها در فایل robots.txt همه‌ی کرالرها را شامل نمی‌شود. بستگی به نوع خزنده دارد که از دستور شما پیروی می‌کند یا نه. البته خزنده‌های گوگل یا دیگر موتورهای جستجو قبل از ورود از دستورات شما در فایل پیروی می‌کنند و از دستورات به خوبی پیروی می‌کنند.
یک تکنیک در مورد کرالرها که باید بدانید
اگر می‌خواهید دسترسی در یک صفحه ایجاد کنید که کرالرها وارد آن صفحه نشوند به جای لینک از دکمه استفاده کنید.
خزندهها قادر به عبور از دکمه button نیستند.
این مورد می‌تواند وقتی که می‌خواهید به صورت تخصصی خزندهها را به سمتی هدایت کنید از دکمه استفاده کنید.
روش ایجاد فایل robots.txt
فایل robots.txt ریشه اصلی سایت قرار می‌گیرد و با آن می‌توانید کنترل کنید که خزندهها در کدام یک از فایل‌های سایت بخزند و به کدام فایلها وارد نشوند. برای این کنترل باید یک یا چند قانون را در این فایل ایجاد کنید. مراحل ایجاد فایل
- این فایل را با ویرایشگر متنی می‌توانید ایجاد کنید.
- نام این فایل همیشه robots.txt است.
- این فایل در ریشه اصلی سایت ذخیره می‌شود و آدرس آن https://www.example.ir/robots.txt
- نوشتن قوانین در فایل (در ادامه می آموزید)
robots.txt در وردپرس
این فایل به صورت خودکار با افزونه yoast seo ایجاد می‌شود برای برای تغییرات فایل robots.txt در وردپرس از طریق یوست سئو وارد تنضیمات افزونه شوید و از قسمت ابزارها، ویرایشگر فایل را انتخاب کنید و تعییرات را ایجاد کنید. (در صورتی که صفحات سایت شما از 1000 صفحه کمتر است نیاز به هیچ گونه اقدامی برای بهینه سازی این فایل ندارید)
روش نوشتن قوانین و دستورات در robots.txt
در فایل robots.txt قوانین و دستورالعملهایی را می‌توانید به خزنده ها بدهید که به کدام قسمتها وارد شوند یا به کدام صفحات وارد نشوند. هر فایل از یک یا چند گروه تشکیل می‌شود که باز هر گروه از تعدادی دستورالعمل تشکیل می‌شود که با user-agent شروع می‌شود. سپس با دستوراتی مانند Disallow و allow و sitemap درسترسی خزندهها به آن صفحه مشخص می‌شود. بهتر است که قبل از اینکه تغییراتی را ایجاد کنید تمام مراحل ایجاد و تغییرات این فایل را درک کرده باشید. چراکه اشتباهاتی اگر در این مورد انجام شود قابل مشاهده نیست و ممکن است برای همیشه آن اشتباه در سایت شما باقی بماند و شما متوجه آن نشوید و صفحات شما رشد چندانی در سئو نداشته باشند.
| دستور disallow | این دستور(:disallow) دسترسی ربات‌ها را به صفحه یا صفحاتی که در آن اجرا شده است مسدود می‌کند تا خزندهها وارد آن صفحه‌ها نشوند. |
| دستور allow | با این دستور (allow) اجازه ورود به صفحه را به ربات‌ها می‌دهد و در این صورت خزندهها وارد صفحه می‌شوند و صفحه را بررسی و خزش می‌کنند. با این دستور می‌توانید مقادیری را به صورت جزئی از مقادیر کلی که مسدود disallow کردید مستثنی کنید. |
| دستور sitemap | با استفاده از این دستور (sitemap) نقشه‌ی سایت را در همان ابتدای ورود خزندهها به آنها می‌دهید و صفحاتی که در نقشه سایت شما وجود دارد را به کرالرها معرفی می‌کنید. |
تست فایل Robots در سرچ کنسول
وارد سرچ کنسول شوید تب Coverage یکی از تب‌ها را باز کنید سپس روی آن کلیک کنید و فایل robots.txt سایت را مشاهده کنید البته اگر تازه این فایل را تنظیم و ایجاد کردید ممکن است کمی زمان ببرد تا تغییرات در آنجا نمایش داده شود.
اگه کاملا متوجه کاربرد این فایل شدید دست به کار شوید و یک فایل ربات بهینه ایجاد کنید اگه سئوال یا نظری هم در مورد این مقاله داشتید زیر این پست برای من بنویسید. موفق باشید
