کرال باجت Crawl budget یا بودجه خزش عبارت‌هایی است که در ابتدای مسیر آموزش سئو به گوش شما می خورد. در این مقاله به صورت کامل و جامع به شما می گوییم که کرال باجت چیست و راه های افزایش بودجه خزش را برای شما توضیح خواهیم داد. پس تا انتهای این مطلب با ما همراه باشید. افزایش آن می‌توانید سئو سایت شما را تقویت کند.
کرال باجت چیست؟
گوگل در هر روز تعدادی از صفحات سایت شما را پیمایش می کند که به این تعداد پیمایش کرال باجت با بودجه خزش گفته می شود. این تعداد بسته به اندازه سایت، سلامت سایت، عمر سایت، تعامل سایت، لینک‌هایی که برای ورود به آنها به مشکل می خورد و غیره متغیر است. یعنی ممکن است در هر روز مثلا به 4 صفحه از یک سایت سر بزند و یا در هر روز 500000 صفحه از یک سایت را خزش کند. پس به تعداد صفحاتی که در هر روز موتور جستجو آنها را بررسی می کند بودجه خزش یا کرال باجت Crawl budget یا نرخ خزش گفته می شود.
همچنین بخوانید: روش رسیدن به رتبه اول گوگل
گوگل چگونه کرال یا خزش می کند ؟
موتور جستجو از طریق لینک‌ها به سایت وارد می شود. پس لینک‌ها نقش زیادی در میزان کرال باجت یا بودجه خزش دارند. ربات های طراحی شده در گوگل بسیار کنجکاو (فوضول) هستند. می خواهند به هر لینکی که می رسند آن را بررسی کنند و آن صفحه در فهرست بررسی قرار دهند. اما آنها فقط رباط هستند و وظیفه شماست که آنها را به جایی که می خواهید هدایت کنید تا از این نرخ خزش و کرال باجت به خوبی استفاده کنید.
استفاده مناسب از کرال باجت و میزان خزش
برای بهینه کردن کرال باجت و نرخ خزش سایت خود ابتدا باید فایل robots.txt سایت خود را به خوبی ایجاد و تنظیم کنید. رباط‌ها برای خزش ابتدا فایل robots.txt بررسی می کنند که ببینند در این فایل اجازه ورود به این صفحه به آنها داده شده یا خیر. در این فایل هر دستوری که داده شود از آن پیروی می کنند. پس می توانید صفحاتی که برای ایندکس شدن در گوگل ضرورتی ندارند را در این فایل مسدود کنید و نرخ خزش و Crawl budget سایت خود را ذخیره کنید.
تاثیر میزان بودجه خزش در سئو
اگر بودجه خزش یک سایت پایین باشد و صفحات به خوبی و سریع کرال نشود. با هر یک از تغییراتی که از لحاظ سئو سایت انجام می گیرد باید مدت زیادی صرف فچ شدن تغییرات و دیدن نتیجه آن کنید. اما در صورت بالا بودن نرخ خزش و سرعت آن می توان در مدت کوتاهی تغییرات بسیاری در صفحات سایت ایجاد کرد و نتیجه آن را مشاهده کرد.
مقدار بودجه خزش و سرقت محتوای سایت
اگر کرال باجت و بودجه خزش سایت شما پایین باشد منجر می شود صفحات سایت شما دیرتر کرال و ایندکس شود. از این رو اگر کسی سایت شما را زیر نظر داشته باشد می تواند محتوای شما را قبل از اینکه کرال و ایندکس شده باشد در سایت خود کپی کنید و به نام خود ثبت کند. در این صورت محتوای سایت شما به دلیل تکراری بودن آن هیچ وقت ایندکس نخواهد شد. حتی رتبه کلی سایت شما کاهش پیدا خواهد کرد.
مکانیزم خزش یا کرال گوگل چیست ؟
به روز شدن نقشه سایت پس از انتشار صفحه جدید اولین سیگنالی است که گوگل برای خزیدن در آن صفحه دریافت می کند. اما ممکن است گوگل تشخیص دهد که صفحه جدید ایجاد شده اما کرال باجت و بودجه خزش سایت شما کافی نباشد. در این صورت گوگل ابتدا صفحات را فهرست می کند و به میزان Crawl budget یا بودجه خزش سایت به ترتیب آنها را خزش می کند.
همچنین بخوانید: زمان ایندکس سایت چقدر طول می کشد؟
استفاده از بودجه خزش سایت های دیگر
اگر لینک صفحه شما در یک سایت دیگر باشد که کرال باجت بیشتری نسبت به سایت شما دارد. گوگل آن صفحه را بررسی می کند و از آن لینک وارد سایت شما می شود. در این صورت شما یک بک لینک دریافت کرده‌اید و رتبه اصلی سایت شما نیز افزوده می شود.
روش بررسی میزان بودجه خزش سایت
اینکه چه تعداد صفحه در سایت شما در روز فهرست می شود کرال باجت سایت شما را مشخص می کند. اما برای بررسی دقیق تر می توانید وارد گوگل سرچ کنسول شوید. سپس تب settings را انتخاب کنید و گزینه open report را مقابل عبارت Crawl stats و نرخ خزش و کرال باجت سایت خود را به صورت دقیق و مو به مو بررسی کنید. می توانید در بازه 90 روزه بودجه خزش خود را بررسی کنید و میزان آن را برای هر روز مشاهده کنید.
مشکلات کم بودن کرال باجت
اگر کرال باجت و بودجه خزش سایت شما کمتر از میزان تولید صفحات باشد چه اتفاقی می افتد؟ مثلا شما 100000 صفحه دارید و نرخ خزش سایت شما در روز 10 صفحه است. در صورت ده هزار روز زمان می برد تا تمام صفحات شما ابتدا خزش و ایندکس شود. این موضوع در سایت های موزیک و سایت های انتشار عکس و فروش عکس و غیره که صفحات زیادی تولید می کنند بیشتر اتفاق می افتد.
افزایش بودجه خزش و کرال باجت
برای افزایش نرخ خزش و کرال باجت ابتدا باید لینک های شکسته و صفحات 404 error را پیدا کنید و آنها را ریدایرک کنید و در هر صورت درست کنید. در نظر داشته باشید که فقط صفحاتی با ریسپانس کد 200 کرال و ایندکس می شود. محتوا و صفحات سایت خود را به صورت منظم و زمان بندی شده منتشر کنید. لینک صفحات جدید سایت را در صفحه اصلی home page قرار دهید. از شبکه های اجتماعی استفاده کنید و فعالیت خود را در آنها افزایش دهید و لینک صفحات خود را در آنها منتشر کنید. همچنین ریپورتاژ آگهی و بک لینک‌ها می توانند میزان قابل توجهی کرال باجت و نرخ خزش سایت شما را افزایش دهند.
مورد دیگر برای افزایش کرال باجت بهبود و کاهش ریسپانس تایم response time صفحات شما است. اگر این مقدار زیاد باشد گوگل وارد سایت شما نمی شود و کرال نمی کند. چراکه این موضوع ترافیک زیاد سایت شما را ثابت می کند که ممکن است غلط باشد. اما گوگل به این صورت برداشت می کند. سپس سهم خود را از منابع سرور شما به کاربران سایت شما می دهد و خزش را به تعویق می اندازد یا کلا کنسل می کند. این موضوع را به عنوان یک مدیر سایت باید بپذیرید و مسیر را برای رباط های نرم افزاری
(بی احساس) هموار کنید.
صرفه جویی در مصرف کرال باجت
همان طور که گفته شد صفحاتی مانند درباره ما، پنل کاربری، قوانین سایت دیگر صفحاتی که ایندکس آنها فایده ای ندارد را مسدود کنید. با این کار بودجه خزش و کرال باجت سایت خود را برای صفحات مهم تر خرج کنید.
جمع بندی:
بودجه خزش مهمترین موضوعی است که قبل از شروع فعالیت سئو یک سایت باید بررسی شود. بودجه خزش میزان اهمیت سایت را برای گوگل مشخص می کند. موفق باشید
