تنظیمات فنی سئو سایت در زمان اختلال اینترنت بین المللی

در روزهای قطعی اینترنت بین الملل، بسیاری از سایت‌های خارجی و سایت‌هایی که سرور آنها خارج از ایران بود از دسترس خارج شدند یا حداقل دسترسی به آنها به سختی امکان‌پذیر شد. از طرفی سایت‌هایی که سرور آنها ایران بود گوگل به آنها دسترسی نداشت و برخی از آنها رنک صفحات خود را از دست دادند. اختلال اینترنت بین‌الملل، قطعی هاست یا ناپایداری سرور، فقط یک مشکل فنی نیست؛ این شرایط مستقیماً روی سئو سایت شما تاثیر می‌گذارد. بسیاری از دارندگان سایت‌ها تصور می‌کنند بعد از رفع قطعی همه‌چیز به حالت عادی برمی‌گردد، اما واقعیت این است کهاثر قطعی اینترنت روی Crawl و Index ممکن است هفته‌ها باقی بماند.

در این مقاله تاثیر قطعی اینترنت را بر سب و کارها بررسی کرده تا بهتر بدانید تاثیر قطعی اینترنت بر سئو و کسب و کارها چیست، و چگونه قبل، حین و بعد از اختلال، اثر منفی روی سئو را کنترل کنید.

وقتی سایت با خطای سرور مواجه می‌شود، گوگل چه واکنشی نشان می‌دهد؟

زمانی که سرور سایت خطاهای 5xx (مانند 500، 502، 503) یا This site can’t be reached برمی‌گرداند، گوگل این وضعیت را نشانه‌ای از ناپایداری سایت در نظر می‌گیرد. در نتیجه، برای جلوگیری از تشدید مشکل، نرخ Crawl را کاهش می‌دهد. در واقع سئوی سایت به موارد زیر بستگی دارد:

• میزان در دسترس بودن سایت و نحوه Crawl و Fetch صفحات سایت
• نحوه رندر سایت
• ثبات سایت در پاسخ به درخواست‌ها
• افزایش خطاهای 4XX و 5xx

اگر این وضعیت کوتاه‌مدت و چند دقیقه یا چند ساعت باشد معمولاً آسیب جدی ایجاد نمی‌کند و گوگل به تلاش برای Crawl ادامه می‌دهد. اما اگر خطاها ادامه پیدا کنند، برخی صفحات به‌صورت موقت از ایندکس خارج می‌شوند؛ زیرا گوگل عملاً به آن‌ها دسترسی ندارد.

• خزنده‌های گوگل نمی‌توانند به سایت دسترسی داشته باشند و نرخ Crawl کمی کاهش می‌یابد.
• بعد از بازگشت سایت، وضعیت معمولاً به حالت قبل برمی‌گردد.
• ممکن است نوسان جزئی ترافیک دیده شود، اما اغلب موقتی است.

«آسیب به سئو فقط افت رتبه نیست»

وقتی دسترسی خزنده‌ها به سایت برای طولانی مدت محدود می‌شود، سایت‌هایی که روی سرورهای داخلی قرار دارند به جز افت ترافیک با چالش خاصی مواجه نمی‌شوند. اما سایت‌ها با سرور خارجی علاوه بر افت ترافیک و پرفورمنس، گوگل توانایی دیدن آنها را از دست داده؛ اگر گوگل برای مدت طولانی نتواند یک سایت را ببیند یا Crawl کند، ممکن است سایت با دراپ ایندکسینگ مواجه شود، یعنی نتایج آن از حالت ایندکس خارج شوند. در نتیجه:

• سیگنال تازه‌سازی محتوا کاهش پیدا می‌کند.
• احتمال ایندکس صفحات جدید کاهش پیدا می‌کند.
• SERP دچار افت روی برخی کوئری‌ها می‌شود؛ ممکن است گوگل روی آخرین نسخه کرول شده تکیه کند ولی در نهایت با ادامه دار شدن خطا نتایج تغییر می‌کند.
  پس از حدود ۴۸ ساعت، برخی صفحات ممکن است از ایندکس حذف شوند.
  نرخ crawl به‌ شکل قابل توجهی کاهش می‌یابد.
  Average Response Time بالا می‌رود.
  خطاهای 5xx افزایش می‌یابد.
  Timeout یا connection reset اتفاق می‌افتد.
  رندر ناقص می‌شود چون JS/CSS های حیاتی لود نمی‌شوند.

برای بسیاری از سایت‌ها افت رتبه اتفاق افتاده که ناشی از مشکل دسترسی گوگل به سایت و حذف صفحات از ایندکس است و نه جریمه و الگوریتم گوگل یا ضعف سئو سایت.

نکته: اگر گوگل نتواند سایت را بخواند، نمی‌تواند آن را رتبه‌بندی کند و این ممکن است باعث افت نتایج هم بشود.

هرچه اختلال طولانی‌تر و تکرارشونده‌تر باشد، بازیابی سخت‌تر خواهد بود.

قبل از شروع اختلال اینترنت چه اقداماتی باید برای سئو سایت انجام دهیم؟

در سئو چیست کلیه اقداماتی که باید برای ثبات رتبه صفحات سایت انجام دهید را آوردیم. اگر سایت از قبل پایدار و مانیتور شده باشد، احتمال افت سئویی آن به‌مراتب کمتر است؛ بنابراین مهم‌ترین اقدامات پیشگیرانه عبارت‌اند از:

• بررسی منظم Crawl Stats در سرچ کنسول
• استفاده از cdn و رفع اختلال و کندی سرعت اینترنت به کمک آن
• استفاده از هاست اختصاصی و نه هاست اشتراکی
• اطمینان از کافی بودن منابع هاست متناسب با ترافیک
• شناسایی افزایش غیرعادی خطاهای 5xx و 429
• بکاپ گیری ماهانه از سایت؛ بکاپ گرفته و فول بکاپ را قبل از بحران دانلود کنید.
• کپی کردن فایل‌ها در فضاهای ذخیره‌سازی متنوع؛ یک هارد اکسترنال داشته باشید.

ایجاد نسخه‌ای از سایت روی سرور خارج

• استفاده از Geo dns یا مسیردهی بر اساس جغرافیا؛ به این ترتیب با داشتن دو سرور داخلی و خارجی، مشکل دسترسی در زمان قطعی اینترنت کم شده و سایت شما در دسترس افراد بیشتری قرار می‌گیرد. استفاده از سرور خارج از ایران کمک می‌کند تا خزنده‌ها و کاربران خارجی تعدادی از صفحات را واکشی کرده و از افت کامل سایت جلوگیری شود. به این ترتیب احتمال ثابت ماندن رتبه‌ها بیشتر می‌شود.

بعد از رفع اختلال اینترنت چه اقداماتی انجام دهید؟

بعد از حل مشکل سرور، سئو فوراً برنمی‌گردد و گوگل باید دوباره سایت را Crawl و Index کند. بعد از رفع قطعی اینترنت یا کمتر شدن اختلال شدند، تنظیمات فنی زیر را انجام دهید.

• بررسی گزارش Pages و خطاهای Server error (5xx) در سرچ کنسول
• استفاده از URL Inspection سرچ کنسول برای بررسی وضعیت ایندکسینگ سایت، خزش و ایندکس صفحات حیاتی
• درخواست ایندکس مجدد در سرچ کنسول فقط برای صفحات کلیدی
• اجتناب از بستن robots.txt برای کاهش فشار و noindex کردن کلی سایت زیرا برگشت از آنها زمان‌بر است.
• بررسی Crawl Stats؛ حداقل به‌مدت دو هفته (Average response time، تعداد درخواست‌های روزانه و میزان افزایش خطاهای سرور) را بررسی کنید. اگر میانگین زمان پاسخ کاهش یافت و تعداد کراول‌ها افت کرد، نرخ خزش کم شده است. در نهایت چک کنید به حالت عادی برگشته یا خیر.  
• در سرچ کنسول خطاهای Coverage را بررسی و آنها را بر اساس اولویت یعنی Robots، DNS، خطاهای 5xx و 404 را رفع کنید.
• سایت مپ را بر اساس last mod دقیق، به روز کنید.
• لاگ Googlebot را بررسی کنید.
• بالا رفتن TTFB برای درخواست‌های خزنده‌‌ها را بررسی کنید.
• صفحات soft 404 یا مشکل دار را رفع کنید.
• لینک‌سازی داخلی به صفحات مهم را تقویت و برد کرامپ خود را قابل خزش کنید.
• لینک‌های مهم و کلیدی سایت را HTML First قرار دهید.
• اقداماتی مانند تغییرات انبوه، ریدایرکت دسته جمعی، فعالسازی WAF rule و مهاجرت سریع و عجولانه را انجام ندهید.
• بهتر است فعلا مقاله منتشر نکنید؛ چون ایندکس نشده و انتشار آن عملا فایده ندارد. (در صورتی که مقاله کاربردی است یا پاسخی به سوالات کاربران است، می‌توانید آن را منتشر کنید. 
• در زمان ناپایداری اینترنت، رپورتاژ و لینکسازی توصیه نمی‌شود چون اگر crawl هنوز ناپایدار باشد تاثیر مثبتی نداشته و حتی ممکن است سیگنال غیر طبیعی به گوگل بدهد. زیرا سایر سایت‌های داخلی دیگر هم مشکل عدم ایندکس را دارند.
• انجام اقداماتی برای بهبود سرعت پاسخ سرور
• آپدیت محدود و هدفمند صفحات مهم (بهتر است از آپدیت‌های سنگین خودداری کنید)
• از بخش‌های مهم سرچ کنسول (ازجمله وضعیت لینک سازی خارجی ثبت شده در کنسول) خروجی بگیرید، زیرا ممکن است دیتای آن در روزهای آینده از دست برود.
• چک کردن Indexing Status: بررسی افت در Indexed pages سرچ کنسول یا افزایش در بخش Crawled – currently not indexed
• چک کنید که اگر Crawl Rate افزایش پیدا نکرده، احتمالاً هنوز مشکل زیرساختی حل نشده است.

نکته مهم: همانطور که در بخش راهکارها قبل از محدودیت دسترسی به اینترنت گفته شد، برای کاهش آسیب‌ها به SEO سایت‌ها و دسترسی Googlebotها بهتر است دو سرویس موازی ایران و خارج (آلمان،….) تهیه کنید. به این ترتیب درخواست‌های خارجی مانند Google به سرور آلمان و درخواست‌های داخلی به نسخه سرور ایران منتقل می‌شوند. به دلیل قطعی اینترنت اطلاعات این دو نسخه سایت یکسان نخواهد بود و بعد از اتصال باید آنها را یکسان‌ کنید. این اقدام این مزیت را دارد که گوگل، برای مدت طولانی سایت شما را، خارج از دسترس نمی‌بیند و آسیب کمتری به سایت شما می‌رسد.

اقدام مهم: پس از اینکه Crawl و Impression در سرچ کنسول به حالت نرمال بازگشت (۲ تا ۴ هفته بعد از پایداری کامل)، آن زمان رپورتاژ و تبلیغات اثرگذار و امن خواهد بود.

چرا سایت مپ با علامت not fetched در سرچ کنسول نشان داده می‌شود؟

این موضوع، در این شرایط معمولا به دلایل زیر اتفاق می‌افتد:

• خطای دسترسی سرور ( Timeout یا 5xx)
• مسدود بودن فایل Sitemap برای Googlebot
• مشکل DNS یا CDN
• سنگین بودن یا تعداد بالای URLها در Sitemap

چه اقداماتی انجام دهید؟

• یک Sitemap سبک ایجاد کنید که فقط شامل صفحات اصلی یعنی Home، دسته‌ها، لندینگ‌ها باشد.
• از باز بودن دسترسی Googlebotها اطمینان پیدا کنید.
• بعد از رفع مشکل دسترسی مجددا سایت مپ را ثبت کنید. (این اقدام یعنی حذف و جایگزینی را انجام ندهید.)

اقدامات مورد نیاز برای سایت‌های وردپرسی

از آنجایی که بیش از ۴۹% درصد سایت‌ها وردپرسی هستند. در این بخش راهکارهایی را برای کاهش افت و دسترسی به این نوع سایت‌ها آورده‌ایم. برای برخی سایت‌های وردپرسی می‌توانید این اقدامات را در زمان اختلالات یا بیش از آن انجام دهید.

• انتقال از هاست اشتراکی شلوغ و محدودیت CPU و RAM
• حذف افزونه‌ها به دلیل تداخل یا آپدیت ناموفق افزونه‌ها
• حذف افزونه‌های سنگین که روی همه صفحات لود می‌شوند.
• حذف فایروال‌های بیش‌ازحد سخت‌گیرانه که خزنده‌های گوگل را مسدود می‌کنند.

در این شرایط، ممکن است کاربران واقعی سایت را ببینند، اما Googlebot با خطا مواجه شود؛ که از نظر سئو بسیار خطرناک است. بنابراین بهتر است قبل از هر کاری این موارد را بهینه کنید.

نتیجه گیری

به جای هزینه روی لینکسازی خارجی، روی سئو داخلی، بخش فنی و بازگشت نرخ کرول سایت خود سرمایه‌گذاری کنید. نگران رتبه‌ها نباشید زیرا تجربه نشان می‌دهد رتبه‌ها بعد از اینکه دسترسی به طور کامل برقرار شد به‌صورت طبیعی برمی‌گردند.

در حال حاضر از راهکارهایی را که بعضی افراد برای کسب و کارشان استفاده کرده‌اند و به شما هم توصیه می‌کنند، انجام ندهید، زیرا هر هاست و سایت با دیگری ممکن است تفاوت داشته باشند و انجام این کار منجر به بروز مشکلات فنی شود.