از بخش گزارشات ایندکس در سرچ کنسول جدید گوگل می توانید برای اطلاعاتی در مورد صفحاتی که ایندکس شده اند و چگونگی فیکس کردن صفحاتی که هنوز ایندکس نشده اند کسب کنید. هر ستون در نمودار تعداد کل URL های شناخته شده توسط گوگل (معتبر، ارور و غیره) را نشان می دهد.
به اشتراک گذاشتن گزارشات ایندکس
می توانید جزئیات یک مشکل را با استفاده از کلید Share در صفحه به اشتراک بگذارید. این لینک فقط امکان دسترسی به صفحه حاضر را می دهد. علاوه بر این، شما می توانید به تاریخچه ی ارور های مربوط به آن مشکل خاص و تمام لینک هایش دسترسی داشته باشید. این لینک به شما اجازه دسترسی به سایر صفحات را نمی دهد. همچنین به سایر کاربران اجازه دسترسی به اکانت شما را نخواهد داد. شما می توانید هر زمان که بخواهید لینک اشتراک گذاری را غیر فعال و حذف کنید.
در گزارشات ایندکس به دنبال چه باشیم؟
در بهترین حالت، با پیشرفت سایتتان شما باید شاهد افزایش تعداد صفحات ایندکس شده معتبر خود باشید.
- اگر افزایش ناگهانی در ارور های ایندکس می بینید: این مساله ممکن است به دلیل تغییر در قالب سایت شما باشد که باعث ایجاد ارور جدید شده است. ویا اینکه ممکن است شما سایت مپ جدیدی ثبت کرده اید که شامل URL هایی می شود که کرال کردن را بلاک کرده اند (مانند txt یا noindex یا صفحات لاگین).
- اگر کاهش در تعداد صفحات ایندکس شده بدون ارور میبینید: این مساله ممکن است به دلیل این باشد که شما دسترسی به صفحات موجود را بلاک کرده اید (از طریق txt یا noindex یا صفحات لاگین). اگر مشکل این نیست، به مشکلاتی که در لیست نیامده اند و بر اساس تعداد صفحاتی که تحت تاثیر آن دسته بندی شده اند نگاه کنید تا دلیل این کاهش را بیابید.
- اگر تعداد قابل توجهی از صفحات ایندکس نشده دارید: اگر تعداد زیادی از صفحات شما ایندکس نشده اند و فکر می کنید باید ایندکس می شدند، در URL های exclude شده (آدرس هایی که مجوز کرال کردن به آن ها نداده اید) به دنبال سر نخ بگردید. ممکن است خیلی از صفحات شما در قسمت robot یا noindex قرار گرفته باشند.
این URL ها چگونه توسط گوگل شناسایی می شوند؟ گوگل راه های بسیاری برای پیدا کردن URL ها دارد و اغلب از طریق دنبال کردن لینک های صفحات کرال شده و یا از طریق سایت این کار را انجام می دهد. گاهی اوقات این لینک ها اشتباه هستند (و ممکن است به ارور 404 منجر شوند).
گاهی اوقات صفحه وجود داشته است ولی اکنون ناپدید شده است. اما به محض اینکه گوگل از وجود یک URL خاص مطلع شود، برای مدتی به تلاش برای کرال کردن آن ادامه خواهد داد. این امری کاملا طبیعی است. اگر مایلید از وقوع این مساله جلوگیری کنید، می توانید از قابلیت های block indexing یا Block access و یا ری دایرکت 301 استفاده کنید.
گزارشات سطح بالا
این دسته از گزارشات ایندکس وضعیت ایندکس شدن کلیه صفحاتی که گوگل سعی کرده است آن ها را کرال کند به همراه وضعیت و دلیل آن را نشان می دهند.
وضعیت (Status)
هر صفحه می تواند در یکی از این کلاس های وضعیت قرار بگیرد:
- خطا (Error): صفحه ایندکس نشده است. توضیح نوع ارور که در ادامه آمده است را برای فیکس کردن این خطاها بخوانید. تمرکز شما باید اول روی این مشکلات باشد.
- اخطار (Warning): صفحه ایندکس شده است و یا تا چند وقت گیش ایندکس بوده است و دارای مشکل خاصی است که شما باید مطلع باشید.
- حذف از کرال (Excluded): صفحه به دلایلی که شما در ان دخیل نیستید در ایندکس نیامده است. این صفحه ممکن است در مراحل میانی ایندکس شدن باشد و یا عمدا توسط خود شما از کرال شدن حذف شده اند (به عنوان مثال از طریق noindex).
- معتبر (Valid): این صفحه ایندکس شده است.
دلایل
هر وضعیت (معتبر، اخطار، خطا) می تواند دلیل مشخصی داشته باشد. داده ها در جدول بر اساس دلیل گروه بندی شده اند و هر ردیف یک یا چند URL را توصیف می کند. برای توضیحات در خصوص انواع وضعیت ها و چگونگی کار کردن با آن ها به بخش Status Type که در ادامه امده است رجوع کنید.
اعتبار سنجی (Validation)
این قسمت وضعیت اعتبار سنجی مشکلی که توسط کاربر انجام می شود را نشان می دهد. شما باید مشکلاتی که شروع نشده اند یا با شکست مواجه شده اند را در الویت قرار دهید.
فیلتر کشویی پیدا کردن URL ها
فیلتر کشویی که در بالای نمودار آمده است به شما این امکان را می دهد که نتایج ایندکس را از طریق مکانیزم هایی که برای یافتن URL ها استفاده می کند آن ها را فیلتر کنید. مقادیر زیر برای شما قابل دسترس است:
- تمام صفحات شناخته شده (پیش فرض) – نمایش تمام URL هایی که گوگل به روش های مختلف پیدا کرده است.
- تمام صفحات ثبت شده – نمایش صفحاتی که در سایت مپ یا از طریق سرچ کنسول یا فایل txt یا پینگ سایت مپ ثبت شده اند.
- URL یک سایت مپ مشخص – نمایش URL هایی که در یک سایت مپ مشخص لیست شده اند و توسط سرچ کنسول ثبت شده اند. اگر یک ایندکس از سایت مپ باشد، تمام URL های سایت مپ های شما گزارش می شوند.
یک URL مشخص توسط سایت مپ “ثبت شده” در نظر گرفته می شود حتی اگر آن URL از طریق سایر مکانیسم ها پیدا شده است (به عنوان مثال از طریق کرال ارگانیک از صفحات دیگر).
گزارشات شاخه ای (Drilldown) بر اساس وضعیت و دلیل
با کلیک کردن روی یک سطر در صفحه بالایی شما می توانید جزئیات یک دسته مشخص از وضعیت ها را ببینید. گزارشات ایندکس در خصوص دلایل هر وضعیت شامل موارد زیر می شوند:
- یک نمودار که URL ها را بر اساس وضعیت عمومی آن ها نشان می دهد (معتبر، ارور، اخطار، حذف از کرال).
- یک جدول که URL ها را بر اساس نوع وضعیت ها و آخرین باری که URL ها کرال شده اند نشان می دهد.
مهم: آیا شاهد یک URL خاص که دارای مشکلی هست که قبلا رفع کرده اید هستید؟ شاید شما مشکل را بعد از آخرین کرال گوگل فیکس کرده اید. بنا بر این، اگر URL خاصی را با مشکلی میبینید که قبلا بر طرف کرده اید، حتما تاریخ کرال شدن آن URL را بررسی کنید.
- اگر URL بعد از فیکس کردن کرال شده است، گوگل نتوانسته رفع شدن مشکل را تایید کند. فیکسی که انجام داده اید را مجدد بررسی کنید و منتظر کرال مجدد آن باشید.
- اگر URL قبل از فیکس کردن کرال شده است، یا صبر کنید گوگل آن را مجدد کرال کند یا بر روی گزینه ی “Start fixing” کلیک کنید (در صورت وجود) و مشکل را با استفاده از قسمت issue management flow برطرف کنید.
عیب یابی صفحات در گزارشات ایندکس
1.بررسی کنید که آیا بین تعداد کل ارور های ایندکس شده یا تعداد کل ایندکس ها و اسپارک لاین هر ارور همخوانی وجود دارد. این می تواند سر نخی باشد که کدام مشکل ممکن است بر تعداد کل ارور ها یا تعداد کل صفحات ایندکس شده تاثیر می گذارد.
2. فیکس کردن مشکلات:
- جدول URL ها که بر اساس میزان اهمیت و اخطار گروه بندی شده اند، بر اساس ترکیبی از میزان اهمیت، تعداد صفحات تحت تاثیر آن، و اینکه در حال حاضر اعتبار سنجی شده اند یا نه دسته بندی شده اند. گوگل توصیه می کند که از آن ها به ترتیبی که در حالت پیش فرض آمده است استفاده کنید.
- اگر تعداد ارور ها رو به افزایش است، به میزان افت و خیز های ناگهانی در هر سطر که هم زمان با افت و خیز ارور ها در نمودار اصلی روی می دهد توجه کنید. روی سطر کلیک کنید تا با استفاده از گزارشات ایندکس شاخه ای جزئیات در مورد آن را بدست آورید.
- روی هر سطر ارور کلیک کنید تا صفحه ی گزارشات شاخه ای با اطلاعات بیشتر را ببینید. برای این که بهترین روش برای بر طرف کردن ارور را پیدا کنید، توضیحات در خصوص نوع ارور را بخوانید.
- تمام نمونه های هر دلیل رخاص را فیکس کنید و از طریق گزینه ی Validate Fix که در منوی شاخه ای موجود است، درخواست اعتبار سنجی ثبت کنید.
- با پیش رفتن مراحل اعتبار سنجی شما اعلاناتی در این خصوص دریافت خواهید کرد. می توانید پس از چند روز مجدد چک کنید که تعداد ارور ها کمتر شده است یا نه.
3. فیلتر مربوط به URL های حذف از کرال را حذف کنید، آن ها را بر اساس تعداد صفحات تحت تاثیر مرتب کنید و به دنبال هر گونه مشکل احتمالی بگردید.
دلایل هر وضعیت
در ادامه گزارشات ایندکس در خصوص دلایل ممکن برای هر ارور در هرکدام از صفحاتتان را می بینید.
ثبت شده و ثبت نشده
وقتی که در یک نتیجه ایندکس از لغت “Submitted” استفاده شده است، این بدان معنی است که شما به صورت اشکار از گوگل خواسته اید که URL را با ثبت کردن در یک سایت مپ ایندکس کند.
ارور (Error)
گزارشات ایندکس: صفحات با ارور که ایندکس نشده اند.
ارور سرور (5xx): سرور شده خطایی از دسته ی ارور های 500 را نمایش داده است.
ارور ری دایرکت: URL دارای ارور ری دایرکت بوده است. ممکن است یکی از انواع زیر باشد:
- یک زنجیره ری دایرکت بوده است که بیش از حد طولانی بوده،
- یک لوپ ری دایرکت بوده است،
- URL ری دایرکت در نهایت از ماکسیموم طول یک URL بیشتر شده است،
- یک URL بد یا خالی در زنجیره ری دایرکت وجود داشته است.
URL های ثبت شده ای که با robots.txt بلاک شده اند: شما این صفحه را برای ایندکس شدن ثبت کرده اید، اما صفحه توسط فایل robots.txt بلاک شده است. می توانید صفحه را با استفاده از robots.txt tester بررسی کنید.
URL های ثبت شده ای که با تگ noindex نشانه گذاری شده اند: شما این صفحه را برای ایندکس شدن ثبت کرده اید، اما صفحه دارای مسیر noindex در متا تگ ها یا HTTP است. اگر می خواهید این صفحه ایندکس شود، باید آن تگ یا پاسخ HTTP را حذف کنید.
URL ثبت شده به نظر می رسد که دارای ارور سافت 404 است: شما صفحه را برای ایندکس شدن ثبت کرده اید. اما سرور پاسخی که به نظر می رسد 404 باشد را ارسال می کند.
URL ثبت شده ارور درخواست غیر مجاز ثبت می کند (401): شما این صفحه را برای ایندکس شدن ثبت کرده اید اما گوگل پاسخ 401 دریافت کرده است. یا اجازه های دسترسی صفحه را حذف کنید یا به گوگل بات اجازه دهید تا با تشخیص هویت به صفحات شما دسترسی پیدا کند.
URL ثبت شده یافت نشد (404): شما URL ی را برای ایندکس شدن ثبت کرده اید که وجود ندارد.
URL ثبت شده مشکل کرال دارد: شما این صفحه را برای ایندکس شدن ثبت کرده اید و گوگل به ارور نا مشخصی در کرال کردن آن صفحه بر خورده است که به هیچ کدام از دلالیل مربوط نمی شود. می توانید با استفاده از Fetch as Google صفحه را دیباگ کنید.
اخطار (Warning)
گزارشات ایندکس: صفحاتی که دارای وضعیت اخطار هستند حتما باید مورد توجه قرار بگیرند. این صفحات ممکن است ایندکس شده باشند یا نشده باشند.
ایندکس شده اما بلاک شده توسط فایل robots.txt: علی رغم اینکه صفحه توسط robots.txt بلاک شده است ایندکس شده (گوگل همیشه به robots.txt احترام می گذارد اما اگر کس دیگری به آن لینک کند این فایل ممکن است کار نکند). چنین صفحه ای دچار اخطار می شود زیرا گوگل مطمئن نیست که آیا شما قصد داشته ایدصفحه را از نتایج جستجو بلاک کنید یاخیر. اگر می خواهید این صفحه را بلاک کنید، robots.txt مکانیسم صحیحی برای ایندکس نشدن آن صفحه نیست. برای اینکه جلوی ایندکس شدنش را بگیرید، یا باید از noindex استفاده کنید یا دسترسی نا شناس به صفحه را با استفاده از auth ببندید. می توانید از robots.txt tester برای اینکه بفهمید کدام دستور صفحه را بلاک می کند استفاده کنید. اگر نمی خواهید این صفحه را بلاک کنید، فایل robot.txt خود را اپدیت کرده تا این صفحه را رفع بلاک کنید.
معتبر (Valid)
گزارشات ایندکس: صفحاتی که وضعیت “Valid” دارند ایندکس شده اند.
ثبت شده و ایندکس شده: شما URL را برای ایندکس شدن ثبت کرده اید و ایندکس شده است.
ایندکس شده ولی ثبت نشده در سایت مپ: گوگل URL را یافته و ایندکس کرده است. توصیه می شود که تمام URL های مهم با سایت مپ ثبت شوند.
ایندکس شده و توصیه می شود که کانونیکال شود: URL ایندکس شده است. چون URL هایی همانند آن وجود دارد توصیه می شود که آن را کانونیکال کنید.
حذف از کرال (Excluded)
گزارشات ایندکس: این صفحات معمولا ایندکس نشده اند و گوگل فرض را بر این گذاشته که شما نمی خواستید این صفحات ایندکس شوند.
بلاک شده توسط تگ noindex: وقتی که گوگل سعی کرده این صفحه را ایندکس کند، با فرمان noindex مواجه شده است و در نتیجه آن را ایندکس نکرده است. اگر نمی خواستید این صفحه ایندکس شود که موفق شده اید. اما اگر می خواستید این صفحه ایندکس شود باید فرمان noindex را حذف کنید.
بلاک شده به وسیله ی ابزار حذف پیج: این صفحه در حال حاضر با یک درخواست حذف URL بلاک شده است. اگر شما صاحب تایید شده ی سایت هستید می توانید از ابزار حذف URL (URL Removal Tool) استفاده کنید تا ببینید چه کسی درخواست حذف را ثبت کرده است. درخواست های حذف فقط برای بازه های زمانی مشخصی مفید هستند. بعد از آن بازه زمانی ممکن است ربات گوگل دوباره به آن صفحه سر بزند و آن را ایندکس کند حتی اگر درخواست ایندکس مجدد ثبت نکرده باشید. اگر نمی خواهید صفحه ایندکس شود از noindex استفاده کنید، برای صفحه اجازه دسترسی قرار دهید یا صفحه را حذف کنید.
بلاک شده به وسیله ی robots.txt: این صفحه توسط فایل robots.txt برای ربات گوگل بلاک شده است. می توانید برای مطمئن شدن از ابزار robots.txt tester استفاده کنید. در نظر داشته باشید که این بدان معنا نیست که صفحه از هیچ طریق دیگری ایندکس نخواهد شد. اگر گوگل بتواند بدون لود کردن آن صفحه اطلاعاتی در خصوص آن پیدا کند، احتمال ایندکس شدن آن صفحه وجود دارد (اگرچه این اتفاق زیاد محتمل نیست). برای اینکه مطمئن شوید یک صفحه توسط گوگل ایندکس نشده است، فایل robots.txt را حذف کرده و از فرمان noindex استفاده کنید.
بلاک شده به دلیل درخواست غیر مجاز (401): صفحه با درخواست برای مجوز برای ربات گوگل بلاک شده است (پاسخ 401). اگر می خواهید ربات گوگل بتواند این صفحه را کرال کند، یا درخواست مجوز صفحه را حذف کنید یا به ربات گوگل اجازه دسترسی به صفحه را بدهید.
وجود نا هنجاری در کرال: در زمان فچ کردن این URL ناهنجاری شناخته نشده ای رخ داده است. این مساله ممکن است به ارور های دسته ی 4xx یا 5xx منجر شود. با استفاده از Fetch as Google سعی کنید صفحه را فچ کنید تا ببینید به مشکل خاصی بر می خورید یا خیر. صفحه ایندکس نشده است.
کرال شده – در حال حاضر ایندکس نشده است: صفحه توسط گوگل کرال شده است اما ایندکس نشده است. ممکن است در آینده ایندکس بشود یا نشود و نیاز نیست این URL را مجددا برای کرال شدن ثبت کنید.
یافت شده – در حال حاضر ایندکس نشده است: صفحه توسط گوگل پیدا شده است ولی هنوز کرال نشده. عموما، گوگل سعی کرده است که صفحه را کرال کند اما در آن زمان بار سایت زیاد بوده و گوگل تصمیم گرفته کرال را در زمان دیگری انجام دهد. به همین دلیل گزارش آخرین تاریخ کرال خالی است.
صفحه دیگر با تگ کانونیکال مناسب: این بخش از گزارشات ایندکس می گوید این صفحه کپی از صفحه ای است که گوگل به عنوان کانونیکال می شناسد. گوگل فکر می کند که این صفحه صفحه ی کانونیکال نیست. شما باید کاملا مشخص کنید که این صفحه صفحه ی کانونیکال است (گوگل در حال کار بر روی ابزاری است که نشان می دهد شما کدام صفحه را به عنوان کانونیکال انتخاب کرده اید).
پیج غیر HTML تکراری: این صفحه ی غیر HTML (به عنوان مثال یک فایل پی دی اف) کپی صفحه ی دیگری است که گوگل آن را به عنوان کانونیکال شناخته است. عموما، فقط URL کانونیکال در سرچ گوگل نمایش داده خواهد شد. اگر مایل باشید می توانید با استفاده از Link HTTP در پاسخ صفحه ی مشخصی را به عنوان کانونیکال مشخص کنید.
گوگل کانونیکال دیگری را نسبت به آن چه کاربر مشخص کرده در نظر گرفته است: این صفحه برای تعداد مشخصی از صفحات کانونیکال در نظر گرفته شده است. اما گوگل فکر می کند صفحه ی دیگری برای کانونیکال بودن مناسب است. گوگل پیشنهاد می کند که این صفحه را به عنوان کپی از URL کانونیکال معرفی کنید. این صفحه بدون هیچ گونه درخواست کرالی یافت شده است.
صفحه یافت نشد (404): گزارشات ایندکس اعلام می کند که صفحه به درخواست پاسخ 404 فرستاده است. گوگل بدون هیچ گونه درخواست یا سایت مپ این صفحه را یافته است. گوگل ممکن است به روش های مختلفی صفحه را پیدا کرده باشد. مانند لینک از سایت های دیگر یا اینکه صفحه قبلا موجود بوده و اکنون حذف شده است. ربات گوگل احتمالا برای مدتی به این صفحه سر بزند و هیچ راهی وجود ندارد که به گوگل بگوییم صفحه ای را برای همیشه فراموش کند. اگرچه به مرور زمان میزان کرال شدن آن صفحه کمتر و کمتر خواهد شد. اگر عمدی باشد، پاسخ های 404 مشکل مهمی نیستند. اگر صفحه ی شما جا به جا شده است از ری دایرکت 301 استفاده کنید.
صفحه به دلیل شکایت حقوقی حذف شده است: این صفحه به دلیل یک شکایت حقوقی از ایندکس حذف شده است.
صفحه با ری دایرکت: URL صفحه یک ری دایرکت است و به همین دلیل ایندکس نشده است.
در صف کرال شدن: صفحه در صف کرال شدن است. چند روز دیگر مجدد چک کنید تا ببینید صفحه کرال شده است یا نه.
ارور سافت 404: صفحه پاسخ سافت 404 ارسال می کند. این بدان معناست که صفحه پیام “صفحه یافت نشد” را به شیوه کاربر پسند ارسال می کند و کد پاسخ 404 را نمایش نمی دهد. توصیه می شود کد پاسخ 404 برای صفحاتی که واقعا not found هستند ثبت شود و یا اینکه باید اطلاعاتی به صفحه اضافه کنید تا گوگل بفهمد که این صفحه ارور سافت 404 نیست.
URL ثبت شده از صف ایندکس بیرون افتاده است: این بخش از گزارشات ایندکس نشان می دهد که شما این صفحه را برای ایندکس شدن ثبت کرده اید اما به دلیلی نا مشخص از ایندکس شدن بیرون افتاده است.
URL ثبت شده به عنوان کانونیکال انتخاب نشده است: این URL یکی از URL های صفحات یکسان است که به عنوان کانونیکال نشانه گذاری نشده است. شما درخواست داده اید که این صفحه ایندکس شود اما چون این صفحه تکراری است گوگل فکر می کند که صفحه ی دیگری برای کانونیکال بودن بهتر است و این صفحه را ایندکس نکرده است. در عوض، گوگل کانونیکالی را ایندکس می کند که خودش انتخاب می کند. تفاوت بین این حالت و حالت “گوگل کانونیکال دیگری را نسبت به آن چه کاربر مشخص کرده در نظر گرفته است” این است که در این حالت شما درخواست ایندکس شدن را ثبت کرده اید.