Esta publicación es una traducción del material What are crawl errors?, publicado originalmente en el blog de Yoast. El contenido fue autorizado para su publicación en el blog de HostGator.

Los errores de rastreo ocurren cuando un motor de búsqueda intenta acceder a una página de tu sitio web, pero falla. Primero, aclaremos un poco más sobre el rastreo.

El rastreo es el proceso mediante el cual un motor de búsqueda intenta visitar todas las páginas de tu sitio web a través de un bot. Un bot del motor de búsqueda encuentra un enlace a tu sitio y comienza a buscar todas tus páginas públicas. Rastrea las páginas, indexa todo el contenido para su uso en Google y añade todos los enlaces de esas páginas a las páginas que aún necesita rastrear.

Tu principal objetivo como propietario de un sitio es garantizar que el bot del motor de búsqueda pueda acceder a todas las páginas de tu sitio web. El fallo en este proceso genera lo que llamamos errores de rastreo.

Tu objetivo es garantizar que cada enlace en tu sitio web conduzca a una página real. Esto se puede hacer mediante una redirección 301, pero la página al final de ese enlace siempre debe devolver una respuesta del servidor 200 OK.

Google divide los errores de rastreo en dos grupos:

• Errores del sitio: no quieres estos errores, ya que significan que todo tu sitio no puede ser rastreado.
• Errores de URL: tampoco quieres estos errores, pero como se refieren a una URL específica por error, son más fáciles de mantener y corregir.

Vamos a detallar más sobre esto.

Errores del sitio

Los errores del sitio son todos los errores de rastreo que impiden que el bot del motor de búsqueda acceda a tu sitio. Esto puede ocurrir por varias razones, siendo estas las más comunes:

Errores de DNS

Esto significa que un motor de búsqueda no puede comunicarse con tu servidor. El servidor podría estar fuera de línea, lo que significa que tu sitio no puede ser visitado.

Por lo general, este es un problema temporal. Google volverá a tu sitio más tarde e intentará rastrearlo de nuevo. Si ves advertencias sobre esto en Google Search Console en la sección de errores de rastreo, probablemente significa que Google ha intentado varias veces y aún no ha podido.

Errores del servidor

Si tu Search Console muestra errores del servidor, significa que el bot no pudo acceder a tu sitio. La solicitud pudo haber expirado. El motor de búsqueda (por ejemplo, Google) intentó visitar tu sitio, pero tardó tanto en cargar que el servidor devolvió un mensaje de error.

Los errores del servidor también ocurren cuando hay fallos en el código que impiden la carga de una página. Esto también puede significar que tu sitio tiene tantos visitantes que el servidor no pudo manejar todas las solicitudes. Muchos de estos errores se devuelven como códigos de estado 5xx, como los códigos 500 y 503.

Fallo en el archivo robots.txt

Antes de rastrear, el Googlebot intenta acceder a tu archivo robots.txt para ver si hay alguna área de tu sitio que prefieras que no sea indexada. Si el bot no puede acceder al archivo robots.txt, Google retrasará el rastreo hasta que pueda acceder a él. Por lo tanto, siempre asegúrate de que el archivo esté disponible.

Esto explica un poco sobre los errores de rastreo relacionados con todo tu sitio. Ahora veamos qué errores de rastreo pueden ocurrir en páginas específicas.

Errores de URL

Como mencionamos, los errores de URL se refieren a errores de rastreo que ocurren cuando un bot de motor de búsqueda intenta rastrear una página específica de tu sitio web.

Cuando hablamos de errores de URL, solemos hablar primero de errores de rastreo como los errores (soft) 404 Not Found. Debes verificar regularmente estos errores (usa Google Search Console o las herramientas de webmaster de Bing) y corregirlos.

Si la página/tema de esa página ya no existe y no regresará a tu sitio, sirve una página 410. Si tienes contenido similar en otra página, usa una redirección 301 en su lugar. Asegúrate de que tu sitemap y los enlaces internos también estén actualizados.

Descubrimos que muchos de estos errores de URL son causados por enlaces internos. Así que, muchos de estos errores son tu responsabilidad. Si eliminas una página de tu sitio, ajusta o elimina también todos los enlaces internos hacia ella. Estos enlaces ya no tienen utilidad.

Si el enlace permanece igual, un bot lo encontrará y lo seguirá, solo para encontrarse con un callejón sin salida (error 404 Not Found) en tu sitio. ¡Necesitas hacer mantenimiento ocasionalmente en tus enlaces internos!

Otro error común de URL es aquel con las palabras “URL enviada” en el título. Estos errores aparecen cuando Google detecta un comportamiento inconsistente. Por un lado, enviaste la URL para su indexación, por lo que estás diciendo a Google: “Sí, quiero que indexes esta página”. Por otro lado, algo más le está diciendo a Google: “No, no indexes esta página”.

Una posible razón puede ser que tu archivo robots.txt esté bloqueando tu página o que la página esté marcada como ‘noindex’ por una meta tag o un encabezado HTTP. Si no corriges el mensaje inconsistente, Google no indexará tu URL.

Entre estos errores comunes, puede haber un error ocasional de DNS o de servidor para esa URL específica. Revisa esa URL nuevamente más tarde y ve si el error desapareció. Asegúrate de usar la herramienta “Buscar como Google” y marca el error como corregido en Google Search Console, si esa es tu principal herramienta de monitoreo.

Errores de URL muy específicos

Algunos errores de URL aplican solo a ciertos sitios. Por eso, me gustaría listarlos por separado:

Errores específicos para móviles

Esto se refiere a errores de rastreo específicos de página que ocurren en un smartphone moderno. Si tienes un sitio web responsivo, es poco probable que estos errores aparezcan.

Puedes encontrar más errores si mantienes un subdominio móvil separado, como m.ejemplo.com. Problemas como redirecciones defectuosas de tu sitio de escritorio al sitio móvil. Incluso puedes haber bloqueado parte de ese sitio móvil con una línea en tu archivo robot..txt.

Errores de malware

Si encuentras errores de malware en tus herramientas de webmaster, significa que Bing o Google encontraron software malicioso en esa URL.

Esto puede significar que se encontró software utilizado, por ejemplo, “para obtener información protegida o para interrumpir la operación en general” (Wikipedia). Debes investigar esa página y eliminar el malware.

Errores de Google Noticias

Existen algunos errores específicos de Google Noticias. Hay una lista considerable de estos posibles errores en la documentación de Google, por lo que, si tu sitio está en Google News, podrías recibir estos errores de rastreo. Varían desde la falta de un título hasta errores que indican que tu página no parece contener un artículo de noticias. Asegúrate de verificar por ti mismo si esto aplica a tu sitio.

Corrige tus errores de rastreo

La conclusión de este artículo es definitivamente: si encuentras errores de rastreo, corrígelos. Debe ser parte del mantenimiento de tu sitio verificar los errores de rastreo de vez en cuando.