La importancia del Rastreo e Indexación en las estrategias de SEO

El mercado digital es la nueva realidad donde se mueven las empresas, por lo que convertir su tráfico en clientes se ha convertido en un nuevo desafío.

Existen diferentes acciones que te ayudarán a conseguirlo, una de ellas será el SEO o posicionamiento de mercado, basado en el rastreo e indexación.

Te contamos en detalle qué son y cómo funcionan para que puedas conseguir una mayor visibilidad en la web.

¿QUÉ ES EL RASTREO?

El rastreo es el proceso que realizan los buscadores como Google a través de sus bots y les permite recorrer las webs, entenderlas, catalogarlas e indexarlas para mostrarles en los resultados de búsqueda de los buscadores. Todos los buscadores hacen este proceso, pero Googlebot, el bot de Google, es el más relevante al ser el navegado más usado, y por ende el que senta precedente frente a los demás.

¿Cómo funciona?

Los rastreadores trabajan a través de los diferentes enlaces, moviéndose dentro de un dominio. Es decir, los enlaces les sirven de pasarela para rastrear una serie de páginas de un dominio.

Además, dedican un tiempo concreto y rastrean lo que les da tiempo en ese periodo concreto, por eso, es importante contar con una estructura de navegación y contenido clara para que este tiempo que invierten los bots sea lo óptimo posible.

¿QUÉ ES LA INDEXACIÓN?

Una vez que la web está rastreada, comienza el proceso de indexación, que es el proceso por el cual los buscadores, ya habiendo clasificado el contenido de la web en el proceso de rastreo, la incluyen en su índice para mostrarle entre los resultados de búsqueda cuando un usuario hace una búsqueda.

¿Cómo funciona?

Te lo explicamos con un ejemplo:

1. Publico en internet mi tienda online de zapatillas de deporte.
2. Los buscadores detectan y empiezan a rastrearla para entender de qué trata y así clasificarla (rastreo) dentro de su almacenamiento.
3. Alguien busca en el buscador “zapatillas Nike rojas de mujer”. Si nuestra web tiene este contenido, ha sido rastreado por los bots, clasificado y hemos aplicado prácticas de posicionamiento (SEO), apareceremos entre los resultados de búsqueda que muestre el buscador al usuario y tendremos posibilidades de que el usuario nos visite.

¿CUÁL ES LA DIFERENCIA ENTRE RASTREO E INDEXACIÓN?

El rastreo es el paso previo a la indexación. El rastreo detecta y extrae el contenido para clasificarlo y la indexación incluye ese contenido/web en el índice del buscador para mostrarlo cuando un usuario hace una búsqueda en internet.

ELEMENTOS SEO CLAVEPARA EL RASTREO Y LA INDEXACIÓN

El archivo robots.txt

El archivo robots.txt indica a los rastreadores de los buscadores a qué URLs del site puede acceder y a cuáles no. Para ellos se usan los comandos Allow (si) o Disallow (no).

¡Importante! No es una opción segura para impedir que una URL aparezca en los resultados de búsqueda, si esto es lo que queremos, debemos usar la etiqueta «noindex».

¿Qué reglas debo seguir para tener un archivo robots.txt óptimo?

• El archivo debe llamarse robots.txt
• Solo 1 archivo por sitio web.
• Una vez que tengamos el archivo creado, debe subirse a la raíz del host (servidor) -> https://www.miweb.es/robots.txt

¿Cuáles son los elementos del archivo robots.txt?

• User-agent: Indica a que «rastreador» nos estamos dirigiendo. Primera línea antes de las directrices.

  User-agent: * (afecta a todos)     User-agent: Googlebot (sólo afecta al rastreador de Google)

• Disallow: Indica donde NO puede acceder el rastreador.
• Allow: Indica donde Si puede acceder el rastreador.
• Sitemap: Indica la URL del sitemap del site.

SITEMAD

Es un mapa del sitio web que ayuda a los bots a entender qué URLs lo conforman y así facilitar el proceso de indexación. El sitemap debe contener aquellas URLs principales o qué desde un punto de vista estratégico nos interesan posicionar.

¿Cuándo es interesante tener un sitemap?

Siempre, ya sea nuestro site un blog o un sitio web.

¿Cuáles son los formatos de un sitemap?

• XML. (más usado)
• RSS, MRSS y Atom 1.0
• Texto.

¿Qué tipos hay de sitemap?

• Urls.
• Imagen.
• Videos.
• Noticias.

¿Cómo puedo crear mi sitemap?

• CMS que lo generan automáticamente.
• Usando un módulo o plugin para ello.
• Manualmente.

Una vez que tengo mi sitemap, ¿Qué hago?

• Súbelo a Search Console > Apartado Sitemap.
• Inclúyelo en la última línea de tu archivo robots.txt

¿Cómo conseguir un sitemap óptimo?

• Asegúrate el sitemap incluye las URLs competas:

Correcto: https://miweb.es/ejemplo           Incorrecto:  /ejemplo ó miweb.es/incorrecto

• Si tu web está en diferentes idiomas asegúrate de informar a Google mediante la etiqueta hreflang sobre las diferentes versiones de idiomas y te recomendamos que tengas un sitemap por idioma.
• Si tu sitemap es demasiado grande (+50.000 urls o más de +50MB) divídelo en sitemaps más pequeños.
• Goolge ignora los valores «prority» o «changefreg»
• Si tu site incluye además imágenes, videos o noticias que te interesa que sean rastreados e indexados, inclúyelos, por ejemplo.

Etiquetas robots: index/noindex

Las metaetiquetas "index/noindex" son etiquetas HTML (se integran en <head> del código) he indican si una URL es indexable o no:

• index: SI
• noindex: NO

¿Como se usa?

• Aplicándola en una directriz única para todos los bots a través de "robots". Ejemplo para que no indendex: <Meta name="robots" content="noindex">
• Se pueden usar juntamente con otras directivas, como con "nofollow": para que no siga tampoco siga a los enlaces que contenga la página. Ejemplo: <meta name="robots" content="noindex, nofollow">
• O especificar directivas diferentes según el buscador. Ejemplo:

Para todos los buscadores, que no siga a enlaces que contenga la página: <meta name="robots" content="nofollows">

Para solamente el bot de Google, que no idenxe: <meta name="googlebot" content="noindex";>

¿Te has perdido algún paso?

Te mostramos un VIDEO en el que nuestra especialista de Marketing Digital te lo explica con todo detalle: