El archivo robots.txt que hemos especificado está optimizado para garantizar la clasificación más alta posible en los motores de búsqueda. Le dice a los motores de búsqueda que no indexen ciertas páginas, lo que podría afectar negativamente a la ubicación en los motores de búsqueda. Por ejemplo, páginas con muy poco contenido (como la página Redactar un nuevo tema), URL ligeramente diferentes que apuntan al mismo contenido (los motores de búsqueda lo considerarían contenido duplicado) y páginas transaccionales exclusivas para miembros (como seguir un tema, editar tu perfil, etc.). Esto garantiza que los motores de búsqueda vean principalmente las páginas más relevantes y ricas en contenido de tu foro, de modo que ocupe un lugar más alto en los resultados de búsqueda.

Otras páginas que aparecen en el archivo robots.txt son páginas privadas a las que solo pueden acceder los miembros que hayan iniciado sesión. De todos modos, los motores de búsqueda no pueden acceder a esas páginas. Al restringirlos al nivel robots.txt, aumenta tu clasificación en el motor de búsqueda porque no ve la página de inicio de sesión una y otra vez, pensando que tu foro no tiene mucho contenido de alta calidad. También reduce las visitas de páginas innecesarias generadas por el rastreador del motor de búsqueda, lo que acabaría costando dinero y, de todos modos, no se traduciría en un mejor posicionamiento en los motores de búsqueda ni en la publicación de anuncios (ya que el rastreador del motor de búsqueda ignora la página de inicio de sesión).

Las redes de publicidad contextual, como Google Adsense, también prefieren que no utilices páginas con poco contenido o contenido duplicado para la segmentación contextual de los anuncios. Nuestro archivo robots.txt garantiza que solo se utilicen páginas muy relevantes para la publicidad contextual, de modo que los anunciantes prefieran la publicidad en tu foro, lo que se traduce en mayores ingresos a largo plazo.

Se puede ver el archivo robots.txt de su foro aquí.