El fichero robots.txt es un recurso clave para la sitio web que busca ser bien posicionada por los motores de búsqueda como Chrome . Opera como un mapa para los bots, indicándoles qué áreas de tu web pueden están crawleadas y cuáles se deben excluir . La óptima configuración de este archivo puede