Que es Robots.txt y para qué sirve?

¿Qué es Robots.txt? Robots.txt es un archivo que esta en la raíz del sitio que informa a los motores de búsqueda a que partes acceder y a cuáles no. Los motores de búsqueda visitan cada cierto tiempo los sitios web y rastrean el contenido de éstos a través de robots, también conocidos como arañas. Los [...]