Crawler é um programa automatizado usado por motores de busca para “rastrear” ou indexar páginas da web. Ele navega pelos sites, lê o conteúdo e o organiza em um banco de dados para ser mostrado nos resultados de busca.