Los motores de búsqueda almacenan información sobre un gran número de páginas que extraen de la propia internet. Para ello usan unos programas especiales denominados arañas, robots o agentes inteligentes que buscan y localizan las distintas páginas por su contenido o siguiendo sus hipervínculos. Luego, la página es analizada para determinar cómo debería ser clasificada, por ejemplo a partir de su título, del texto que contiene o de unas etiquetas invisibles denominadas metatags, que dan datos sobre su contenido.
Todos ellos son almacenados en una base de datos que será utilizada en las búsquedas. Cuando se realiza una, el usuario introduce las palabras clave que definen lo que está buscando. Entonces, el motor busca en el índice y ofrece un listado de las páginas que, según su criterio, más se adecúan a su consulta. Para asegurarse de que los resultados son los más relevantes, los motores usan métodos para clasificar jerárquicamente las páginas.