A través de varios estudios se ha tratado de establecer medidas típicas de evaluación para discernir qué herramienta es la más acertada para las necesidades específicas de información.
De acuerdo al estudio de Chu y Rosenthal (1996) estas medidas a investigar serían: composición de los índices, se estudia la cobertura y actualización; capacidad de búsqueda, prestaciones de los buscadores (operadores booleanos y de truncamiento, frases, refinamiento); ejecución de la recuperación de información, precisión, exhaustividad y tiempo de respuesta; y esfuerzo del usuario, interfaz del sistema.
Estudios posteriores (Gordon y Pathak, 1999) se focalizaron en los parámetros de precisión y exhaustividad y reflexionaron sobre el concepto de "documento relevante" analizando 7 motores. La conclusión a la que arribaron establece que el ideal de búsqueda es la que encuentra un equilibrio entre la precisión de los resultados y la exhaustividad de los mismos, como también, que es el interesado quien establece si los documentos recuperados son relevantes o no.
El investigador Sherman (2000) propuso una guía en donde recomienda distintos buscadores según el tipo de información a recuperar, un resumen del listado sería:
Si deseamos encontrar... | Motor recomendado |
Una amplia revisión sobre una materia determinada | Looksmart |
Una materia determinada usando una frase corta | Infoseek |
Un tema empleando palabras raras o desconocidas | AltaVista |
Páginas en un idioma determinado | AltaVista |
Páginas publicadas en una fecha determinada | AltaVista |
Un conjunto de documentos y luego refinar la búsqueda | Infoseek |
Documentos sobre ciudades, compañías, etc. | Excite |
Un directorio con enlaces de calidad | About |
Sin embargo, todas estas investigaciones no determinan una metodología acabada para el análisis de los buscadores por que se basan en criterios excesivamente subjetivos. Concluimos que la evaluación definitiva responde exclusivamente del usuario. La relevancia, grado de acierto, pertinencia de los documentos recuperados dependerá del grado de conocimiento de las prestaciones (lenguaje de interrogación, o estrategia de búsqueda) que poseen los distintos buscadores.