Her om dagen nevnte jeg en Rusty Bricks søkemotorblindtest for å måle søkemotorenes relevans. Fremgangsmåten der er at du blir presentert for et resultatsett, men du vet ikke fra hvilken av de fire store resultatsettet er hentet fra. Deretter vurderer du ett og ett resultat i resultatsettet.
Den fremgangsmåten er noe tungvint, men har i alle fall inntil videre kåret Yahoo som relevansvinner. Men nå har noen andre kastet seg inn på det samme, og de har laget en versjon som er langt enklere å forholde seg til for oss brukere: Søk etter noe, og du blir presentert for topp tre-resultatene fra MSN, Yahoo og Google. Du vet ikke hvem som er hvem, og du trykker på en knapp ved det resultatsettet du mener er best.
The Search Engine Experiment [WEBMASTERBRAIN]
Datagrunnlaget deres er foreløpig ikke særlig stort, men Google leder løpet (41%), med Yahoo på andre (33%) og MSN på tredjeplass (27%). Som i Rusty Bricks tilfelle viser det seg kanskje igjen at kvaliteten på de tre store er god nok for de aller fleste, og at Google muligens ikke er så mange lysår foran resten som vi kanskje har en tendens til å tro.
Tjenesten åpnet for øvrig i dag, og virker allerede å slite med trafikken. Jeg håper de greier å holde serveren i gang, for denne testen var langt enklere å forholde seg til enn RustySearch -- og resultatene er selvsagt mest interessant (og riktige) når tjenesten har blitt mye brukt over tid og av mange.
Jeg prøvde fire helt forskjellige søk og MSN var best på alle fire. Søkene var "arsenal squad", "marketing at bond university", "fishing quota Barents Sea" og "Jo Christian Oterhals blog". Jeg er oppriktig overrasket.
Posted by: Thomas Lund | November 21, 2005 at 20:21
Ja, jeg er også overrasket. Som jeg har sagt i denne posten og i tidligere poster med lignende tema, så er kvaliteten på de tre store overraskende like -- og sannsynligvis ville alle tre dekket behovene til folk flest.
Det jeg likevel merker meg når jeg har testet denne tjenesten litt er at når MSN svikter, så svikter MSN mye mer spektakulært enn de to andre. Så jeg er ikke klar for å hoppe over til MSN ennå.
Posted by: Jo Christian Oterhals | November 23, 2005 at 20:46
Ja, MSN svikter virkelig når den først svikter. Dog, jeg merket meg at de 2 andre "sprikte" veldig i sine 3 treff på hvert eneste søk jeg prøvde. Det var veldig sjeldent at det var mer enn ett relevant treff av tre.
Posted by: Thomas Lund | November 24, 2005 at 01:28