Jakość wyników – testy w wydaniu Google

Serwis Technology Review publikuje wywiad z Peterem Norvigiem, dyrektorem ds. jakości wyszukiwania (director of search quality) w Google. Oprócz szerszego ujęcia wyszukiwania jako procesu i zmian które w nim nastąpiły przez lata, Peter opowiada również, w jaki sposób Google monitoruje i następnie ulepsza jakość zwracanych wyników.

1. Rozkład kliknięć w wyniki – jeżeli np. miejsce pierwsze „zgarnia” stosunkowo duży procent kliknięć i na dodatek internauci nie odwiedzają kolejnych linków, zapewne oznacza to, że są zadowoleni z wyników wyszukiwania – jakość jest odpowiednio wysoka.
   Jeżeli jednak kliknięcia się mnożą, internauci zmieniają zapytanie, itp. i cały proces dotarcia do informacji wydłuża się – takie sygnały mogą posłużyć do wprowadzenia zmian. Osobną kwestią jest, czy zmiany zachodzą w algorytmie wyszukiwarki, czy może są to jedynie przesunięcia „bardziej klikalnych” stron na wyższe pozycje w wynikach wyszukiwania (od jakiegoś czasu mówi się o tym, że wyszukiwarka będzie brała pod uwagę przy ustalaniu rankingu pozycji również zachowanie internautów).
2. Testy manualne – Google przyznaje się do zatrudniania osób, które po przejściu odpowiedniego szkolenia, mają za zadanie oceniać empirycznie jakość zwracanych wyników. Ciekawostką może być interfejs narzędzia, z którego korzystają – ascetyczny layout aplikacji w działaniu można zobaczyć na serwisie SearchBistro.com.

Co ciekawe, zapytany o przyszłość wyszukiwania, Peter deprecjonuje wagę rozumienia języka naturalnego na rzecz jeszcze lepszego rozpoznawania kontekstu, w jakim pojawia się konkretne słowo kluczowe. Z jego punktu widzenia wystarczy zatem umieć dobrze odpowiedzieć na zapytanie „stolica Francji” zamiast próbować interpretować zdanie „co jest stolicą Francji?”, a dużo ważniejsze jest rozpoznanie kontekstu np. dla hasła „york” w zapytaniach „New York” i „york”. Teza jest poniekąd słuszna, jednak większa przyjazność (i zrozumienie) wyszukiwarek dla naszej naturalnej międzyludzkiej komunikacji z pewnością również byłaby bardzo użyteczna. Dla powstającej wyszukiwarki Hakia jest to nawet priorytet, również wyszukiwarka Ask.com nieźle sobie radzi z zapytaniem o stolicę Francji.

—
Maciej Gałecki