Kuidas otsingumootorid õppisid konkurentide vastustest

Vaatad varajaste otsingumootorite telgitaguseid ja leiad üllatavalt madala tehnoloogiaga uudse lähenemise: meeskonnad viisid läbi paralleelseid katseid, nagu kokad, kes maitsevad konkurendi suppi, et oma retsepti täiustada. Seda paljastab endine Google'i insener David Friedberg, kes ütleb, et ettevõte sisestas rutiinselt miljoneid tekstipäringuid Microsofti ja Yahoo otsingumootoritesse, et näha, kuidas need vastasid.

Lühike lause. Lihtne idee. Võrdle väljundeid. Paranda järjestust. See oli olemus sellest, mida insenerid nimetasid "distillatsioonitehnikaks", mitte nuhkimiseks, vaid suuremahulise konkurentsi võrdlemiseks. Arendajad kogusid avalikult nähtavaid tulemusi, analüüsisid mustreid ja kasutasid neid teadmisi, et teravdada asjakohasusmärke ja kohandada järjestamisheuristikat algoritmide parandamiseks.

"Me saatsime miljoneid päringuid Yahoo ja Microsofti otsingumootoritesse, et näha, millised olid nende tulemused," meenutas Friedberg. "Võrdlesime nende tulemusi oma omadega, et parandada meie otsingu järjestust ja algoritme." Protsess oli metoodiline. See oli ka paljastav: kõrvuti võrdlemine tõi esile, kus Google jäi alla ja kust oleks võimalik õppida.

Kas see on vargus? Mitte sõna otseses mõttes. Insenerid rõhutasid, et meeskond ei murdnud kunagi sisse konkurentide serveritesse ega kopeerinud ärisaladusi sisaldavaid koode. Nad töötlesid avalikult nähtavaid väljundeid, fragmente, järjestusi ja konkurentide süsteemide nähtavaid käitumismustreid ning kasutasid neid tagasisidena. Mõelge sellele kui tulemuste lugemist, mitte mänguplaani lugemist.

Me võrdlesime väljundeid; me ei murdnud sisse ega kopeerinud nende koodi.

Miks see nüüd oluline on? Sest taktikad, mida kasutatakse otsingualgoritmide treenimiseks ja testimiseks, kujundavad seda, mida kasutajad näevad. Varajased praktikad nagu distillatsioon kiirendasid arengut, lubades meeskondadel tuvastada servajuhtumeid ja rikkeid kiiremini kui pelgalt sise-testimine. Paljudel viisidel moodustasid need võrdlused pideva kvaliteedikontrolli ja olid nagu peegel areneva toote ees.

Lugu seab ka ümber levinud arusaamu innovatsioonist. Konkurents ei tähenda alati salapärast vargust. Mõnikord näeb see välja nagu kaks last naaberaias, kumbki vaadates, kuidas teine ehitab paremat rularampu, ja seejärel katsetades, et oma disaini parandada. Kiirem iteratsioon. Suurem vastupidavus. Paremad tulemused kasutajatele.

Friedbergi kirjeldus tuletab meelde, et otsingumootorid arenesid praktilisusest sama palju kui teooriast. See tekitab uusi küsimusi läbipaistvuse ja eetika kohta algoritmide arendamisel, eriti nüüd, kui masinõppesüsteemid võivad omastada ja matkida suuri hulki avalikult nähtavast sisust. Kuni kuhu võiks võrdlev analüüs ulatuda? Kes otsustab, mis on lubatud?

Möödunud aeg osutub kasulikuks laboriks. Ja kui otsingutehnoloogia jätkab muutumist, muutub ka naabri töö kontrollimise etikett: see peaks olema inspiratsiooniks, mitte omastamiseks.