Jan Moesen (33) er en belgisk utvikler som kom over noe pussig i loggfilene. En web crawler eller søkerobot som tilsynelatende skanner og indekserer store deler av internett.
Det i seg selv er ikke oppsiktsvekkende, men den ukjente bot-en stammer fra Apple.
I alle fall benytter den IP-adresser som tilhører selskapet. Apple eier faktisk en hel IPv4 /8 adresseblokk, nærmere bestemt alle adressene under 17.x.x.x.
Det første sporet fant han den 15. oktober. Web crawleren identifiserer seg med tekststrengen «Mozilla/5.0 (compatible; Fetcher/0.1)», noe Moesen forklarer i en kunngjøring om funnet.
«Fetcher» som verktøyet da muligens heter indekserer bare HTML-websider, mens den verken bryr seg om stilsett (CSS), JavaScript eller bildefiler.
Spørsmålet er hva dette kan være for noe. 33-åringen kan ha snublet over et eksperiment utført av en Apple-ansatt, men det er klart det er mer spennende å spekulere i om dette kan munne ut i et offisielt produkt.
Ikke at noen tror Apple nå er i ferd med å ta opp kampen mot søkemotorer som Google eller Bing…
En mulig forklaring, skriver nettstedet Appleinnsider, kan være at Apple indekserer websider for å berike sin Spotlight, søkefunksjonen som nylig ble forbedret til OS X Yosemite og iOS 8. Spotlight lar brukere få tilgang til søkeresultater direkte, uten å måtte ta omveien via tredjeparts søkemotorer som Google eller Bing.
Etter at Moesen meldte om funnet har en lang rekke andre bekreftet at også de har merket en betydelig mengde trafikk fra «Fetcher» i sine webserverlogger.
Does anyone know why Apple is running a web crawler (written in @golang, no less)? http://t.co/5JDTZuplQp
— Jan Moesen (@janmoesen) November 6, 2014
Leave a Reply