程序员发现疑似苹果官方网络爬虫活动踪迹

jopen 9年前

源自苹果公司的网络爬虫踪迹显现,一位名为 Jan Moesen 软件工程师近日公布了他的发现,称他发现了用 Go 语言编译的苹果网络爬虫的抓取网页数据的活动证据。可以追溯至 10 月 15 日他发现来自苹果的网络爬虫在抓取其网站数据,来自该网络爬虫的请求仅指向 HTML 页面,并不访问相关联的 CSS,JS 脚本或图像,网络爬虫以“Mozilla/5.0”作为标识,但是其起源 IP 地址以“17”开头,可以确定由苹果的服务器发出。

程序员发现疑似苹果官方网络爬虫活动踪迹

        Joe Moesen 发布了一则推文,提问苹果为何要运行网络爬虫程序?并发布了爬虫相关活动证据。

程序员发现疑似苹果官方网络爬虫活动踪迹

        至于该源自苹果的爬虫程序是否为苹果官方的项目目前仍不得而知。而作为一种基础的搜索引擎,不知道苹果是否为增强 OS XYosemite/iOS 8 中的搜索工具 Web 搜索所设计,而苹果目前仍主要依靠谷歌和微软 Bing 的搜索引擎。目前苹果也未作出相关回应。