0推荐
35K 浏览

python 高度健壮性爬虫的异常和超时问题

爬虫这类型程序典型特征是意外多,无法确保每次请求都是稳定的返回统一的结果,要提高健壮性,能对错误数据or超时or程序死锁等都能进行处理,才能确保程序几个月不停止。本项目乃长期维护github: ...
zoohvan 3年前   
0推荐
35K 浏览

HTML5开源:ELF-灵活可扩展的 HTML5 构建工具

ELF - 面向开发者的灵活可扩展的 HTML5 构建工具,提供命令行工具 elf(基于 Webpack), 无需构建配置文件并可进行开发 ,可用来制作各种 HTML5 场景营销活动页面,也可自...
MegGott 3年前   
0推荐
31K 浏览

浅谈动态爬虫与去重

随着Web 2.0的发展,页面中的AJAX也越来越多。由于传统爬虫依靠静态分析,不能准确的抓取到页面中的AJAX请求以及动态更新的内容,已经越来越不能满足需求。基于动态解析的Web 2.0爬虫应...
0推荐
9K 浏览

PhantomJS & NodeJS 在京东网站前端监控平台的最佳实践

常在一个大型的 Web 项目中有很多监控,比如后端的服务 API 监控,接口存活、调用、延迟等监控,这些一般都用来监控后台接口数据层面的信息。而且对于大型网站系统来说,从后端服务到前台展示会有很...
0推荐
13K 浏览

knysa:异步等待风格PhantomJS脚本编程

PhantomJS是提供JavaScript API的可编程无头浏览器(无图形界面)。它非常适合页面自动化和测试。其JavaScript API非常优秀,提供了许多高级功能,但同时也陷入了Jav...
0推荐
56K 浏览

京东前端:PhantomJS 和 NodeJS 在京东网站前端监控平台的最佳实践

通常在一个大型的 Web 项目中有很多监控系统,比如后端的服务 API 监控,接口存活、调用、延迟等监控,这些一般都用来监控后台接口数据层面的信息。而且对于大型网站系统来说,从后端服务到前台展示...
0推荐
40K 浏览

怎么使用node.js进行快速截图?

写文章的时候经常需要插入图片,插入现有的图片很简单,有时候制作一些优秀的网站列表的时候需要添加网页截图, 这个过程非常枯燥乏味,可以考虑开发一个命令行工具传入一个url,然后生成页面截图。
0推荐
40K 浏览

CI上的Web前端性能测试

雅虎在2006年就发布了一份提升Web站点响应速度的 最佳实践指南 。该指南包含了35条规则,分为7个类别。这些规则已经被广泛使用,并指导人们在新的站点设计时更有针对性的考虑问题。这份指南已经成...
0推荐
44K 浏览

PhantomJS实现最简单的模拟登陆方案

以前写爬虫,遇到需要登录的页面,一般都是通过chrome的检查元素,查看登录需要的参数和加密方法,如果网站的加密非常复杂,例如登录qq的,就会很蛋疼
0推荐
32K 浏览

PhantomJS快速入门

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能,使用webkit来编译解释执行JavaScript代码。任何你可以在基于we...
0推荐
90K 浏览

无UI界面基于WebKit内核的浏览器phantomJS介绍

最近一直在研究关于Headless browsers一些东西,最先接触到的就是相当有名的 phantomJS ,无UI界面,基于WebKit内核,多用于在JS测试的一些方面,当然还有网络监控,网...
0推荐
25K 浏览

PhantomJS:基于WebKit、开源的服务器端JavaScript API

PhantomJS 是一个基于 WebKit 的服务器端JavaScript API,它基于 BSD 开源协议发布。PhantomJS无需浏览器的支持即可实现对Web的支持,且原生支持各种Web...
0推荐
116K 浏览

Python利用Phantomjs抓取渲染JS后的网页

最近需要爬取某网站,无奈页面都是JS渲染后生成的,普通的爬虫框架搞不定,于是想到用Phantomjs搭一个代理。 Python调用Phantomjs貌似没有现成的第三方库(如果有,请告知小2)...
jopen 5年前   
0推荐
117K 浏览

使用python+phantomjs抓取动态页面

前一段时间公司需要爬取部分web页面的数据使用。但是页面中的主要数据是ajax load出来的,传统的抓取方法是拿不到数据的。后来在网上发现了phantomjs,在无界面的情况下运行js,渲染d...
jopen 5年前   
0推荐
44K 浏览

从PhantomJS迁移到node-webkit:自动化测试框架简单比较

注* PhantomJS 和 node-webkit 是基于Webkit实现的一套用Web技术实现跨平台桌面程序应用的解决方案,PhantomJS此前多用于自动化测试方面。Node-Webkit...
jopen 5年前   
0推荐
48K 浏览

在中C#利用职权PhantomJS进行网页整页截屏

phantomjs 是 一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器,这样访问网页就省去了浏览器的界面绘制所消耗的系统资源,比较适合用于网络测试等应用 。我只是调用了其中...
jopen 6年前   
0推荐
47K 浏览

基于js的无界面 webkit 浏览器:PhantomJS

PhantomJS 是一个命令行工具,我们可以把它看作是无界面的 webkit 浏览器。 与界面版相比,它速度相当快,且原生支持多种 web 标准,如 DOM,CSS 选择符,JSON,C...
jopen 6年前   

经验分享,提升职场影响力

投稿

热门问答

    热门文档