爬虫的世界如同武林，派别繁多，其中Python 一派简单易学，深受各位小伙伴的喜爱。现在做大数据（呵呵），不写几个爬虫都不好意思了，甚至数据分析R语言也被大牛们插上翅膀，开始在Web上溜达，寻觅着数据分析的原料。

网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，

最好用最实用的爬虫框架。 简介 SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率

Google 爬虫 'Baiduspider', // 百度爬虫 'Yahoo! Slurp', // 雅虎爬虫 'YodaoBot', // 有道爬虫 'msnbot' // Bing爬虫 // 更多爬虫关键字

SeimiCrawler一个敏捷强大的Java爬虫框架 ¶ An agile,powerful,standalone,distributed crawler framework. SeimiC

显然，要确保网站中的所有链接都具有可访问性，通过人工进行检测肯定是不现实的，常用的做法是使用爬虫技术定期对网站进行资源爬取，及时发现访问异常的链接。 对于网络爬虫，当前市面上已经存在大量的开源项目和技术讨论的文章。不过，感觉大

python是一种容易学习的强大语言。它包括了高效的高级数据结构，提供了一个简单但很有效的方式进行面向对象编程。Python 优雅的语法，动态类型，以及它天然的解释能力，使其成为了大多数平台上应用于各领域理想的脚本语言以及开发环境。 <br> 这个手册介绍了一些 Python 语言及其系统的基本知识与概念。这有助于读者对 Python 有一个基本的认识，当然所有的例子都已包括在文中，所以这本手册很适合离线阅读。

# -*- coding:utf-8 -*- #!/usr/bin/env python import re import urllib import urllib2 import sys class

#!/usr/bin/python # -*- coding: utf-8 -*- ''''' Created on 2015-1-7 @author: beyondzhou @name: myarray

ibm.com/developerworks/cn/java/j-jtp0730/ # 线程池原理及python实现: http://www.cnblogs.com/goodhacker/p/3359985

安装 https://pypi.python.org/pypi/redis/ https://github.com/andymccurdy/redis-py 参照官网,安装命令 sudo pip

通过取得Windws下的一个环境变量： NUMBER_OF_PROCESSORS实现。 import os cpu_num = '1' if 'NUMBER_OF_PROCESSORS' in os.environ: cpu_num = os.environ['NUMBER_OF_PROCESSORS'] print 'cpu_num: %s' % cpu_num

import sys, urllib2, urllib zipcode = "S2S 1R8" url = 'http://www.wunderground.com/cgi-bin/findweather/getForecast' data = urllib.urlencode([('query', zipcode)]) req = urllib2.Request(url) fd = urllib

''' Author: liupengfei Function: count lines of code in a folder iteratively Shell-format: cmd [dir] Attention: default file encode is utf8 and default file type is java-source-file. But users can cus

很多场景为了不阻塞，都需要异步回调机制。这是一个简单的例子。 python的多线程异步常用到queue和threading模块 #!/usr/bin/env python # -*- coding: UTF-8 -*-

python计算N天之后的日期，可以自己写成一个函数，想得到几天后的日期都行 #! /usr/bin/env python #coding=utf-8 import time import datetime

import os,inspect,socket,time,pymysql num = 0 class Mysql: def __init__(self,host,user,password,db): self.cnn = pymysql.connect(host=host,user=user, passwd=password, db=db, charset='utf8') self.cur= s

python连接Oracle数据库的代码，需要引用cx_Oracle库 #coding=UTF-8 import cx_Oracle def hello(): '''Hello cx_Oracle示例：

msg['from'] = mail_user msg['subject'] = 'this is a python test mail' try: s = smtplib.SMTP() s.connect(mail_host)

有类似的特性。在python中如何实现分段下载文件呢？ >>> import urllib2 >>> req = urllib2.Request('http://www.python.org/') #下载19000到20000字节的片段