Python的网页爬虫&文本处理&科学计&机器学习&数据挖掘工具集 经验

务都交给了Python。离开腾讯创业后,第一个作品 课程图谱 也是选择了Python系的Flask框架,渐渐的将自己的绝大部分工作交给了Python。这些年来,接触和使用了很多Python工具包,特别

jopen 2014-07-29   192610   0

Python开源:Ugly-Distributed-Crawler - 基于 Redis 实现的简单到爆的分布式爬虫 经验

Ugly-Distributed-Crawler 简陋的分布式爬虫 新手向,基于Redis构建的分布式爬虫。 以爬取考研网的贴子为例,利用 PyQuery, lxml 进行解析,将符合要求的文章文本存入MySQ数据库中。

ty014914 2017-04-05   51379   0

使用爬虫技术实现 Web 页面资源可用性检测 经验

显然,要确保网站中的所有链接都具有可访问性,通过人工进行检测肯定是不现实的,常用的做法是使用爬虫技术定期对网站进行资源爬取,及时发现访问异常的链接。 对于网络爬虫,当前市面上已经存在大量的开源项目和技术讨论的文章。不过,感觉大

B6m4g7p55 2018-05-27   38275   0

Java 微型数据绑定和校验框架,form-binder-java v0.11.0 发布 资讯

form-binder-java v0.11.0 发布,主要更新有: 增加 meta 支持 增加 ext info 支持 这些主要是为方便第三方工具(像 binder-swagger-java)获得 mapping

jopen 2015-09-14   7030   0

form-binder-java v0.10.0 发布,Java 微型数据绑定及校验框架 资讯

form-binder-java 是一个容易使用和定制的微型数据绑定和校验框架,是 form-binder 的 Java 移植版。用 Java 8 实现,运行时要求 Java 8。 它有如下特点:

jopen 2015-07-20   17580   0
P9

  笑傲江湖之网络新篇 文档

 笑傲江湖之网络新篇 令狐冲十四岁那年进入华山,那年岳琳珊八岁,岳不群白天给两人指点剑法,晚上令狐冲给小师妹讲故事哄她入睡。后来,岳不群陆续收了劳德诺,陆大有等徒弟,又忙于修炼紫霞神功,就没有时间指

llyjyzj 2013-06-14   2306   0
P13

  linux系统中网络配置详解 文档

Linux系统中网络配置详解 (作者:佚名 出处:pcdog.com)   从linux诞生的那一天起,就注定了它的网络功能空前地强大.所以在linux系统中如何配置网络,使其高效,安全的工作就显得十分重要

wangshh 2011-11-18   627   0
Linux  
P36

  Cacti 网络监控工具完全指南 文档

cacti是用php语言实现的一个软件,它的主要功能是用snmp服务获取数据,然后用rrdtool储存和更新数据,当用户需要查看数据的时候用rrdtool生成图表呈现给用户。因此,snmp和rrdtool是cacti的关键。Snmp关系着数据的收集,rrdtool关系着数据存储和图表的生成。

popo_0000 2012-02-18   3685   0
P10

  安装 Smokeping 网络监控平台 文档

一、初始化安装centos6.2 这里不用多说了,选择最小化安装即可!确保系统有安装了yum工具和网络能通就可以!   二、准备工作 1、请先暂时关闭iptables以及selinux刨除其他影响 1)关闭selinux

lkl1111bb1 2014-06-03   2359   0
P15

  bp神经网络例二(分类) 文档

这是一个三类问题,为了验证算法的性能,用每类的前25个数据(共75)作为训练样本,用BP神经网络进行建模,并对剩下的样本用该网络进行判别。 训练样本如下: 5.1 3.5 1.4 0.2 1 6.7 3.1 4

zy0310 2017-02-08   749   0
P12

  构建分布式办公网络 文档

地址注册消耗和保证未经验证访问不进入网络。NAT 将私有IP 翻译成外部的、公有的IP 地址。因为你可以使用未注册的内部IP 并将他们转换成少量的公有IP 用于连接外部网络,例如Internet,这样可以节省IP

流年天涯 2016-12-08   502   0
P16

  C++网络编程学习笔记(ACE) 文档

面向对象中间件体系结构 a) 主机基础设施中间件:封装socket,线程等不同主机的实现,形成统一的接口。如java,ACE b) 分布式中间件:连接管理,内存管理,整编,解编,端点和请求的多路分离,同步,多线程

openanran 2013-01-15   2662   0
P

Linux 程序设计入门--网络编程 文档

Linux下C语言编程基础知识 前言: 这篇文章介绍在LINUX下进行C语言编程所需要的基础知识.在这篇文章当中,我们将会学到以下内容: 源程序编译;Makefile的编写 ;程序库的链接 ;程序的调试 ;头文件和系统求助

openanran 2013-01-15   3297   0
Linux  

python获取网络时间和本地时间 代码段

今天我们来看一下如何用python获取网络时间和本地时间,直接上代码吧,代码中都有注释。python获取网络时间获取网络时间 def getBeijinTi... 今天我们来看一下如何用python获取网络时间和本地时间,直接上代码吧,代码中都有注释。

dfee 2015-01-18   3651   0
Python  

Android处理网络和图片的工具类 代码段

1:网络的底层环境 采用apache 的httpClient 链接池框架 2:图片缓存采用基于LRU 的算法 3:网络接口采用监听者模式 4 包含图片的OOM 处理(及时回收处理技术的应用)

jopen 2015-01-19   11308   2
Android  

Android中判断网络功能是否可用 代码段

/** * 判断网络功能是否可用 * 需要权限< uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"> * @param

c6b4 2015-01-19   1036   0
Android  

Android判断是否为Wifi网络 代码段

private static boolean isWifi(Context context) { ConnectivityManager connectivityManager =(ConnectivityManager) context .getSystemService(Context.CONNECTIVITY_SERVICE); NetworkInfo activeNetworkInfo =

pxdb 2015-02-14   1022   0
Android  

IOS开发—网络监听 代码段

网络监听用到的类为Reachability.h,这个Xcode项目里面是不自带的,需要从github上面下载,在使用的时候记着导入SystemConfiguration.framework。 首先是在AppDelegate

cd33 2015-03-28   12340   0
IOS  

Android网络图片缓存 代码段

获取一张图片,从三个地方进行获取,首先是内存缓存,然后是文件缓存,最后才从网络中获取。 //内存缓存 public class ImageMemoryCache { /** * 从内存读取数据速度是最

xg48 2015-04-11   2906   1
Android  

python scrapy 网络采集使用代理的方法 代码段

1.在Scrapy工程下新建“middlewares.py” # Importing base64 library because we'll need it ONLY in case if the proxy we are going to use requires authentication import base64 # Start your middleware class class

mn6e 2015-05-24   2492   0
Python  
1 2 3 4 5 6 7 8 9 10