Python使用 MongoDB 存储爬虫数据 代码段

现在在做一个简单的搜索引擎,使用今日头条的新闻数据作为数据源。这些数据都是非结构性的,比较适合用 MongoDB 来进行存储。 以下为简单使用的示例。 #!/usr/bin/python # -*- coding:utf-8

码头工人 2016-01-08   2060   0
Python  

如何使用 Python 开始游戏开发 经验

这是一篇由教程团队成员 Julian Meyer 发表的文章 ,一个12岁的python开发人员。你可以在 Google+ 和 Twitter 上 找到他 。 你可曾想过如何创建视频游戏吗?它不像你想象的那么复杂!

jopen 2013-08-09   77985   0

使用 C/C++ 扩展 Python 经验

前期的网页抽取算法使用C++开发,为了提升代码复用,减少维护成本,项目中决定封装成Python扩展方便Python使用Python与C/C++互操作有很多方案:Python C API, swig

jopen 2014-11-02   30946   0

使用nose 进行Python项目的自动化测试 经验

一、为什么使用nose? 编写测试更容易。 nose可以自动识别继承于unittest.TestCase的测试单元,并执行测试,而且,nose也可以测试非继承于unittest.TestCase的测试

RamiroGuest 2016-01-21   61985   0

浅谈python使用C/C++:ctypes 经验

前言 python 这门语言,凭借着其极高的易学易用易读性和丰富的扩展带来的学习友好性和项目友好性,近年来迅速成为了越来越多的人们的首选。然而一旦拿python与传统的编程语言(C/C++)如来比

MamieEads 2016-11-02   35071   0

Python标准库之collections使用教程 经验

引言 Python为我们提供了4种基本的数据结构:list, tuple, dict, set,但是在处理数据量较大的情形的时候,这4种数据结构就明显过于单一了,比如list作为单向链表在某些情形

markchang 2017-01-05   11746   0

使用Python和Pandas分析Pronto CycleShare数据 经验

这是一篇非常不错的pandas 分析入门文章,在此简单翻译摘录如下。 本周,西雅图的自行车共享系统 Pronto CycleShare 一周岁了。 为了庆祝这一点,Pronto 提供了从第一年的数据缓存,并宣布了

demond123 2017-02-20   19371   0

使用python进行简单的文本处理 代码段

utf8的处理 字符串的基本操作 dict的基本操作 list(数组)的基本操作 #!/usr/bin/python #print "Hello World" str_seperator = "========

opecode 2014-12-28   2768   0
Python  

使用Python绘制热图的库 pyHeatMap 经验

这是一个生成热图的小程序,基于 Python 和 PIL 开发。 程序截图: 点击图 热图 安装: 通过 pip 安装: pip install pyheatmap 通过 easy_install

jopen 2012-09-19   86619   0

python sqlite3使用详解 经验

Python SQLITE数据库是一款非常小巧的嵌入式开源数据库软件,也就是说没有独立的维护进程,所有的维护都来自于程序本身。它使用一个文件存储整个数据库,操 作十分方便。它的最大优点是使用方便,功能

jopen 2014-11-02   25218   0

使用python进行汉语分词 经验

目前我常常使用的分词有结巴分词、NLPIR分词等等 最近是在使用结巴分词,稍微做一下推荐,还是蛮好用的。 一、结巴分词简介 利用结巴分词进行中文分词,基本实现原理有三: 基于Trie树

wcwx 2015-01-04   16288   0

使用eclipse搭建Python开发环境 经验

尝试了很多IDE,决定使用eclipse+PyDev的组合。记录自己的配置。 一、准备 1. eclipse下载: http://www.eclipse.org/downloads/ 2.

g6d7 2015-01-03   15269   0

使用Python开发windows桌面程序 经验

#打包发布工具,将python写的windows程序或控制台程序直接打包成exe可执行文件,供用户使用 上述三个软件都是基于python2.6的,软件版本一定要配套,因为他们默认的安装路径和python版本有关系,否则会找不到相关库的存在。

nf456 2015-01-05   23815   0

使用Java调用Python服务器RPC 经验

使用Java调用Python服务器RPC,附带Python建立RPC服务器或客户端的通用库 #先上一个整体的Python代码,它可以作为Python建立RPC服务器或客户端的通用库 #test_rpc

jopen 2015-05-20   32789   0

使用Python解析nginx日志文件 经验

ID-ID-YYMMDD-hhmmss 并且所有的日志文件存放在统一路径下。 解决思路 获取所有日志文件 path 这里使用Python的 glob 模块来获取日志文件path import glob def readfile(path):

wr1013 2016-04-07   12587   0

学会在Python使用collections的集合类 经验

前言 Python为我们提供了4种基本的数据结构:list, tuple, dict, set,但是在处理数据量较大的情形的时候,这4种数据结构就明显过于单一了,比如list是一个作为单向链表在某

ty211369 2016-12-10   13123   0

GWPY:发现引力波的机构使用Python 资讯

很大,科学家如何对这些数据进行分析?有没有用到Python编程语言? 答案是肯定的。笔者在Github上发现了一个专门用于分析引力波数据的Python包: GWPY 。据维护者介绍,GWPY的代码

jopen 2016-02-12   25383   0
Python  

如何使用 Python 访问 Java 类 经验

很高兴给大家介绍一个 Pyjnius 项目。这是一个可以使用在桌面或Android上,用来访问Java类的Python库。 源代码: github.com/kivy/pyjnius 文档: pyjnius

openkk 2012-08-26   32257   0

python爬虫之Scrapy 使用代理配置 经验

在爬取网站内容的时候,最常遇到的问题是:网站对IP有限制,会有防抓取功能,最好的办法就是IP轮换抓取(加代理)下面来说一下Scrapy如何配

nf456 2015-01-06   32018   0

如何在vim中使用tab进行python代码补全 经验

Vim 中实现 TAB 代码补全, 可以补全的内容包括:标准的、自定义的,以及第三方模块和包。外加关键字、BIFs,和字符串。 Pydiction 由 3 个主要文件构成: python_pydiction

jopen 2015-01-11   20634   0
1 2 3 4 5 6 7 8 9 10