9:00 AM,你的老板突然冲进办公室,说:“市场希望我们的网站能够做一个新的花式登录框。只需要提供用户名和密码字段成不?也许加上恢复链接也成。时间应该不用超过两天。哦,我得走了,赶紧的!”
我从事数据分析工作已经有十年之久。最初是出于工作需要,我的经理给我一堆数据,我需要处理这些数据。当时我一直使用的工具是 Excel,因为这是我熟练掌握的一款工具。三年前,我开始接触到 R,一开始因为功
一种可作为身份识别的“指纹”,通过分析编程风格, 匿名程序员能被识破身份 。来自Drexel大学、普林斯顿大学和哥廷根大学的研究人员发表了一篇 论文 (PDF),分析了一个250名程序员的数据集,每位
(incubating) 正式发布。Apache Kylin是一个分布式分析引擎,在Hadoop之上提供SQL接口及OLAP在线多维分析以支持超大规模数据集。 该版本带来了更加稳定,可靠及更好管理
Lens 提供了一个统一数据分析接口。通过提供一个跨多个数据存储的单一视图来实现数据分析任务切分,同时优化了执行的环境。无缝的集成 Hadoop 实现类似传统数据仓库的功能。 该项目主要特性:
能够并行处理庞大的数据集。 Apache还提供了另外的开源软件,可以在Hadoop上运行,比如分析引擎Spark(它也能独立运行)和编程语言Pig。 Hadoop 之所以广受欢迎,就是因为它为
数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢?虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构、成本、可伸缩性和性能,很少考虑另一个关键因素:
Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
应用通过log4j输出日志到mongodb数 据库中,闪电狗定时运行脚本分析日志,生成监控曲线和告警。主要优点是不影响业务代码,只需加入几个jar包和修改log4j配置文件就能接入。配置一些 java
最近,用到了google-perftool分析程序的内存和CPU的使用情况,总结一下使用的一些方法和体会,分享给有需要的朋友。首先,说说google-perftool,它是由google开发的用来分析C/C++程序性能的一
两种。前者一般用来分析内核相关的问题,比如驱动程序;后者一般用来分析用户态程序的问题。 一般的程序员可能接触不到dump文件,反而是运维会用的多一些。 不过如果你抗战在第一线,学会dump的分析无疑是掌握一柄利器。
VisIt 是一种交互式并行可视化访问和图形的分析工具,用来查看科学数据。用户可以从他们能快速生成可视化数据,随着时间而动态显示,操纵他们,保存用来展现的结 果图像。Visit含有丰富套可视化功能,以
可以通过检查table_locks_waited和table_locks_immediate状态变量来分析系统上的表锁定争夺: mysql> show status like ‘table%’;
mvc-mini-profiler 是一个为 ASP.NET MVC 编写的小型的性能分析工具。 项目主页: http://www.open-open.com/lib/view/home/1330420460108
就定义了 redis 所使用的哈希结构,在这篇文章中,我们将对 dict.c 和 dict.h 进行注解和分析,籍此加深对 redis 的理解。 数据结构概览 dict.h 中定义了被 dict.c 的程序所使用的几个数据结构,如
本文对常用的web/http分析调试工具进行分析比较。 1. Firebug Net Firebug是Firefox的一个插件,是Web开发必备工具之一,它自带了一个网络调试工具,它可以捕获所有的
Countly是一个实时、开源移动App统计分析系统,可用于收集来自移动电话的数据,并以可视化的形式进行展示,从而可以了解移动App的使用情况和终端用户的行为。 它由三部分组成:Countly
pgRouting扩展PostGIS/ PostgreSQL地理空间数据库,提供地理信息的路由功能(路径分析)。 数据库路由方法的优点是: Data and attributes can be modified
Analyzer 在线轻量Pcap流量文件分析工具 Web PCAP Storage and Analytic Tool Features 轻量,易读.但不适合大数据包分析.(可以基于此改进) 上传,存储
保留,但是查找的效率会下降,查找的时间复杂度会从O(1)上升到O(logN)。 通过以上的分析可以看到,列表对象的实现相比有序集合对象的实现要简单的多,没有那么多乱七八糟的事情。所以,有序集合会比列表占用更多的内存。