十八款Hadoop工具帮你驯服大数据 资讯

Hadoop为本地数据存储与同步系统提供一套简化抽象机制,从而保证程序员能够将注意力集中在编写代码以实现数据分析工作上,其它工作交给 Hadoop处理即可。Hadoop会将任务加以拆分并设计执行规程。错误或者故

jopen 2015-03-17   24523   1
Hadoop  

十八款Hadoop工具帮你驯服大数据 经验

Hadoop为本地数据存储与同步系统提供一套简化抽象机制,从而保证程序员能够将注意力集中在编写代码以实现数据分析工作上,其它工作交给Hadoop 处理即可。Hadoop会将任务加以拆分并设计执行规程。错误或者故

jopen 2015-03-19   29675   0

日处理20亿数据,实时用户行为服务系统架构实践 经验

afka+Storm+Redis+MySQL+Tomcat+Spring的技术栈。 Java:目前公司内部Java化的氛围比较浓厚,并且Java有比较成熟的大数据组件 Kafka/Storm:Kafk

AleCrist 2017-04-26   44193   0

数据为王,如何通过数据挖掘为运维增值升值? 经验

来挖掘运维价值的例子,因为和本文主题相关,所以也推荐给读者,这两个例子分别是关于运维人力价值和故障分析价值。 除了上述两个例子以外,怎样利用数据来提供运维团队的增值服务,本文通过几个实战例子来描述说明。

myie4925 2018-01-30   24510   0

系统研究Airbnb开源项目airflow 经验

airflow可以做到无限扩展. 竞品: airflow并不是data streaming方案, 所以不是Spark Streaming/Storm的竞品. 和airflow类似的有: Apache Oozie

jopen 2016-01-05   63808   0

Java程序员须知的七个日志管理工具 资讯

GrayLog vs. Loggly vs. PaperTrails vs. Splunk>Storm 英文原文: The 7 Log Management Tools You Need To Know

jopen 2014-07-14   17081   0
Java  

为什么Python发展得如此之快? 资讯

的数据,理解具体是哪些方面的 Python 应用在增长,以及在什么样的公司和组织中 Python 用得最多。 分析得出了两个结论。首先,对 Python 的使用发展得最快的主要有以下几个领域:数据科学、机器学习和学术研究。这一点从

jopen 2017-10-19   29546   0
Python  

技术女神的自我奋斗 资讯

广告投放实时竞价及决策引擎;构建了具有处理 PB 级数据能力的计算框架;领导推出了聚效广告平台、聚合分析,以及聚品广告解决方案三大产品。此外,她还一手搭建了 MediaV 的技术和产品团队,推行产品设计

jopen 2015-09-20   20983   0
P4

  ★软件项目组织架构、开发流程及文档 文档

软件开发施工图 一、项目组织架构 A 项目经理 负责分析、设计和协调工作。随时监控各开发人员的工作,包括内容是否与要求发生偏差,进度是否滞后等等,同时给每个开发人员明确的任务书。 在项目周期内项目经

ralphone 2015-01-26   693   0

年度最佳硬件、软件、开发工具和云服务 资讯

如果你说2015年是容器元年,那也不算错。不过,2015年也是其他技术大放异彩的大好年头:分布式计算、内存分析、机器学习、平台即服务、实时应用程序、单页应用程序、低代码移动开发、软件定义网络,这样你才算了解全貌。

jopen 2016-01-22   63864   0

Android的版本历史与比较(Android 0.9 至 Kitkat 4.4.4) 资讯

“Private browsing” System-wide Clipboard HTTP Live streaming 主要开发特性 : contextual action bar Fragments first

jopen 2014-08-19   31316   1
Android  

Flume+Kafka收集Docker容器内分布式日志应用实践 经验

应用,例如Docker等技术,越来越多的服务会部署在云端。通常,我们需要需要获取日志,来进行监控、分析、预测、统计等工作,但是云端的服务不是物理的固定资源,日志获取的难度增加了,以往可以SSH登陆的或

NadineOzc 2016-05-16   45671   0
Flume   Kafka   Docker  

暴走漫画的Docker实践 经验

,PV大概是千万级别。为了更加有效地运营以及推荐用户个性化,2015年成立了数据部,负责暴漫的数据分析和数据挖掘相关服务。 暴漫没有自己的服务器,是使用的国内某云服务。暴漫的后端主要是基于Ru

jopen 2015-10-05   35557   0
Docker  

基于 Node.js 的声明式可监控爬虫网络 经验

反爬虫对抗:类似于淘宝这样的主流网站基本上都有反爬虫机制,它们会对于请求频次、请求地址、请求行为与目标的连贯性等多个维度进行分析,从而判断请求者是爬虫还是真实用户。我们常见的方式就是使用多 IP 或者多代理来避免同一源的频繁请求,或者可以借鉴

WerPicton 2017-04-19   21081   0

基于大数据的机器学习:Apache SystemML 在 IBM BigInsights 的实践 经验

算机可以根据以前学习的模式进行预测。例如,像亚马逊和 Netflix 这样的公司利用机器学习算法来分析客户的历史产品购买数据或他们观看过的电影。亚马逊然后可以向您推荐新产品,Netfix 可以推荐您可

dlb124 2017-06-14   46102   0
P26

  Hadoop实用指南 文档

所有文件都堆放在/root/CustomResult 未来计划采用Pig、Hive替代它UigsTools的现状和未来 19. Streaming HCE PigMapReduce进阶开发模式 20. 用法 完成Mapper/Reducer/主程序

yudian 2014-10-29   1898   0

SQLAlchemy 和其他的 ORM 框架 经验

] >>> a1 = addresses[0] >>> a1 == a True Storm Storm 是一个介于 单个或多个数据库与Python之间 映射对象的 Python ORM 。

jopen 2014-05-11   46433   0

Hive 1.0.0发布 资讯

下一个Hive主要版本0.15.0将会命名为1.1.0。我们最想要的Hive-on-Apache Spark 将会在Hive 1.1.0中发布,这个版本正在开发中。 Hive 1.0.0版本主要修改的Bug和提升请参见下面列表:

jopen 2015-02-06   14377   0
Hive  

Apache Mesos 0.23.0 发布,集群管理器 资讯

是一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行Hadoop、MPI、Hypertable、Spark。 特性: Fault-tolerant replicated master using

jopen 2015-08-01   7012   0
P34

  rtsp seek play 文档

Parameter § Terminology / Abbreviations The Real Time Streaming Protocol (RTSP) is a network protocol designed

myall1122 2016-11-14   2960   0
1 2 3 4 5 6 7 8 9 10