Databircks连城:Spark SQL结构化数据分析 经验

824958 数据科学家们早已熟悉的R和Pandas等传统数据分析框架 虽然提供了直观易用的API,却局限于单机,无法覆盖分布式大数据场景。在Spark 1.3.0以Spark SQL原有的SchemaRDD为蓝本,引入了Spark

jopen 2015-06-18   24182   0

使用VisualVM对JAVA程序进行性能分析及调优 经验

运行效率下降,严重的则会造成系统崩溃。为了找出程序中隐藏的这些问题,在项目开发后期往往会使用性能分析工具来对应用程序的性能进行分析和优化。 VisualVM 是一款免费的性能分析工具。它通过 jvmstat、JMX、SA(Serviceability

jopen 2015-06-29   21538   0

利用 Python、SciKit 和文本分类来实现行为分析 经验

的特征。 对于从这些非结构化文本属性中提取有意义的东西而言,文本分析和其他自然语言处理(NLP)技术非常有帮助,而这对行为分析等任务又很有价值。 本 文将介绍如何使用文本分类来构建行为描述模型。文中将展示如何使用

jopen 2015-03-17   55128   0

数据挖掘的十种分析方法让你任性挑选 经验

科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式 识别等诸多方法来实现上述目标。 数据挖掘(Data Mining)的十种分析方法: 1、记忆基础推理法

cmb2 2015-03-18   20778   0

资源管理框架(mesos/YARN/coraca/Torca/Omega)分析 经验

1 资源调度的目标和价值 1.1 子系统高效调度 任务之间资源隔离,减少争抢。 任务分配调度时结合资源分配,各个任务分配合理的资源,充分利用系统资源,减少资源利用不充分的问题。 资源调度结合优先级,优先级高的分配更多的资源。

jopen 2015-03-13   23243   0

情感分析的新方法——基于Word2Vec/Doc2Vec/Python 经验

com/article/detail/48.html 情感分析是一种常见的自然语言处理(NLP)方法的应用,特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式,情感分析可以被视为 利用一些情感得分指标来量化定

jopen 2015-10-08   339563   0

JVM致命错误日志(hs_err_pid.log)分析 经验

当jvm出现致命错误时,会生成一个错误文件 hs_err_pid.log,其中包括了导致jvm crash的重要信息,可以通过分析该文件定位到导致crash的根源,从而改善以保证系统稳定。当出现crash时,该文件默认会生成到工

jopen 2015-08-30   31292   0
JVM   Java开发  

面向时间序列的实时分析型数据库DRUID 经验

DRUID是一个面向时间序列数据的实时分析型数据库。 系统设计目标: 快速的聚集和drill down能力。 任意维度组合查询希望在亚秒级返回。 多租户和高可用。 亚秒级data ingestion。

jopen 2015-07-27   28414   0
Druid  

ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台 经验

志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。 通常,日志被分散的储存不同的

jopen 2016-01-03   375614   0

腾讯分析系统架构解析 经验

TA (Tencent Analytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性、及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界的认可。本文将从实时数据处理、数据

jopen 2015-10-25   23115   0

Flume架构与源码分析-整体架构 经验

记供需要的朋友一起学习参考。 1、Flume介绍 Flume是cloudera公司开源的一款分布式、可靠地进行大量日志数据采集、聚合和并转移到存储中;通过事务机制提供了可靠的消息传输支持,自带负载

jopen 2015-12-03   21800   0
Flume  

深入分析Java的序列化与反序列化 经验

com/archives/1140 序列化是一种对象持久化的手段。普遍应用在网络传输、RMI等场景中。本文通过分析ArrayList的序列化来介绍Java序列化的相关内容。主要涉及到以下几个问题: 怎么实现Java的序列化

a69h731r 2016-02-03   11407   0
P9

  大型web网站架构深入分析_图片服务器分离 文档

提高网站的可扩展性-通过增加图片服务器,提高图片吞吐能力。 1.2 图片服务器的注意事项 1, 选择适合图片存储的物理介质和文件系统 2, 使用物理上独立的服务器 3, 如果拥有多台图片服务器,要考虑服务器之间的图片同步问题 4,

nhjuiyg 2014-03-27   10810   0
P4

  Openfire消息、监听、启动流程分析 文档

Openfire注册流程代码分析 一、客户端/服务端注册用户流程 经过主机连接消息确认后,客户端共发送俩条XML完成注册过程。服务器返回两条XML。 注:IQ消息节点用于处理用户的注册、好友、分组、获取在线用户列表等

yxmzhg 2013-03-25   22456   0
P13

  深入分析iBATIS框架之系统架构与映射原理 文档

深入分析 iBATIS 框架之系统架构与映射原理 许 令波 (xulingbo0201@163.com), Java 工程师, 淘宝网 许令波,就职于淘宝网,是一名 Java 开发工程师。对大型互联

xiaopenzi 2011-07-30   471   0
P8

  网上购物系统可行性分析报告 文档

订………………………………………………线………………………………………………… 网上购物系统可行性分析 一、可行性研究报告 一、可行性研究报告 1 1.引言 1 1.1编写目的 1 1.2定义 2 1

kikibox 2016-05-20   4845   0
P23

  Spring框架的设计理念与设计模式分析 文档

 Spring框架的设计理念与设计模式分析 摘要:Spring作为现在最优秀的框架之一,被广泛的使用并有很多对其分析的文章。本文将从另外一个视角试图剖析出Spring框架的作者设计Spring框架的

漂流幻境 2013-01-25   2957   0
P31

  SAP 中BI说明、分析、如何部署_很好的材料 文档

 SAP BI 全景说明、部署及系统分析 这是一份非常好的稳文档材料,希望大家下载学习了 目 录 一、商业管理信息系统的作用 1 二、SAP-B1的特点与优势 4 1、功能特点 4 2、优势 5 三、

fenix111 2013-01-28   571   0
SAP   ERP/CRM  
P21

  汇环云计算平台需求分析说明书 文档

 湖南拓维信息系统股份有限公司 汇环环保云平台 需求分析说明书 版本 < 1.0> 二〇一八二〇一八年十月 江苏汇环环保科技有限公司 < 项目名称> Version: < 1.0> 软件需求规约说明

cmjjsnt 2015-08-28   671   0
P13

  Android联系人模块分析参考文档 文档

 联系人功能分析 目录 1. 简介 3 2. 软件结构分析 3 2.1 Contacts模块 3 2.2 ContactsProvider模块 4 2.2.1 数据库创建 5 2.2.2 数据库操作

javaboy_lgl 2013-02-27   8191   0
1 2 3 4 5 6 7 8 9 10