Hive SQL 编译过程详解 经验

Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。

jopen 2014-05-20   175952   0
P45

  solr教案 文档

一个solr工程对外通过SorlCore 提供服务,每个SolrCore相当于一个数据库,这个功能就相当于一个mysql可以运行多个数据库。 2. 将索引数据分SolrCore存储,方便对索引数据管理维护。 3. S

wowwilliam 2016-12-27   969   0
P26

  Hive and Hbase入门 文档

其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。     Hive主要分为以下几个部分:     1.用户接口         用户

hywhyw1985 2013-05-24   3884   0

大数据架构和模式(二) - 如何知道一个大数据解决方案是否适合您的组织 经验

那里听到的一些典型问题: 如果我使用大数据技术,可能会获得何种洞察和 业务价值? 它是否可以扩充我 现有的数据仓库? 我如何评估 扩展当前环境 或采用新解决方案的成本? 对我现有的 IT 治理 有何影响? 我能否 以增量方式实现 大数据解决方案?

jopen 2015-02-01   29764   0

清风:豆瓣神组小组长,日式萌神程序员 资讯

Group 聚会上,听阿北介绍过豆瓣的技术架构,豆瓣是国内第一家,也是惟一一家大规模用 Python 搭建主体业务的公司,我希望能在 Python 上钻得更深入。加入豆瓣时,我刚好是它的第 36 名员工。

jopen 2014-08-04   19245   0
P19

  wampserver基础 文档

WordPress运行环境 · PHP 5.2.4 或更新版本(不支持第三方推出的“PHP 6.0”) · MySQL 5.0 或更新版本 · Apache mod_rewrite 模块(可选,用于支持“固定链接”和“站点网络”功能)

wu443 2015-07-12   1982   0
P12

  Windows下入侵检测环境构建 文档

2003系统的虚拟机。 2.1.2 软件 (1)AppServ: 可快速建立Apache+PHP+MySQL+phpMyAdmin的运行环境,AppServ 2.5.10从http://www.appservnetwork

ayona333 2012-05-18   2884   0
P13

  数据挖掘9章10章 文档

数据挖掘系统产品和研究原型怎样选择一个数据挖掘系统 数据类型;系统问题;数据源;数据挖掘的功能和方法;数据挖掘系统和数据仓库系统的结合;可伸缩性;可视化工具;数据挖掘查询语言和图形用户接口。 商用数据挖掘系统的例子 Intelligent

kcde 2015-12-12   2407   0

Hive代码组织及架构简单介绍 经验

MetaStore(trunk/metastore)     此组件是hive的元数据服务器,用来存放数据仓库中所有表和分区的信息,hive元数据建表sql、升级sql脚本都存放在此目录下。 Query

jopen 2013-11-10   23699   0

2014 年八大最热门的大数据工作 资讯

人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道,从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要。 ETL软件行业相对成熟,相关岗位的工作生命周期比较长,通常由内部员工和外

jopen 2014-01-16   13983   0
P87

  数据挖掘算法 文档

Databases)或知识发现,它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识的非平凡过程,它与数据仓库有着密切的联系。 (3)广义的数据挖掘是指知识发现的全过程;狭义的数据挖掘是指统计分析、机器学习

lchwead 2013-05-30   3910   0
数据挖掘   HTML   XML  
P87

  数据挖掘算法 文档

Databases)或知识发现,它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识的非平凡过程,它与数据仓库有着密切的联系。 (3)广义的数据挖掘是指知识发现的全过程;狭义的数据挖掘是指统计分析、机器学习

cameron6 2011-08-14   702   0
数据挖掘   HTML   XML  

即使不当码农,你也要知道的15种编程语言 资讯

现代网站离不开JavaScript。如果你想为你的网站创造互动,或者用时下流行的JavaScript框架搭建一个用户界面,那么JavaScript是最佳选择。 3.C# C#是Windows开发环境

jopen 2015-02-04   25957   0
码农  

承载千万级并发的分布式系统架构设计思想 经验

又是一台软件负载均衡服务器,转发给内部局域网的多台服务器,最终接入web系统。 一般来说,一台搭建有Nginx/LVS/HAProxy 的软件负载均衡服务器,支撑的并发数在5万以内(理论最高值),正常在一半(2

saintmyi0 2016-02-22   43672   0

9 个重量级的云计算(PaaS)平台 资讯

或者企业基于PaaS平台可以快速开发自己所需要的应用和产品。同 时,PaaS平台开发的应用能更好地搭建基于SOA架构的企业应用。PaaS作为一个完整的开发服务,提供了从开发工具、中间件,到数据库软件等开发者构

fmms 2012-05-14   18645   0
PaaS  

解密IFTTT的数据架构 资讯

的信息关联。例如,IFTTT可 以把指定号码发送的短信自动转发邮箱等。为了实现这些功能,IFTTT搭建了高性能的数据架构。近期, IFTTT的工程师Anuj Goyal 对数据架构的概况进行了介绍,并分享了在操作数据时的一些经验和教训。

jopen 2015-11-12   15511   0
架构  

MongoDB单机, 主从, 分布式部署 经验

MongoDB是最易用的NoSQL,比较适合取代MySQL做一些存储,不过不是强一致性的。本文介绍一下MongoDB各种部署方式,并分享一些感受。前两部分“单机部署”和“主从部署”是“分片部署”的基础。

jopen 2014-05-20   120810   0
P4

  软件测试工程师简历模板 文档

计算,包括“添加、查找、删除、修改员工信息、计算员工薪水、生成报表”等功能模块。   责任描述: 搭建 windows测试环境; 编写测试用例,执行测试用例; 根据提供的需求分析,对 windows版

you_yaoyao 2012-02-09   781   0

Android项目流程、设计原则、编码规范、技术特点和过时技术 经验

Android开发技术周报: http://www.androidweekly.cn (1)开发环境搭建:如租用云主机,安装Linux、MySQL、Tomcat、Android Studio等 (2)数据库建表 (3)服务器端编程

loopaw00 2017-02-19   24919   0

Linux 的成功源自社区,而非技术 资讯

的技术就差。如果 Linux 技术真的差,那也不会像今天这样成功。正如 Oracle 的 Linux、MySQL、虚拟化以及开源产品市场的高级总监 Monica Kumar 说 的“没有优越的技术,高端的社区也不会围绕在

jopen 2014-02-26   5691   0
Linux  
1 2 3 4 5 6 7 8 9 10