100 亿数据 1 万属性数据架构设计 经验

本篇将讲述一下 58 同城最核心的数据“帖子”的架构实现技术细节,说明不仅不是“不可能这么用”,而是大数据,可变属性,高吞吐场景下的“常用手段”。 一、背景描述及业务介绍 问:什么是数据库扩展的 version

DerNaquin 2017-01-19   11236   0

菜鸟也能玩转大数据:Airbnb开源Presto数据库SQL工具 资讯

Airpal ,使普通员工也能够用Hadoop系统分析大数据。 Airpal是Airbnb一年前就已经开发并使用的Presto数据查询工具,通过Airpal的设计宗旨是降低数据查询门槛,通过可视化界面等使

jopen 2015-03-10   19193   0
Airbnb  

指点迷津的现代数据数据架构之道 资讯

本文评析了现代数据架构所需要的几个部分。 鉴于许多企业组织在竭力采用易于使用的数据分析技术让大数据广泛可用,它们应考虑将部分功能外包到云端。如果选择一种大数据即服务解决方案,可以处理像Hado

jopen 2016-03-09   4973   0

为个人提供数据挖掘服务的开源应用ThinkUp:让数据有你的故事 资讯

ThinkUp 是个消费级别的数据挖掘应用,它为普通的个人提供科技和市场营销公司常做的数据解析服务。只不过 ThinkUp 在理念上更尊重用户的利益,更注重通过社交网络数据的解读让用户进一步的发现自己。打通

jopen 2013-10-16   8782   0
ThinkUp  
P4

  Flex数据类型和Java数据类型对应关系 文档

 FLEX数据类型和JAVA数据类型对应关系 类型名   类型描述   Boolean   只有两个值:true 和false   Int   整数类型,取值范围:-2147483648~2147483647

kklion 2011-11-16   2236   0
P2

  Java数据类型和MySql数据类型对应表 文档

Java数据类型和MySql数据类型对应表 java mysql 数据类型对照 类型名称 显示长度 数据库类型 JAVA类型 JDBC类型索引(int) 描述 VARCHAR L+N VARCHAR

jilijelon 2014-06-29   447   0
P21

  途牛多数据中心分布式数据库同步 文档

(本页无文本内容) 2. 多机房分布式数据库同步谭俊青@途牛 mysqlab.net 3. 背景 南、北数据同步存在延时 南、北专线可能会意外中断 南、北业务都不能中断 本地读取数据一致性不能得到保证 灾备需要

byc2 2014-11-19   2879   0
P29

  oracle数据库性能优化实务第10讲数据文件io 文档

1. Oracle数据库性能优化实务 第9讲:数据文件IO主讲人:白鳝华章培训网、[www.hztraining.com]华章培训网版权所有 2. Oracle数据文件IO相关的因素存储系统 OS的相关配置

adt126 2014-01-16   495   0

SQL server数据库的数据恢复(来自实际案例和网上知识) 博客

SQL server 数据库的数据恢复(来自实际案例和网上知识) 1)Full Backup(全备份) 将用户设定的整个目录或文件全部备份。 2)Differential Incremental

honghu79 2012-05-09   3244   0

2015大数据峰会让你深度理解大数据的奥秘 问答

2015大数据峰会 2015大数据峰会汇聚不同的专业和背景的专家,教授,企业家。从而让我们聆听不同的声音。演讲包含企业和学术探讨。我们可以看到大数据在企业中的应用和切实的产品。从学术的角度可以领悟到将来的发展。

活动家becky 2015-08-25   11444   0

Postgresql数据库查询数据,可以忽略大小写吗? 问答

我记得mysql是忽略大小写,大小写无关的

gisos 2019-02-19   39765   0

雅虎如何在Hadoop集群上实现大规模分布式深度学习 资讯

过去十年中,雅虎在 Apache Hadoop 集群构建和扩展方面投入了很大的精力。目前,雅虎有 19 个 Hadoop 集群,其中包含 4 万多台服务器和超过 600PB 的存储。他们在这些集群上开发了大规模机器学习算法,将

vgtr 2015-10-27   15225   0
Hadoop  

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 经验

(WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 为了部署HA集群,应该准备以下事情: namenode服务器: 运行namenode的服务器应该有相同的硬件配置

jopen 2015-01-08   56311   0

呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性? 经验

Apache  hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近bla

zfb1226 2016-06-02   26655   0

百度的Hadoop分布式文件系统图解:4000节点集群 经验

百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点,超过10个的集 群,最大的集群规模在1000个节点以上。每个节点由8核CPU以及16G内存以及12TB硬盘组成,每天的数据生成量在3PB以上。规划当中的架构将有

openkk 2012-08-25   23315   0

最详细的hadoop2.2.0集群的HA高可靠的最简单配置 经验

简介 hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不

jopen 2014-01-26   107199   0

Hadoop老矣,为什么腾讯还要花精力在其开源发布上? 资讯

前些日子,腾讯主导开源大数据平台 Apache Hadoop 2.8.4 新版本发布的新闻引起了笔者的注意。自 Hadoop 从雅虎诞生之日起,已经走过了 10 来个年头,这期间,尤其是近年来,由华人作为

jopen 2018-07-11   15687   0
Hadoop   腾讯  

测试hadoop集群是否安装成功:网页监控页面和提交job运行 经验

1.hadoop2.6.0版本, 提交mapreduce程序 mkdir input cd input echo hello world >> file1 echo hello hadoop >> file2

RosCPG 2016-03-02   20889   0

专访王峰:Hadoop生态下一代计算引擎-streaming和batch的统一 资讯

编者按:Hadoop于2006年1月28日诞生,至今已有10年,它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。在2016年Ha

jopen 2016-03-02   33897   0
Hadoop  

Apache Knox v0.9.1发布,一个访问hadoop集群的restapi网关 资讯

Apache knox是一个访问hadoop集群的restapi网关,它为所有rest访问提供了一个简单的访问接口点,能完成3A认证(Authentication,Authorization,Auditing)和SSO(单点登录)等。

有容云 2016-08-04   12012   0
1 2 3 4 5 6 7 8 9 10