HDFS Federation在美团点评的应用与改进 经验

defaultFS的配置从hdfs://ns1/变为viewfs://ns/,将导致旧代码异常,通过对用户上万个源码的分析,常用的HDFS路径风格多样,包括hdfs:///user、hdfs://ns1/user、/user等,如果fs

juce7588 2017-04-11   36681   0

版本控制软件SourceAnywhere Standalone 的十大优势盘点 资讯

Standalone的独特技术可以减少对带宽的需求。可选的缓存服务器,可以进一步提高远程访问的性能和提高分布式开发团队的生产力。 防火墙友好性 SourceAnywhere Standalone具有防

panda456 2013-03-04   17568   0
P26

  个人博客 - 毕业设计 文档

要原则,针对网络基本情况及其当前业务状况,从其实际需求出发,利用“先逻辑,后物理”原则,经过详细的分析,设计出新系统的基本模型,最后通过编制程序完成系统实施,对于每一阶段的工作成果都用明确的文字和标准

WJWW123 2013-04-08   9905   0
Java   PHP   SQL  

zookeeper简介 经验

采用Zookeeper完全可以解决我们的问题,分布式计算中的协调员,观察者,分布式锁  都可以作为zookeeper的关键词,在系统中利用Zookeeper来处理事件通知,队列,优先队列,锁,共享锁等功能,利用这些特色在分布式计算中发挥重要的作用。

jopen 2014-11-08   606829   0
P60

  开源的SaaS解决方案_0.9 文档

架构关注内容1.数据存储区域2.数据访问区域3.缓存区域4.应用服务服务区域5.Web服务器区域6.分布式文件区域7.MQ消息队列区域8. 负载均衡区域9. 其它技术 14. 数据存储的挑战SaaS数据存

xrogzu 2015-11-13   731   0
方案   Apache   HTTP   Java   Go  
P31

  Hadoop的体系结构 文档

Hadoop的核心及结构(非常重要)HDFS: Hadoop Distributed File System 分布式文件系统 Map-Reduce 完成分布式计算 YARN: Yet Another Resource Negotiator

x7430657 2016-07-18   502   0

大数据处理的开发经验 资讯

Hadoop,一个允许对大数据集进行分布式处理的框架,可能是这些工具中最为人熟知的一个了。除了提供强大的 MapReduce 实现和可靠的分布式文件系统——Hadoop 分布式文件系统(HDFS)——之外,也有一个大数据工具的生态系统构建在

jopen 2014-04-13   13945   0

Hadoop生态图谱 博客

数据抓取系统 - Nutch 海量数据怎么存,当然是用分布式文件系统 - HDFS 数据怎么用呢,分析,处理 MapReduce框架,让你编写代码来实现对大数据的分析工作 非结构化数据(日志)收集处理 - fuse

ppucd 2012-10-12   1495   0
lamp  

Spark学习笔记之浅释 经验

概述: Spark是一个基于内存计算的开源集群计算系统,目的是让数据分析更加快速。 Spark非常小巧玲珑,由加州伯克利大学AMP实验室的小团队开发。使用的语言 是Scala,项目的cor

jopen 2015-06-20   13091   0

web系统性能方案全面总结 经验

ab或者siege工具) 4. 动态内容缓存(文件缓存,APC缓存,扩展k/v缓存) 5. 静态化动态内容 6. 分布式缓存(memcache, redis) 7. opcode编译缓存(APC, xcache) 8.

jopen 2013-04-21   17395   0

redis-migration:独创的redis在线数据迁移工具 经验

这样的话,源redis实例即使是分布式集群(多个源redis实例),也只需要同时启动多个迁移工具实例就能解决了,如下: 调研过程 定下开发迁移工具后,调研了如下的对象: redis-benchmark多客户端并发;

CarrieN40 2016-03-03   65592   0

数据工程师必知算法:蓄水池抽样 资讯

当面对这样一个问题的时候, 我们首先应该做的是:镇静。 你的面试官并没有玩你,相反他可能特别想雇你。他可能正在为无尽的分析请求烦恼,他的 ETL 流水线已经不在工作,已有的机器学习模型也不再适合。他正想要你这样一个聪明人进来帮忙,他希望你答出来。

jopen 2013-07-04   26864   0
算法  

成为专业程序员路上用到的各种优秀资料、神器及框架 经验

软件随想录 计算机程序设计艺术 职业篇:程序员的自我修养,程序员修炼之道,高效能程序员的修炼 《精神分析引论》弗洛伊德 《失控》《科技想要什么》《技术元素》凯文凯利 程序开发心理学 天地一沙鸥 搞定:无压力工作的艺术

ymquan1987 2017-03-09   38211   0
P12

  Spark 核心技术剖析 文档

Lustre Page 4RDD Resilient Distributed Dataset 弹性分布式数据集 5. Spark RDD Page 5 6. How Spark Work Page 6 7

xcn4 2014-11-29   472   0
P68

  OOSE软件工程参考手册 文档

完成了内容的初步编写,但是市场调研、知识体系介绍、课程体系设置定还需要完善。 分发记录 分发次数 持有者和角色 分发日期 1 北软教育 2005-9-9 目 录 目 录 3 1.1 业务规划 8 1.2 分析用例建模 20

jelly0812 2011-12-27   2432   0
手册  
P28

  基于协同过滤的商品推荐引擎 文档

HDFSDatax报表需求Hbase即席查询(adhoc)数据分析数据产品底层平台数据开发平台数据应用商品推荐引擎并行挖掘Logdata 解析 SDC 插码分析 WEB LOG 分析 syslog 10. 二、底层平台-Hadoop/mapreduce

hellokitty 2013-01-18   868   0
方案   Apache   HTTP   SQL   Go  
P75

  第7章 企业架构之架构建模 文档

架构建模方法总论 业务架构建模方法 数据架构建模方法 应用架构建模方法 技术架构设计方法 3. 培训目的能力提升 分析能力提升 规划能力提升 技术管理 统一规划方法指导 统一架构表述模式 业界发展 对未来规划逐步重视

wz_316 2017-03-01   974   0

0x0F 大数据职位,数据场技能(下) 经验

com/p/5b0b881ae46d 摘要:成为数据极客,建立自己的数据场需要哪些技能呢?遇到普通的数据,通过SQL做分析。如果数据量比较大,可以使用Hadoop等大数据框架处理。在深入挖掘上,可用Python或者R语言进行编程。

ersm3365 2016-01-29   41293   0

单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构 经验

SQL审核,DDL审核和操作时间,尤其是OnlineDDL 高危操作检查,Drop前做好数据备份 权限控制和审计 日志分析,主要是指的MySQL慢日志和错误日志 高可用方案 数据备份方案 版本选择 MySQL社区版,用户群体最大

招聘啦!神州普惠——让你大展拳脚的平台 博客

C++ 系统分析师 ( 急招 ) 职位描述: 1 、负责完成项目的系统架构分析、原型设计及实现; 2 、分析用户的需求和约束条件,按标准规范编写系统分析和设计文档; 3 、负责

luomubaobao 2011-05-30   1155   0
1 2 3 4 5 6 7 8 9 10