- 博客(11)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 Hadoop平台优化综述
转载自董的博客本文链接地址: http://dongxicheng.org/mapreduce/hadoop-optimization-0/1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用
2011-05-20 17:45:00
1802
原创 TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
通过Hadoop自带的Terasort排序程序，测试不同的map task和reduce task数量，对Hadoop性能的影响。 实验数据由程序中的teragen程序生成，数据量为1GB和10GB。
2011-05-19 14:40:00
5715
2
转载 Hadoop Job Tuning
Hadoop平台已经成为了大多数公司的分布式数据处理平台，随着数据规模的越来越大，对集群的压力也越来越大，集群的每个节点负担自然就会加重，而且集群内部的网络带宽有限，数据交换吞吐量也在面临考验，由此引发了人们对大规模数据处理进行优化的思考。本文仅从实践经验出发，针对Hadoop Job优化提出了一些观点，不包含HDFS的优化。
2011-05-18 10:57:00
1799
原创 Hadoop参数性能调优(二)--Map and Reduce tasks 数量
Map and Reduce tasks 数量对性能的影响
2011-05-18 10:20:00
11439
1
原创 Hadoop参数性能调优(一)--总述
根据yahoo架构师Milind Bhandarkar在《Hadoop Application Performance Tuning》中的阐述，Hadoop的性能调优主要分为以下六个方面：
2011-05-18 09:46:00
2049
转载 Ubuntu开启root用户及其它登录问题的解决
<br />转自：http://os.51cto.com/art/200709/56719.htm<br />Ubuntu安装后，root用户默认是被锁定了的，不允许登录，也不允许“su”到 root。有人说这是个不好的实践，特别是对于服务器来说。我觉得对于桌面用户来说，这样安全性更高一些，是应该的；但对于服务器可以设置成“允许 su 到root，但不允许root用户直接登录”。而我为了开发时的方便，则在桌面和服务器上都采用这种方式。 <br />◆允许 su 到 root<br />非常简单，下面
2011-05-13 17:37:00
1248
转载 陈皓--再谈“我是怎么招聘程序员的”（下）
<br />http://coolshell.cn/articles/4490.html<br /> <br /><br />在上篇中，我们说到了一些认识人的方法（操作，知识，经验，能力），还有一些面试的方法（算法题，实际生产活动中的挑战），下面我们来说说，面试的风格，还有一些点评。<br />把应聘者当成你的同事<br />有些公司的面试官，在面试过程中问你一个算法题，然后等着你解答了，如果你给出一个答案，然后就会问你有没有更好的答案，如果你给出了正确的答案，他们就会问你一个更难的问题，如此循环下去。他们
2011-05-07 00:08:00
2363
转载 陈皓--再谈“我是怎么招聘程序员的”（上）
<br /> <br />转自http://coolshell.cn/articles/4506.html<br /> <br />我以前写过一篇“我是怎么招聘程序员的”的文章（在CSDN那里有很多人进行了回复）。今天，我想再谈谈关于招聘和面试这方面的东西，主要是以下这些原因：近半年来我在进行了大量的招聘工作，对面试有一些新的体会。酷壳最近发布了几篇趣味面试题（面试题一，面试题二，面试题三），从回复中让我有一些思考。我有一个同事最近面试了一家公司，他和我分享了一个博士专家对他的面试，也让我思考了一些。在豆瓣
2011-05-07 00:07:00
1441
转载 陈皓--对程序员职业的一些建议
<br /><br />转自酷壳http://coolshell.cn/articles/4561.html<br /> <br />自从四年前被CSDN采访后（“职业规化就像软件工程”），经常会有网友（尤其是刚毕业的）写邮件来问我一些程序员职业生涯的一些问题，至到今天。比如，国企还是外企的选择，一直编程有没有前途等等问题。面对这样的邮件，我感到有很大的压力，因为如果我的回复很有可能会误人一生，但我另一方面又很想帮助这些人。所以，我基本上还是会尝试回一下这样的邮件。昨天，我又回了一封。但是我心里还是有点忐忑
2011-05-07 00:02:00
756
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人