Spark的性能调优 经验

之四海而皆准的配置是不现实的。看这样几个例子:(1)实践中跑的EMR Spark job,有的特别,查看CPU利用率很低,我们就尝试减少每个executor占用CPU core的数量,增加并行的ex

jopen 2016-01-19   77909   0

Motan框架 - 轻量级 RPC 框架 经验

要自行决定后续处理逻辑。 MotanFrameworkException 框架异常,比如系统启动、关闭、服务暴露、服务注册等非请求情况下出现问题,Motan会抛出此类异常。 配置说明 协议与连接(motan:protocol)

vclhfrpql 2016-05-06   145202   0

配置高性能ElasticSearch搜索引擎集群的9个小贴士 经验

内存的可用额度。 内存交换有个缺点,跟内存比起来硬盘非常。内存的读写速度以纳秒来计算,而硬盘是以毫秒来计算,所以访问硬盘比访问内存要几万倍。交换次数越多,进程就越慢,所以应该不惜一切代价避免内存交换的发生。

Jenny87Y 2017-01-06   31320   0

AWS运维的一些经验 资讯

这个规则可能会随程序的变革而变化,最好做到自动化。 加机器要早,减机器要。负载开始增加时早作打算,因为中间有可能会产生新机器启动失败等问题,另外算上机器启动时间和服务到位的时间,早打算可以避免容量跟不上的问题;减机

jopen 2015-11-17   56053   0
AWS  

OkHttp源码解析——HTTP请求的逻辑流程 经验

请求报文,达到真正的建立连接,但是这些连接无法复用会导致每次请求都经历三次握手和启动。 正是由于TCP在建立连接的初期有 启动(slow start)的特性,所以连接的重用总是比新建连接性能要好 。

adora89l 2016-11-30   29789   0

MTDDL——美团点评分布式数据访问层中间件 经验

每个业务tag对应一条DB记录,DB MaxID字段记录当前该Tag已分配出去的最大ID值。 IDGenerator服务启动之初向DB申请一个号段,传入号段长度如 genStep = 10000,DB事务置 MaxID =

海淘平台架构实践 经验

费了九牛二虎之力,商品信息爬下来了;运营说,全都是英文的,日文的,他们现在的人力配置,翻译完需要到猴年马月。翻译,找百度翻译,谷歌翻译啊,So easy!结果程序一运行,发现翻译结果真垃圾啊,根本就不是在说人话,

slsbctc 2016-02-07   37461   0
P14

  大唐电信笔试题 文档

家的表比新闻里的时间慢了两分钟,则 。   A 手表和新闻里的时间一样   B 手表比新闻里的时间 C 手表比新闻里的时间快 b 7.王先生看到一则招聘启事,发现两个公司除了以下条件不同外,其他条件都相同

305790694 2014-03-28   381   0

2015年双11手机淘宝前端技术之H5性能最佳实践 经验

手淘中大量的业务采用H5的方式开发,H5体验好坏全面影响着手淘的使用体验。 今年手机淘宝在技术上重点解决“顿”,“卡”,“”的问题,并提出了“521法则” ,具体指: App内存节省50% 绘制帧率,滑动体验提升20%

jopen 2015-12-08   74036   0

android多线程断点续传下载 经验

能够指点一下: 使用HttpURLConnection 获取文件大小的时候,速度在4.x手机上非常,但是找了许多中文网站上的代码基本都没有解决,后来google一下,发现添加conn.setRequ

jopen 2016-01-12   14044   0

MySQL简单主从方案暴露问题 经验

Replicaion机制依靠MySQL服务的二进制日志同步数据: 如上图所示,Salve在启动后会建立一个和Master节点的网络连接,当Master节点的二进制日志发生变化后,一个或者多个MySQL

zsbzsb 2016-11-07   9527   0

如何从0开始 搭建应用监控架构? 经验

务系统里。尽管有一些代理会告诉我们到底问题是什么,比如由于一个或多个磁盘损坏而导致的I/O子系统缓,但很少有现成的代理可以帮助我们准确地诊断出应用的哪一部分出现了问题;又比如一个在成熟运行的业务所依

xz6846 2016-12-10   15508   0

[明察秋毫]以史为鉴 宁夏银行7月系统瘫痪解析 资讯

录像操作后,造 成生产数据库损坏并宕机。因宁夏银行应急恢复处置机制严重缺失,导致系统恢复工作进展缓,直至7月3日5点40分核心系统才恢复服务,业务系统中断长达 37小时40分钟,其间完全依靠手工办理业务。

jopen 2014-08-06   8434   0
系统  
P14

  MySQL SQL优化参考手册 文档

原因。 资料整理 /14 资料版权为MySQLpub 在此我们通过对MySQL的日志监控,找出主要的SQL语句运行的问题。然后对这些SQL进行优化。这里列出一些SQL语句优化的原则和方法,供参考。

xhj_2000119 2012-03-29   6664   0
P27

  在Redhat Enterprise 5上安装配置XEN[多图详解] 文档

Xen是一个基于虚拟硬件监控器技术的虚拟化软件。Xen运行在一个宿主linux系统上,提供同时引导启动多个linux实例的能力。每个由Xen生成的虚拟机,被称为domain。新创建的domain需要为

就是我啊 2012-08-25   2863   0
RedHat  

Windows 8怎么玩? 50个应用小技巧集锦 资讯

Windows 8各项功能的时候更为方便一些。 1、锁屏 启动之后,用户将首先看到 Windows 8的锁屏界面,每当系统启动、恢复或登录的时候,锁屏就会出现。如果您使用的是触摸屏设备,那么用

fmms 2012-03-01   10067   0

反射是否真的会让你的程序性能降低? 经验

都有,本质基本都说出来了,但是还是有很多人不理解,我这里就从我的角度再说一遍。 反射肯定比直接调用 这个毋庸置疑了,我这篇文章也不是证明反射有多高效的。 现在的快递哥很火,那我们就举个快递的

jopen 2014-12-07   15887   0

开发者,速度远比你以为的重要 资讯

更糟的是,因为写博客的进度,就更不愿坚持。因为学习一件事最好的方法就是一次又一次重复,而这件事情时间周期太长了。 这也就是 todo list 通常完成这么的原因:我们会对其产生莫名的讨厌

jopen 2015-11-05   3945   0

Petya勒索蠕虫完全分析报告 经验

BR)不可操作,通过占用物理磁盘上的文件名、大小和位置的信息来限制对完整系统的访问,从而让电脑无法启动,故而其影响更加严重。如果想要恢复,需要支付价值相当于300美元的比特币。 由于这次攻击有很强

xjc1027 2017-07-12   60899   0

Linux桌面环境终极指南 资讯

身简洁而利落的使用体验在竞争当中脱颖而出。举例来说,其应用程序启动器就让Bryan体会到了“实用”二字的真正含义: “这款应用程序启动器并不打算充当音乐播放器,也不会为用户在Amazon.com上

jopen 2015-03-05   9612   0
Linux  
1 2 3 4 5 6 7 8 9 10