一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化 （其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob）的优化，下文会分别阐述。

前几天在项目上线过程中，发现有一个页面无法正确获取数据，经排查原来是接口调用超时，而最后发现是因为SQL查询长达到20多秒而导致了问题的发生。

客服业务受到SQL语句的影响非常大，在规模比较大的局点，往往因为一个小的SQL语句不够优化，导致数据库性能急剧下降，小型机idle所剩无几，应用服务器断连、超时，严重影响业务的正常运行。因此，称低效的SQL语句为客服业务的‘恶龙’并不过分。数据库的优化方法有很多种，在应用层来说，主要是基于索引的优化。本次秘笈根据实际的工作经验，在研发原来已有的方法的基础上，进行了一些扩充，总结了基于索引的SQL语句优化的降龙十八掌，希望有一天你能用其中一掌来驯服客服业务中横行的‘恶龙’。总纲建立必要的索引这次传授的降龙十八掌，总纲只有一句话：建立必要的索引，这就是后面降龙十八掌的内功基础。这一点看似容易实际却很难。难就难在如何判断哪些索引是必要的，哪些又是不必要的。判断的最终标准是看这些索引是否对我们的数据库性能有所帮助。具体到方法上，就必须熟悉数据库应用程序中的所有SQL语句，从中统计出常用的可能对性能有影响的部分SQL，分析、归纳出作为Where条件子句的字段及其组合方式；

一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MR job）的优化，下文会分别阐述。

　　1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 　　2、I/O吞吐量小，形成了瓶颈效应。 　　3、没有创建计算列导致查询不优化。 　　4、内存不足 　　5、网络速度慢 　　6、查询出的数据量过大(可以采用多次查询，其他的方法降低数据量) 　　7、锁或者死锁(这也是查询慢最常见的问题，是程序设计的缺陷) 　　8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。 　　9、返回了不必要的行和列 　　10、查询语句不好，没有优化

对于Java中Map的遍历方式，很多文章都推荐使用entrySet，认为其比keySet的效率高很多。理由是：entrySet方法一次拿到所有key和value的集合；而keySet拿到的只是key的集合，针对每个key，都要去Map中额外查找一次value，从而降低了总体效率。那么实际情况如何呢？

HSS实体改动说明HSS目前全省有一套2台，这2台之间互为主备关系。在目前的HSS管理属性中没有能够标识这一关系的字段，而且将来的很多实体管理都有可能会出现类似的容灾组合，而这种组合方式会影响到配置策略。因此在HSS的属性中新增字段来解决这一问题。下面说明新增字段的取值与关联。新增字段：容灾方式，可选值为‘1+1互备’；

在NAT的应用中，可以仅需要转换内部地址（就是"内部本地址"和"内部全局地址"之间的转换），这是最典型的应用，如内部网络用户通过NAT转换共享上网；也可以是仅需要转换外部地址（就是"外部本地址"和"外部全局地址"之间的转换），如外部用户要访问位于内部网络中的服务器；当然还可以同时转换内部地址和外部地址。

快速安装mysql方式：linux下mysql解压安装过程（生产环境下centos redhat经过N轮使用） 1.上传mysql-5.5.29-linux2.6-x86...

大家在开发Webservice的过程当中，WSDL文件是根据代码生成的还是手工编写的呢？有没有更加高效的方式？

消息持久性对于可靠消息传递来说应该是一种比较好的方法，有了消息持久化，即使发送者和接受者不是同时在线或者消息中心在发送者发送消息后宕机了，在消息中心重新启动后仍然可以将消息发送出去，如果把这种持久化和ReliableMessaging结合起来应该是很好的保证了消息的可靠传送。

消息持久性对于可靠消息传递来说应该是一种比较好的方法，有了消息持久化，即使发送者和接受者不是同时在线或者消息中心在发送者发送消息后宕机了，在消息中心重新启动后仍然可以将消息发送出去，如果把这种持久化和ReliableMessaging结合起来应该是很好的保证了消息的可靠传送。

Hibernate是笔者使用了超过5年的优秀ORM框架，虽然说使用了5年，但笔者并没有把握说自己真正意义上的精通Hibernate。说道熟悉Hibernate还差不多，因为Hibernate用法和特性只要使用过或许都很简单，但是要做到发挥Hibernate最大限度的潜力，Hibernate优化，或者说Hibernate性能优化笔者仅仅是初窥门径而已。这里摘录一篇牛人对于Hibernate优化的文章，希望对自己以后的使用指引下方向吧。这篇是上一篇的续作，着实是不错，推荐hibernate用户，尤其是像我一样的用户看看，会有收获的

SQL*PLUS界面：登录：输入SQLPLUS回车；输入正确的ORACLE用户名并回车；输入用户口令并回车，显示提示符：SQL>　退出：输入EXIT即可。2）命令的编辑与运行：在命令提示符后输入SQL命令并运行，以分号结束输入；以斜杠结束输入；以空行结束输入；利用SQL缓冲区进行PL/SQL块的编辑和运行；利用命令文件进行PL/SQL块的编辑和运行。　

行列转换行转列;行列转换列转行;行列转换行转列合并;行列转换列转行分割。

T-SQL语句用于管理SQL Server数据库引擎实例，创建和管理数据库对象，以及查询、插入、修改和删除数据。

表是Oracle中最重要的数据库对象,表存储一些相似的数据集合,这些数据描述成若干列或字段.create table 语句的基本形式用来在数据库中创建容纳数据行的表.create table 语句的简单形式接收表名,列名,列数据类型和大小.除了列名和描述外,还可以指定约束条件,存储参数和该表是否是个cluster的一部分.

SQL、PL/SQL学习笔记