• 1. Hadoop集群监控与Hive高可用-- 向磊
  • 2. Page  2Hadoop集群监控Cacti默认Cacti模板太少 增加模板 我们的模板 磁盘IO 内存详情 单个内核使用 CPU总和及IOWait JMX支持监控Hadoop
  • 3. Page  3Hadoop集群监控Cacti优点 监控每台服务器的详细数据 SNMP采集数据可以自己定义 相比zabbix:无需客户端 安装配置简单 spine采集速度快 模板众多 支持IPMI 缺点 SNMPD为UDP协议,不够稳定 无法获知集群整体运行状况
  • 4. Page  4Hadoop集群汇总监控Ganglia
  • 5. Page  5Hadoop集群汇总监控Ganglia优点 集群总体状况和负载汇总 采用多播地址降低带宽占用 TCP采集 数据稳定 hadoop原生支持ganglia数据采集 缺点 配置稍复杂,需安装客户端 单台数据不如cacti详细
  • 6. Page  6Hive高可用集群Hive存在的问题 单一节点Hive Thrift Server故障导致任务失败 高可用方案 多个Hive Thrift Server节点 HAProxy+Hive HAProxy在实际应用中出现过的问题和优化 Hive日志问题 轮询方式优化 仍存在不稳定因素,其他方式解决
  • 7. HAProxy+Hive 网络拓扑QueriesHAProxyHAProxyHiveHiveHiveHiveHadoop
  • 8. Page  8HAProxy+Hive高可用集群HAProxy是什么及优势 OSI 4-7层代理转发 健康检查和多种轮询方式 配置简单 单点故障自动摘除
  • 9. HAProxy+Hive高可用集群
  • 10. Page  10HAProxy问题解决及优化TCP Session超时 问题:查询时间长导致TCP Session进入CLOSE_WAIT 解决:HAProxy中增大几种TCP连接模式的timeout时间 Hive日志问题 问题:健康检查创造出太多Hive日志 解决:增大健康检查时间 轮询优化 常用几种轮询算法leastconn,round-robin,static-rr,source 推荐使用leastconn和static-rr 仍然存在的不稳定因素 Job提交给Hadoop后Hive宕机,Hive代理层无解。调度系统解决
  • 11. Page  11phpHiveAdmin测试版0.06 beta4 Molten Core界面好看了一点 改变了一些CSS和页面色彩 功能增加了一点 Partition功能,表操作的各种增强,配置文件更加简单 查询增强了一点 复杂查询直接可实时监控map/reduce的全过程,记录操作日志
  • 12. Page  12phpHiveAdmin 工作流程图
  • 13. Page  13新的phpHiveAdmin测试版 表操作 创建表
  • 14. Page  14新的phpHiveAdmin测试版Map/Reduce实时监控
  • 15. Page  15新的phpHiveAdmin测试版相比Beeswax,HWI优点 界面清晰,安装简单,运行方便 节省Hive操作时间,提高工作效率 改变公司内部工作流程 新增功能 历史记录查询 Meta数据查看
  • 16. Page  16近期开发计划MVC框架化 Index,view功能 EasyHadoop将开发更易于使用和配置的界面版 请关注更新: http://www.phphiveadmin.net http://www.easyhadoop.com
  • 17. 谢谢大家