• 1. ISearch5实现原理之调度系统—— ISearch5 admin & DeployExpress & Amonitor 介绍 一淘及搜索事业部-搜索技术-引擎平台-调度系统 周鸿斌(悟非)
  • 2. 内容提纲ISearch5 Admin ISearch5系统架构 ISearch5 admin介绍 异构机器 不停服务切换大增量 数据分发(DeployExpress) 系统结构 功能特性 应用 服务监控(Amonitor) 系统结构 功能特性 QRSProxySearcherAdminHA3 runtimeSearcher…DeployExpressIndexAmonitor
  • 3. SSSSProxyProxyQRSSSSSSSSSAdminSSSSSSP0P1P2P3P4P5partitionsreplicasHA3系统架构
  • 4. ISearch5系统架构SSSSProxyProxyQRSSSSSSSSSAdminSSSSSSP0P1P2P3P4P5Cluster1ProxySSSSCluster2机器管理 配置管理 服务控制 异常处理
  • 5. HA3 adminhost0host1host2host3host4host5IpList: Admin: host0 Qrs: host1 Proxy: host2 Searcher: host3, host4, host5AdminWorkerProxyWorkerQRSWorkerSearcherWorkerSearcherWorkerSearcherWorker机器管理 静态配置指定机器列表 admin通过心跳获取worker状态
  • 6. ISearch5 adminhost0host1host2host3host4host5AdminWorkerProxyWorkerQRSWorkerSearcherWorkerSearcherWorkerSearcherWorkerCurrent Statusqrshost1avaliableproxyhost2avaliablesearcherhost3avaliablesearcherhost4avaliablesearcherhost5avaliableDFSp0p1upfDeployExpressp0p1调度决策配置 数据 命令Target Statusqrshost1avaliableproxyhost2avaliablesearcherhost3p0searcherhost4p1searcherhost5avaliable
  • 7. ISearch5 adminhost0host1host2host3host4host5AdminWorkerProxyWorkerQRSWorkerSearcherWorkerSearcherWorkerSearcherWorkerp0p1调度决策 逻辑拓扑生成
  • 8. ISearch5 admin异构机器自动分流SSSQRSSSSSS
  • 9. ISearch5 admin异构机器自动分流SSSQRSSSSSS16core32core
  • 10. 索引切换逐partition更新 先加载新版本 旧版本在被遮挡后删除 动态修改partition数 不一致版本并存 不一致partition并存
  • 11. 索引切换P0-0P1-0P0-1P1-1P0-1P1-1强制切换P0-1P1-1
  • 12. 索引切换平滑切换P0-0P1-0P0-1P1-1P0-1P1-1P0-1P1-1
  • 13. 索引切换按行切换 全量/大增量P0-1P1-1P1-0P0-0P0-0P1-0P1-0P0-0P0-1P1-1P0-1P1-1P1-1P0-1P1-1P0-1P0-1P1-1P1-1P0-1
  • 14. 错误恢复坏节点屏蔽 自动发现坏节点 手动屏蔽节点 HealthCheck Admin错误恢复 不影响搜索服务
  • 15. DeployExpressSSProxyQRSAdminSSSSSSSp0p1p2如何快速的分发索引?
  • 16. DeployExpressSSSp0链式拷贝 以block为单位传输(64K)
  • 17. DeployExpressslaveslaveslaveslavemasterclientadd jobadd taskadd taskadd taskadd task链式拷贝 断点续传 文件拷贝限速 checksum 多种文件系统支持 local/hdfs/pangu
  • 18. DeployExpressMaster故障 不影响正在running的job 重启后恢复状态Slave故障 不影响其他Slave的正常拷贝 如果该Slave是源则其目的Slave自动更新源 重启后能恢复taskSD1D2D3master
  • 19. 应用情况 web索引分发:主索引70g * 50 + 大索引110g * 50 = 9T/day;增量分发,19个partition,半小时一次,不过数据量不大,每次1200doc 跨集群的数据拷贝 5T/day B2b的索引数据拷贝 Etao数据分发服务 主搜索引分发 DeployExpress
  • 20. AMonitorAmonitorOpenSearchAggregatorHA3SwiftTo be more …
  • 21. AMonitorServerAgentAgentAgentWebDFSClientAppClientAppHost…
  • 22. AMonitor系统稳定性 结构简单 数据恢复 易用性可维护性 设计开发专门的tools对系统进行操作(起,停,更新机器列表) 更多的日志和调试信息 编程接口(c++/python) 可扩展性 分布式的数据存储 Agent灵活删减 Web支持查询和聚合多server的数据
  • 23. Amonitor前端查询性能 1000个应用节点,30个metrics查询达到秒级 多级精度 捕捉更多的细节和奇异点 1s的精度 Max/Min指标 更友好的前端查询和展示 avgmax
  • 24. (本页无文本内容)