iSearch4性能优化之路一浪概要引擎系统架构优化结果总结索引结构优化查询流程优化其他优化iSearch4引擎系统架构

1.DoFactory.GangOfFour.Abstract.Structural   AbstractFactory：提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。   工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。如：如何创建及如何向客户端提供。

iSearch5的性能挑战iSearch5性能优化我们做了什么Searcherresultcache Bitmap索引索引截断索引排序索引分层其他优化Searcherresultcache35%query重复出现索引实时更新Cache失效策略结果合并100%性能提升上次查询时doc集合新增Bitmap索引宝贝类型：90%+是一口价类型的高频词：男女正品2013倒排求交，计算量大正排过滤，不适合高频词性能提升100%索引截断原始链A截断链B截断链C截断链性能提升70%索引排序绝大部分query和某几个类目相关很多term和某几个类目相关排序后性能30%排序后倒排索引大小下降30%排序前排序后索引分层分层前单集群分层后双集群性能提升30%其他优化异构机器调度大增量merge粗排

JAVA经典算法40题【程序1】 题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第四个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？ 1

SearchPlanner-搜索共享业务平台亚夫曾经的淘宝搜索系统架构100+个不同应用调用搜索服务20+个不同功能的子系统构成了淘宝的搜索系统存在的问题：无法提供完整的搜索服务用户体验不一致，算法团队的各种创新成果不能共享存在严重的安全隐患引擎及其它系统更新换代困难各应用重复工作，效率低下现在的淘宝搜索系统架构解决了旧架构的各种不足，将N*M的复杂关系，变为了N+M各业务在SearchPlanner平台上互相融合，涌现出了一系列创新型业务，成为了一个创新支撑平台面临的技术挑战：稳定性开发效率数据驱动的业务快速迭代SearchPlanner整体架构提供三个层次的服务：完整的搜索业务服务搜索的基础服务平台的基础服务

iSearch5商品搜索特色功能引擎平台调度系统喜德iSearch5插件机制总述iSearch5正排定制iSearch5查询流程控制iSearch5截断与分层iSearch5引擎插件定制能力算分插件QRS插件文档处理插件动态摘要插件Functionexpression插件Sorter插件iSearch5正排定制

OpenSearch—可定制式开放云搜索平台一淘及搜索事业部国泊(郭瑞杰)大纲个人介绍性能优化2008年7月毕业于中科院计算所，工学博士，研究方向实时搜索2008.8新的启程：重新实现查询引擎新的启程：组建团队，重新实现索引引擎(indexlib)1.反思：优化存储、online解耦飞天2.应用：全网搜索开启HA3准实时搜索时代(Swift+HA30.6)应用：CNZZ通用站内搜索（替换soso站内）1.提出产品想法2.团队组建&探路：外包式定制开放定制3.技术决策：与全网搜索服务必须分离

设计模式详解何谓设计模式在面向对象程序设计（OOP）过程中，我们经常会遇到很多重复出现的问题，总结解决这些问题的成功经验和最佳实践便形成了设计模式（DesignPattern）。其核心思想是将可重用的解决方案总结出来，并分门别类。从而指导设计，减少代码重复和优化体系结构。采用设计模式的益处重用，避免代码重复冗余优化体系结构提升系统的可维护性和弹性代码更加容易测试，利于测试驱动为性能优化提供便利使软件质量更加有保证增强代码可读性，便于团队交流有助于整体提升团队水平设计模式、重构和Antiparttern设计模式是成功经验和最佳实践的总结，指导设计人员采用正确精良的设计。

iSearch演变历程太奕概述了解iSearch引擎历史变革iSearch遇到过哪些问题iSearch如何解决这些问题通过解决方案揭示iSearch的进化过程如何为iSearch的技术发展保驾护航iSearch引擎历史问题与挑战问题与挑战技术变革问题与挑战技术变革问题与挑战倒排容量优化正排容量优化保障机制用户对引擎的期望：能够支持更大领域的业务需求能够更快速的响应业务需求一个重要的前提：保证上线版本的服务质量保障机制

介绍一淘及搜索事业部-搜索技术-引擎平台-调度系统周鸿斌（悟非）内容提纲ISearch5AdminISearch5系统架构ISearch5 admin介绍异构机器不停服务切换大增量数据分发（DeployExpress）系统结构功能特性应用服务监控（Amonitor）系统结构功能特性

Web服务器工作原理概述很多时候我们都想知道，web容器或web服务器（比如Tomcat或者jboss）是怎样工作的？它们是怎样处理来自全世界的http请求的？它们在幕后做了什么动作？Java Servlet API（例如ServletContext，ServletRequest，ServletResponse和Session这些类）在其中扮演了什么角色？这些都是web应用开发者或者想成为web应用开发者的人必须要知道的重要问题或概念。在这篇文章里，我将会尽量给出以上某些问题的答案。请集中精神！文章章节：什么是web服务器、应用服务器和web容器？什么是Servlet？他们有什么作用？

写一个函数，例如：给你的abc则输出

Angular2现状当前最新版本为2.0.0-alpha.40，2015年10月9日发布，不兼容Anguar1.x开发时不再依赖Traceur或者Babel,推荐使用TypeScript进行编译为ES5功能基本稳定，但缺乏相关文档和样例支持Chrome，Firefox以及IE10+Angular2核心特性基于注解的组件化依赖注入模板及指令属性绑定过滤器(Pipe)表单路由HTTP访问基于注解的组件化Angular2中，一个最基本的组件由3个部分组成:Component:定义组件的名称，以及要注入的服务View:定义组件的试图，即UI展现Class:组件的逻辑实现，基于ES6的class语法依赖注入Angular2中，注入一般在Component完成，使用viewBindings属性。

淘宝搜索业务架构优化桂南Agenda在线架构业务双11优化搜索在线架构重点模块iSearch5：引擎平台，搜索服务的核心Opensearch：十分钟搭建搜索引擎SearchPlanner：搜索的总指挥UPS：个性化信息存储和计算CM：服务定位和流量切换工具支持的业务传统SRP主搜索一淘商品搜索天猫商品搜索店铺搜索店铺内搜索支持的业务传统SRP主搜索一淘商品搜索天猫商品搜索店铺搜索店铺内搜索比价优惠主搜索产品搜索一淘优惠购一淘优惠一淘比价页如意淘支持的业务传统SRP主搜索一淘商品搜索天猫商品搜索店铺搜索店铺内搜索比价优惠主搜索产品搜索一淘优惠购

淘宝搜索离线系统介绍一淘搜索事业部淘宝搜索dump中心木桑概要淘宝搜索的离线场景计算需求存储需求全量流程&增量流程集群运维开发管理展望Q&A淘宝搜索的离线场景离线场景约束条件结构化数据的完整性\准确性:数据量大而又要完整、准确,更新及时性:更新多源头又要同步，更新数据量大而又要实时性架构业务逻辑友好性:全量增量流程不同而又要业务代码一致等淘宝搜索业务简介09年前架构Dumpserver……Dumpserver07年:12台08年:48台OracleSearchEngineXML09年架构-引入map/reduce09年架构–job序列计算需求-09年架构的问题Job链太长；多次重复数据I/O;问题不好查;对数据库压力大;业务逻辑分散,开发效率不高;Job数量跟随业务膨胀;hdfs只有顺序写能力，没有随机读写;增量任务速度慢;计算需求-理想状态和数据库关联少；全量时间控制在2小时内，每天做一次全量(join)计算；

搜索离线生产集群中的流计算莫问个人背景简介花名：莫问真名：王峰2006年毕业后加入公司雅虎中国（垂直搜索引擎团队）阿里云（云计算服务团队）淘宝/一淘（网页抓取团队）技术方向：搜索离线系统*提纲搜索离线系统技术体系Hadoop-2.0YARN介绍StreamService计算模型StreamService服务调度StreamService运维操作*搜索离线系统技术体系*HDFSYARNHBaseMapReduceStreamServiceHQueue搜索离线业务网页抓取数据处理数据统计PigHive数据挖掘…….Hadoop-1.0VSHadoop-2.0*ApplicationsonYARN*StreamService计算模型基本概念拓扑结构消息管理进度管理编程接口*基本概念StreamService：完成一套业务功能的流计算服务StreamRole：1个Role表示1组具备相同计算功能的计算单元StreamWorker：StreamRole中的计算单元StreamSource：StreamWorker的数据输入源StreamSink

背景介绍总体设计辅表设计实时更新通用能力性能优化故障恢复未来工作背景介绍广告引擎架构背景介绍广告引擎架构广告数据的多级结构背景介绍广告引擎架构广告数据的多级结构一次广告查询的流程背景介绍newSn之前的状况isearch3.4.1+table，结构复杂不合理；也没有对主辅表支持较好的成熟引擎searchNode代码无层次，功能/性能/业务逻辑交织在一起newSn做到了解耦业务逻辑，业务流程插件化引入持续集成，保证代码质量查询性能4倍提升故障恢复时间大幅降低总体设计索引层：支持主辅表结构，统一的数据层应用层：抽取通用能力，与业务逻辑解耦通用数据接口DSAsummer框架：处理流程插件化辅表设计主表和辅表的区别docId分配机制查询时辅表字段的访问

应用场景实时引擎消息系统应用场景—主搜需求需要解决的问题性能优化更快的从异常中恢复更好的扩展性应用场景—主搜swiftdumphdfs实时引擎Disk Builder Doc Processor Chain Searcher Reader Query实时引擎—优化手段批量job可以利用offline计算资源做索引优化全局排序静态截断大增量merge实时引擎—大增量MergeMerge用于回收被标记删除的文档，减小物理内存和多segment对查询性能的影响引擎以version和segment为单位组织索引。每个version包含多个segment，segment中包括倒排(index)、正排(attribute)和详情(summary)MergeStrategy：指segment合并的策略，目前引擎提供optimize、balanceTree、realtime三种策略实时引擎—大增量MergeSearcherSegment_0IndexReader1Query实时引擎—按行切换

These tutorials are intended for developers who wish to write rich AJAX applications using Google Web Toolkit. You might be a Java developer who would like to be able to apply the software engineering principles of object-oriented programming and leverage the tools in your Java IDE when writing applications for the web. Or you might be a JavaScript guru curious about GWT’s ability to generate highly optimized JavaScript.

Google Web Toolkit的缩写，有了GWT可以使用Java编程语言编写AJAX前端，然后GWT会交叉编译到优化的JavaScript中，而JavaScript可以自动在所有主要HYPERLINK"http://baike.baidu.com/view/7718.htm"浏览器上运行。GWT允许开发人员使用Java编程语言快速构建和维护复杂但性能高的JavaScript前端 应用程序，从而降低了开发难度，尤其是与EclipseGoogle 结合使用时，优势更明显。