大数据时代;关系数据库的瓶颈;NoSQL的优势;CAP理论;NoSQL数据模型及分类;NoSQL应用现状。重点介绍几个NoSQL主要内容随着网民参与互联网产品和应用的程度越来越深,互联网将更加智能,互联网的数据量也将呈爆炸式增长一、大数据时代大交易数据:来自电商的数据,包括B2B、B2C、C2C、团购等大交互数据:来自社交网络的数据,SNS、微博等两类数据的有效融合将是大势所趋,这种融合更能增强企业的商业洞察力一、大数据时代大数据的特征3V——Volume(海量)、Variety(多样)、Velocity(实时)海量 - 数据量巨大,对TB、PB数据级的处理,已经成为基本配置。
大数据解决之道 - 淘宝OceanBase开发组
JVM监控工具,可很好的监视CPU、线程和内存 可与Eclipse进行整合,也可单独监控某一进程 可监控远程计算机上的进程 观察每个对象的生存情况,提升模块性能 可观察GC情况、CPU使用情况、堆使用情况等
基于MongoDB的大规模高频金融交易数据处理
图书馆管理系统_需求分析
NoSQL 应用视角扩展性,可用性与可靠性的抉择
LoadRunner是一种预测系统行为和性能的负载测试工具 通过模拟成千上万用户实施并发及实时性能检测的方式来确认和查找问题 LoadRunner能够对整个企业架构进行测试 通过使用LoadRunner,企业能最大限度地缩短测试时间,优化性能和加速应用系统的发布周期
配置管理工具常见问题FAQ版本。本文档描述了在Hansky Firefly使用过程中,可能遇到的一些问题以及解决方法,作为使用Firefly的参考资料和指南。本文档要时时维护,新遇到的问题随时添加,以便起到真正的指导作用。
重构、原则、模式、测试
面向WEB应用特征开发的高性能MySQL存储引擎 支持单记录操作ACID,不支持多操作组合事务 功能特色 行级缓存有效缓存热点记录 索引前缀压缩:索引大小约InnoDB 30% 大对象LZO压缩:35%-40% 基于字典的记录压缩:50% 在线建索引 高性能KV风格API:如SQL操作同一份底层数据,支持binlog 应用情况:应用于新闻跟帖、反垃圾、轻博等系统,近20个节点,1T数据
了解Oracle基本结构及原理; 熟悉Oracle基本操作(怎么创建数据库,表空间,用户及分配权限); 客户端如何连接Oracle服务器(三种方式:界面,命令连接,及PL/SQL工具连接)。
mongoDB部署 集群包含一个或者多个shard shard存储数据集合的一部分数据 shard为replica set集群 一个replica set由一个primary和多个secondary和arbiter(可选)组成 如果primary失效,自动选举一个secondary为primary 写入请求只能在primary上做单点写入维持数据一致性 读取请求会发送给primary,最终的读取操作分布在多个secondary上 数据读取和写入请求自动路由到集群的shard 集群包含多个配置服务器 数据分区信息(哪些数据存放在哪些shard上) 集群中包含多个请求路由器 Mongos,接收数据写入读取请求,并将请求路由到目标shard上 一个路由器可以服务多个客户端app App通过程序扩展接口连接mongos
BugFree – 借鉴微软公司软件研发理念 微软的Bug管理系统(以前叫Raid,现在是 Product Studio) 免费且开放源代码 PHP + MySQL 基于WEB的精简版Bug管理系统
JavaScript是一种轻型的、解释型的程序设计语言,而且具有面向对象的能力。 JavaScript是一种无类型的语言,它的变量不必具有一个明确的类型。
生成对象时,合理分配空间和大小:Java中的很多类都有它的默认的空间分配大小,对于一些有大小的对象的初始化,应该预计对象的大小,然后使用进行初始化。
GeoServer 是 OpenGIS Web 服务器规范的 J2EE 实现的社区开源项目,利用 GeoServer 可以方便的发布地图数据,允许用户对特征数据进行更新、删除、插入操作,通过 GeoServer 可以比较容易的在用户之间迅速共享空间地理信息。本系列博文提供全面、完善的GeoServer部署解决方案,包括GeoServer环境搭建、地图数据处理、部署地图数据、发布地图服务等功能的详细介绍。文中内容来自本人工作中通过网络学习后总结而成,如有类同纯属巧合,同时欢迎广大网友前来交流。
基于存储层的容灾复制方案:这种技术的复制机制是通过基于SAN的存储局域网进行复制,复制针对每个IO进行,复制的数据量比较大;系统可以实现数据的同步或异步两种方式的复制。对大数据量的系统来说有很大的优势(每天日志量在60G以上),但是对主机、操作系统、数据库版本等要求一致,且对络环境的要求比较高。目标系统不需要有主机,只要有存储设备就可以,如果需要目标系统可读,需要额外的配置和设备,比较麻烦。
本文不深入具体技术,而是从一个比较宏观的角度讲述J2EE平台所涉及的一些技术,对于每种技术只介绍其特点以及应用,如有可能对相似技术做了一些简单的比较。
Visibility:通过并发线程修改变量值, 必须将线程变量同步回主存后, 其他线程才能访问到。<br> Ordering:通过java提供的同步机制或volatile关键字, 来保证内存的访问顺序。<br> Cache coherency :它是一种管理多处理器系统的高速缓存区结构,其可以保证数据在高速缓存区到内存的传输中不会丢失或重复。
Hadoop项目简介; HDFS体系结构; HDFS关键运行机制; Hadoop VS.Google(分布式文件系统); Hadoop API; Hadoop环境搭建。