DataSet对象的作用是什么？DataAdapter对象的作用是什么？DataGridView控件的作用是什么？任务通讯录系统的用户管理模块实现批量查看和修改好友信息功能实现批量查看、筛选和修改好友信息功能目标了解数据集（DataSet）的结构会使用数据适配器填充数据集会使用数据适配器将数据集的修改提交到数据库掌握DataGridView控件的使用为什么使用DataSet对象大批量的查询、修改数据怎么办？想在断开数据库连接的情况下操所数据怎么办？

jPopulator是一个java工具，能够实现用随机数据填充Java bean。这对于当你需要在开发/测试阶段产生假数据非常有用的。当你的Java bean类型层次很深，利用jPopulator非常方便，因为它会对一个给定的java bean递归填充所有嵌套类型。

今天的主角就是数字参考表，什么是数字参考表？一个表中，存放了从1开始连续到很大值的数字的表，我们称为数字参考表。

今天看了一下SQLITE的资料，边学习边练习了下，主要涉及到数据库打开，建表、插入记录、查询、关闭数据库等操作，SQLITE支持多种编程语言来操作，今天用C做为实现工具

用python抓京东的产品数据

用DbUnit进行数据库集成测试1 引言JUnit家族为Java应用程序的单元测试提供了基本框架，除JUnit之外，还有许多用于专门测试领域的其他工具和框架，本章将介绍用于数据库集成测试的重要工具DbUnit（注1）。这里将数据库测试描述为“集成测试”,以便与普通“单元测试”相区分，集成测试涉及用户自身代码之外的架构，在数据库集成测试的情况下，额外的架构是真实数据库。DbUnit通常称为“JUnit扩展”，它提供了TestCase子类，用户可以在自己的测试类中扩展它们，但也可以独立于JUnit以其他方式来使用DbUnit。例如，可以从Ant中调用DbUnit执行某些任务。本章将说明DbUnit的主要用途,并提供一些典型用法的简单示例，然后还将继续介绍一些其他相关主题。

通过这个 Node.js 和 MySQL 示例项目，我们将看看如何有效地处理 数十亿行 占用 数百GB 存储空间的数据。

Twitter透过官方博客宣布启用完全正向加密（Perfect Forward Secrecy，PFS）保 护用户数据，防止未来加密密钥遭到破解。PFS是密钥协商协议的一个属性，可以防止追溯攻击——也就是如果有人破解了加密密钥，该密钥可被利用追溯破解之 前记录的加密流量。

商务智能，简称BI，指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。 BI是一个由多个组件构成的完整的数据分析系统，面向数据仓库的海量数据，提供多维度对视角的数据分析 Excel是桌面的办公软件，面向平面小规模数据的处理 BI与Excel并不矛盾，它们互为补充

Hadoop 作为一个较通用的海量数据处理平台，每次运算都会需要处理大量数据，我们会在 Hadoop 系统中对数据进行压缩处理来优化磁盘使用率，提高数据在磁盘和网络中的传输速度，从而提高系统处理数据的效率。在使用压缩方式方面，主要考虑压缩速度和压缩文件的可分割性。综合所述，使用压缩的优点如下：节省数据占用的磁盘空间；加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度。

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。

HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。

hadoop SequenceFile 是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分，非常适合hadoop文件存储特性,SequenceFile的写入由SequenceFile.Writer来实现, 根据压缩类型SequenceFile.Writer又派生出两个子类SequenceFile.BlockCompressWriter和SequenceFile.RecordCompressWriter, 压缩方式由SequenceFile类的内部枚举类CompressionType来表示。

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene的子项目 Nutch 的一部分正式引入。它受到最先由 Google 开发的MapReduce 和GoogleFileSystem的启发，2006年3月份，MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。在Hadoop中实现了Google的MapReduce算法，它能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。此外，Hadoop还提供一个分布式文件系统用来在各个计算节点上存储数据，并提供了对数据读写的高吞吐率。由于应用了map/reduce和分布式文件系统，使得Hadoop框架具有高容错性，它会自动处理失败节点。

Hadoop源代码分析（MapReduce概论） - 大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。

本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、nginx、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。

JobClient.runJob(job)静态方法会实例化一个JobClient实例,然后用此实例的submitJob(job)方法向 master提交作业。此方法会返回一个RunningJob对象，它用来跟踪作业的状态。作业提交完毕后，JobClient会根据此对象开始轮询作业的进度，直到作业完成。 submitJob(job)内部是通过submitJobInternal(job)方法完成实质性的作业提交。 submitJobInternal(job)方法首先会向hadoop分布系统文件系统hdfs依次上传三个文件: job.jar, job.split和job.xml。

目前国内外在面对图片存储问题时，所采取的解决方案有两种，分别是图片保存至数据库和图片存储在硬盘。鉴于海量图片规模下，数据库承载太多图片会导致数据库容量和效率成为极大的瓶颈。常见的做法是图片保存至硬盘，数据库中保存图片的存储路径。分布式存储为海量图片存储提供了原始模型，一些研究成果和实践表明，图片存储架构需要从容量和负载两方面设计，且还要根据业务需求制定特定的缓存策略。

在网络流量的分析中，基于流的分析被大多数ISP所采用，分析系统一般部 署在一台高配置的服务器中。如由CERT网络势态感知团队(CERT-NetSA)开发的用于大规模网络安全分析的网络交互分析工具集 SILK(the System for Internet-Level Knowledge)，支持有效的收集、存储和分析网络流数据，SILK可以高效地查询历史大流量数据集