SIDU 是一个免费的数据库图形工具。SIDU 是用 PHP 编写成的,简单易用,功能齐全,不需要安装,轻量级 WEB 应用。强大快速的 MySQL, PostgreSQL, SQLite 以及 CUBRID 数据库管理工具的图形界面。
loadcsv 是一个用 Python 语言开发的小工具,用来将 csv 文件中的数据导入到数据库中,支持的数据库包括:MySQL, PostgresSQL, 和 sqlite, 其他数据库可以通过生成 SQL 语句来进行导入。
Mysql提供了一系列命令来获取数据库的运行状态,其中最常用的主要有show status;show innodb status;show processlist; show mutex status。通过这些命令我们可以了解到数据库和存储引擎io,内存,锁等详细信息。
GraphBuilder由英特尔研究院(Intel Labs)开发,是首个针对大数据的可扩展的开源Java库,可以将大数据集构建成图形——能够反映数据之间关系的网络状结构图,帮助行业和学术界的科学家或数据分析师快速分析大型数据集。
Timon 是基于Java的数据库持久工具, 提供SQL Maps以及SQL工具 采用XML定义SQL语句 支持数据库与Java对象之间的映射 支持外部数据缓存,支持Ehcache,Memcached和内置同步缓存 提供SQL语句解析、格式化工具 安装方式
Liquibase是一个用于跟踪、管理和应用数据库变化的开源的数据库重构工具。它将所有数据库的变化(包括结构和数据)都保存在XML文件中,便于版本控制。
数据库结构比较工具,目前支持mysql,oracle,sql server.
这里是针对MYSQL数据库,使用dbcp数据库连接池,在src目录下有dbcpconfig.properties配置文件,需要MYSQL驱动包和dbcp相关的jar包
Apache Sqoop(SQL-to-Hadoop) 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中;同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
Pattern由比利时安特卫普大学CLiPS实验室出品,客观的说,Pattern不仅仅是一套文本处理工具,它更是一套web数据挖掘工具,囊括了数据抓取模块(包括Google, Twitter, 维基百科的API,以及爬虫和HTML分析器),
摘要:Java Code Geeks联合创始人Byron Kiourtzoglou发表文章,从理论到实践剖析了大数据的4个V,并于文章最后分享了Java工程师可能会需要的13个主流开源大数据工具。
SQL Maestro Group 发布一个新的产品系列 PostgreSQL Data Sync ,这是一个强大但易用的工具用来对 PostgreSQL 数据库内容进行比较和同步。
WCOM SQL Bulk Sync是一个轻量级的,高性能的非侵入式的SQL Server数据同步工具。它不使用任何触发器或事件,而是使用从SQL Server 2008以上版本提供的更改跟踪功能。
本文的主要内容编译自Blaz Zupan和Janez Demsar的一篇论文(Open-Source Tools for Data Mining)。我仅仅选择其中的要点和大家共享,同时加入一些个人的点评意见。
Lziprecover 是个数据恢复工具,能解压缩 lzip 压缩数据格式(.lz)的文件(plzip, minilzip/lzlib, clzip 和pdlzip),而且能平滑修复损坏的文件。
使用C++开发了一个Redis数据导入工具 从oracle中将所有表数据导入到redis中; 不是单纯的数据导入,每条oracle中的原有记录,需要经过业务逻辑处理, 并添加索引(redis集合); 工具完成后,性能是个瓶颈;
据已经成为现代化企业中重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本,即“商务智能”,企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。
发现一个在网页中绘制数据图, 如曲线图, 柱状图的纯 JavaScript 工具: flot . 极度推荐啊! 有图和代码为证: *代码附后* 以前知道的工具有 Open Flash Chart , 还有 Google 出品的 Google Chart Tool . 两者使用不同的技术, 同时也是两种截然不同的设计理念. 相比较而言, 我更认同 Google Chart 的设计理念. 原因如下:
发现一个在网页中绘制数据图, 如曲线图, 柱状图的纯 JavaScript 工具:flot. 极度推荐啊!以前知道的工具有Open Flash Chart, 还有 Google 出品的Google Chart Tool. 两者使用不同的技术, 同时也是两种截然不同的设计理念. 相比较而言, 我更认同 Google Chart 的设计理念.
OpenDLP是一个免费/开放原代码、基于代理/无代理、集中式、大规模分派的数据放泄露工具。通过一个集中式的web应用程序和使用恰当 Windows, UNIX, MySQL, or MSSQL 的凭据,OpenDLP能够识别出数以千计的微软windows操作系统、unix操作系统、MySQL数据库和MSSQL数据库的敏感数据泄露问题。