三分钟部署Laxcus大数据管理系统


laxcus.com 1 三分钟部署 Laxcus 大数据管理系统 Laxcus 大数据实验室 laxcus@163.com 介绍 Laxcus 大数据管理系统是 Laxcus 大数据实验室历时 7 年,全体系全功能设计研发、适合全行业 使用的通用大数据软件,支持百万级计算机节点,提供 EB 级可计算数据的存储和计算能力,拥有 完全的知识产权,目前已经发展到 2.6 版本。Laxcus 大数据管理系统整合了云管理、大数据、数据 库、容器、中间件等多个领域的技术和功能,实现了海量数据的一站式处理,现已投入到许多大型 计算项目中使用。在人机接口上,Laxcus 大数据管理系统保持了极简的部署和使用特点,每个用户 都能够很快学习掌握和操作它。 以下演示在一台 Linux 计算机上部署 Laxcus 大数据管理系统单机集群过程。根据我们的测试, 这个部署过程大约需要三分钟,如果您熟悉 Linux 系统 ,或者不需要这个时间。 关于 Laxcus 大数据管理系统介绍,详见相关技术资料。 在实际部署前,请确定已经满足已下条件: <1> 保证这台 Linux 计算机是处于独立且没有联网状态(Laxcus 大数据管理系统默认绑定 127.0.0.1, 用“ifconfig -a”命令查看本地 IP 地址,如果有就全部删除,且保证“ping localhost”是 127.0.0.1)。 <2> 用户以 root 身份登录 Linux 系统(Laxcus 要求所有节点都在 root 状态下工作,非 root 用户可用 “su”命令切换到 root 状态)。 <3> 运行 Laxcus 需要 Java 环境支持,请安装一个 JRE,Laxcus 大数据管理系统最低版本要求是 JRE1.6 (演示系统为 32 位版本,为确保匹配运行,请使用 32 位 JRE1.6 及以上版本)。 laxcus.com 2 以下进入部署状态: <1> 用户以 root 身份登录 Linux 计算机,打开一个终端窗口。 <2> 在根目录建立一个 Laxcus 目录,命令是:"mkdir laxcus"(注意是全小写,Linux 对大小写敏感)。 <3> 将 laxcus 安装包从其它目录复制到这个目录下面。 <4> 将 Laxcus 安装包解压,命令是:“tar -xzf laxcus_demo_2.0.06_x32.tar.gz”,然后键入命令:"ls -ltr",可以看到它的下面分别出现了“top、home、log、aid、archive、data、work、call、build、watch、 console、terminal”一系列目录及文件。见图 1 所示。 图 1 Laxcus 演示安装包(Linux 32 位版本) <5> 在“laxcus”目录下有一个"java.sh"文件,用 vim 或者其它文本编辑工具打开它,设置自己的 JAVA_HOME 目录(注意这里是大写)。图中是" JAVA_HOME=/home/jdk1.6.0_18"。然后键入“wq!”保 存退出。见图 2 所示。 laxcus.com 3 图 2 修改 JAVA_HOME 目录 <6> 将“java.sh”文件复制到“/etc/profile.d”目录下,命令是:"cp java.sh /etc/profile.d/java.sh"。见图 3 所示。 图 3 复制 java.sh 文件 <7> 在终端上键入命令:"echo $JAVA_HOME"查看,如果 java.sh 被启用,会显示 JAVA_HOME 目录 的实际指向。如果没有,请重新启动计算机,再次以 root 身份登录查看。见图 4 所示。 图 4 显示 JAVA_HOME 目录 <8> 将 laxcus 目录下面的全部".sh"后缀文件设为可执行,命令是:"chmod +x *.sh"。见图 5 所示。 图 5 修改*.sh 文件属性 <9> 执行 alter.sh 命令,这个命令将把”laxcus“目录下面所有的 *.sh 和*.so 文件属性改为可执行。见 图 6 所示。 laxcus.com 4 图 6 修改 laxcus 目录下面的全部 *.sh 和 *.so 文件属性 <10> 以上操作完成后,在“/laxcus”目录键入命令:“./runbatch.sh”命令,laxcus 节点将被顺序启动 。 见图 7 所示。Laxcus 为用户提供了分布任务组件服务(基于 Laxcus 分布算法的中间件,涵盖从 API、 开发、部署的一系列规范)。为保证系统安全运行,避免分布任务组件恶意破坏系统的情况,Laxcus 提供了沙箱服务,对用户发布、在 Laxcus 集群上运行的分布任务组件进行安全检查和限制。开启沙箱 模式是在启动时,在“./runbatch.sh”后面加上“-sandbox”,这表示 laxcus 集群将在沙箱模式下运行。 图 7 以“沙箱”模式启动 laxcus 集群节点(分布任务组件被限制在沙箱中运行) <10> 以上操作完成后,可以使用命令:"ps -ef | grep java" 查看。如果每个节点都有信息显示,表示 Laxcus 集群已经在 Linux 系统后台运行。 <11> 至此,Laxcus 集群启动完毕。如果停止 Laxcus 集群节点,请回到“laxcus”目录下键入命 令:"./stopbatch.sh"。见图 8 所示。使用过程中如有任意问题和建议,请直接联系我们。 图 8 停止 laxcus 集群节点 Front 节点 Laxcus 大数据管理系统支持人机交互模式,接受来自 Front 节点的用户命令,执行数据处理工作。 用户可以通过 Front 节点的三种操纵界面:图形终端、字符控制台、驱动程序,登录到 Laxcus 集群。 有关 Front 节点的操作命令介绍,请见《Front 节点命令手册》。因为 Laxcus 演示系统被定义为单机模 式,所以登录地址是:“localhost”,或者“127.0.0.1”,默认端口号是:5000(参数见各节点 conf/local.xml laxcus.com 5 文件中配置)。系统管理员登录用户名是:“admin”,密码是:“laxcus”(密码区分大小写)。字符控制 台启动命令是:“./console.sh”,图形终端启动命令是:“./terminal.sh”。见图 9、图 10、图 11。进入登 录状态后,键入"help"可以查看 Laxcus 支持的全部命令。 退出时,字符控制台使用"exit"或者"quit"命 令退出,图形终端点击菜单或者关闭按纽退出。 图 9 字符控制台 图 10 图形终端登录窗口 laxcus.com 6 图 11 图形终端主操作界面 建立用户账号 Laxcus 是多集群多用户多任务的通用大数据管理系统,这意味着每个用户在操作数据前,必须拥 有一个属于自己的独立账号。建立用户账号的过程由系统管理员来完成,并对这个账号的操作范围进 行授权(与关系数据库一致)。在账号建立成功后,管理员将账号转交给用户,用户可以修改自己的账 号密码,然后执行后续的数据管理和操作。数据操作包括:建立数据库、建表、读写操作数据等。这 些数据操作也基本与关系数据库一致。在 Laxcus 演示系统里,已经内置了一个“demo”账号相关的 分布计算服务。成功建立 demo 账号后,即可获得相关的业务操作能力。Laxcus 大数据管理系统支持 全球已知语种字符,用户名和密码可以是任何语言的任何字符,用户名可以忽略大小写,而密码区分 大小写。 laxcus.com 7 图 12 系统管理员建立 demo 账号(用户名、密码一致) 图 13 系统管理员对 demo 账号授权 demo 用户操作 用户获得 demo 账号后,以“demo/demo”登录到 localhost:7600。执行修改账号密码、建立数据 laxcus.com 8 库、建立数据表的操作。 图 14 demo 用户登录到:localhost 7600 主机 图 15 demo 用户修改自己的登录密码 laxcus.com 9 图 16 建立数据库 laxcus.com 10 图 17 建立数据表 分布计算 Laxcus 大数据管理系统的分布计算基于 DIFFUSE/CONVERGE 算法。关于算法和分布任务组件 (中间件)的介绍详见《Laxcus 大数据管理系统》一文,这里不再赘述。图 18 演示了一个在 demo 账 号下,随机数的产生、排序、显示、保存的过程。 窗口文字解释: <1>“conduct”,Laxcus 容器命令,是 diffuse/converge 分布算法的语句化描述,所有大规模的分布计 算工作都能够包装在 conduct 命令下执行。 <2>“demo_sort”,分布计算的分布任务组件命名(不区分大小写)。这个分布任务组件已经集成在 Laxcus 演示系统中。 <3>“from、to、put”,conduct 命令关键字,是 diffuse/converge 分布计算的阶段。 <4>“sites”,conduct 命令关键字,要求的节点数目(节点是一台逻辑计算机)。 <5>“writeto”,conduct 命令关键字,指示数据写入的磁盘文件。 <6> “begin、end、total、orderby”,自定义关键字,格式是:“名称(数据类型)=参数”。这些关键字由 用户定义,在自己的中间件中解析和处理。 命令说明: 这是遵循 DIFFUSE/CONVERGE 分布算法,通过操纵一个名为“demo_sort”的分布任务组件,是 由多个 data 节点产生随机数,然后把它们分散到多个 work 节点上,进行排序计算和输出的过程。在 from 阶段,要求系统启动 6 个 data 节点,每个节点平均分配 2000(total)个数中的六分之一,产生从 0 到 99999 之间的随机数。to 阶段要求 3 个 work 节点,它承接 from 阶段产生的数字,每个 work 节点 平均分配 2000(total)个数中的三分之一,并对分配到的数字进行排序,排序采用降序方式。数据结果 在终端上显示,并写入一个名为"/laxdir/rnd.bin"的本地文件中(Linux 文件名,如果终端运行在 Windows 系统,需要改为对应的目录结构)。另:在 demo_sort 分布任务组件执行过程中,会对参数中要求的节 点数进行检查,如果达不到指定要求,将自动降为实际可用数目。实际上,由于 data、work 节点达不 到要求,demo_sort 在执行过程中已经对此做了处理。 laxcus.com 11 图 18 conduct 命令 数据查询 Laxcus 2.x 已经完全兼容 SQL,包括 SQL 四个操纵语句:INSERT、DELETE、UPDATE、SELECT, 同时支持 SQL 函数、GROUPBY、ORDERBY、嵌套查询(Sub Select)、连接查询(Join)的操作。 这些操作在内部都遵循 Diffuse/Converge 分布算法规则。在图形窗口上,语句化的操作命令与关系数 据库表现完全一致。 laxcus.com 12 图 19 嵌套查询(支持 SQL 函数) laxcus.com 13 图 20 group by 、order by 查询(支持 SQL 函数) 数据构建 数据构建是对各类数据的再整合和处理。同分布计算一样,数据构建工作通过命令进行。关于数 据构建的详见介绍,请见《Laxcus 大数据管理系统》一文。在 laxcus 2.x 版本中,系统提供了两个数 据构建命令“regulate、modulate”,它们分别是对一个节点或者几个节点的数据,以及 Laxcus 集群的 数据进行数据优化和重新整理。同分布计算一样,laxcus 也提供了数据构建的 API 接口,帮助用户实 现自己的数据构建业务。 laxcus.com 14 图 21 regulate 命令 图 22 modulate 命令 laxcus.com 15 流式处理 流式处理是 laxcus 2.x 版本的一项功能。它将原来基于硬盘的数据处理过程,转移到内存上进行, 使分布的数据计算过程,获得了数十倍的效率提升。Laxcus 流式处理非常简单,用户只需要在窗口上 输入的这个命令,此后所有命令,它们在集群的存储和计算过程,都将在内存中进行。反之,如果将 命令改为“set process mode disk”, 以后所有命令操作,都是基于磁盘的处理模式。 图 23 流处理命令 (此命令一旦生效,以后所有数据处理命令,如 select、conduct、modulate 都是流式处理) Watch 节点 在 Laxcus 集群里,监视和管理集群是 Watch 节点的职责。它以图形界面方式出现,在窗口上显示 集群的所有运行节点。集群中每个节点的登录、撤销、故障,都反馈到 Watch 节点,以文字或者声音 的形式实时表现出来。同时,集群管理员也可以输入交互式命令,实时检查和反馈集群的健康诊断情 况。有关 Watch 节点的操作命令,请见《Watch 节点命令手册》。 laxcus.com 16 Watch 登录界面(登录账号是:admin/laxcus,或者 demo/demo) Watch 操作界面窗口
还剩15页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

ibmppc

贡献于2018-05-20

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf