分布式内存文件系统,Tachyon 0.8发布

jopen 8年前

Tachyon 0.8发布。最重大的新增功能包括支持同时mount多个不同的底层存储系统,并提供统一访问接口。比如将一个HDFS集群挂载在tachyon目录 /my_hdfs/, 再将另一个S3系统挂载在tachyon目录/my_s3/,而客户可以通过Tachyon统一访问不同子系统中的文件.更多功能尽在:http://tachyon-project.org/release/


Tachyon
是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在tachyon里的文件。把 Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件,落地到分布式内存文件系统中,来达到共享内存,从而提高效率。同时可以减少内存冗余,GC时间等。
20140808145905388.png

Tachyon架构 

       Tachyon的架构是传统的Master—slave架构,这里和Hadoop类似,TachyonMaster里WorkflowManager是 Master进程,因为是为了防止单点问题,通过Zookeeper做了HA,可以部署多台Standby Master。Slave是由Worker Daemon和Ramdisk构成。这里个人理解只有Worker Daemon是基于JVM的,Ramdisk是一个off heap memory。Master和Worker直接的通讯协议是Thrift。