关 闭

新闻中心

EEPW首页>工控自动化>设计应用> 基于HDFS的云存储在高校信息资源整合中的应用

基于HDFS的云存储在高校信息资源整合中的应用

作者: 时间:2012-02-22 来源:网络 收藏

中数据的交互无外乎数据的读和写,重点设计的对象就是客户端、名称节点和数据节点。客户端首先从名称节点中读取对应的文件块信息,再和数据节点建立连接并获取数据,图2具体描述了数据读取过程。

本文引用地址://m.amcfsurvey.com/article/202391.htm

b.jpg


的数据写入过程比读取过程细节上更为复杂一些,但是模型图非常类似。除了数据的读写,维护数据的可用性和一致性也是系统最基本的要求和重要的功能。一般来说,系统通过数据复制、节点故障、数据校验、垃圾回收机制来维护数据的可用性和一致性。

3应用于整合高校
3.1 系统分析与设计
目前高校面临着空前的海量数据管理难题,存储数据的成本在不断增加,而且信息的安全性也亟待提高。因此要借用这种新的工作模式来解决这个问题。根据高校的特殊情况,结合的优点,要设计一个成功的云存储案例,需要考虑这么几个方面:
1)低成本海量存储 将数据存储在一般的个人电脑构成的网络中,并进行合理调配,构成一个有机海量存储设备。
2)高效率的访问 数据尽可能的存储在不同的数据节点中,当客户端对信息进行请求时,能高效的回复,并做到并发。
3)安全性高 每个文件都会有多个副本分别存储在多个数据节点上。如果某个数据节点出现问题,不会发生文件丢失的现象。
3.2 系统功能设计
高校相对于云存储系统是一个用户,而高校内部有多个部门,相对于云存储系统的用户高校来说是一个子用户。云存储系统能够创建、管理、维护高校云存储用户;高校云用户能够创建、管理、维护各部门子用户。而子用户才是真正的终端信息存储用户,他们上传、下载、删除数据信息。由于我们的这个系统是基于HDFS的,而一个基本的HDFS由一个NameNode和n个DataNode组成,云存储系统是由多个地方的HDFS存储设备通过应用软件集合起来协同工作,完成外部访问请求。可以将本文描述的分布式文件系统(DFS)抽象成一个三级模型,如图3所示。

c.jpg


根据系统结构图可以清楚看到本文描述的分布式文件系统(DFS)的业务逻辑模型:终端网络发出信息存取访问请求,DFS通过封装与HDFS通信协议的Client客户端与基于HDFS的云存储系统进行通信,完成对信息的访问。HDFS存储业务以云状分布在网络的各个部分,它具有容量大、性能高、可靠性好、协同优良的特点,正是这些特点,完成了高校高效访问与存储。

4 结论
基于HDFS的云存储是一种动态可调整、基于互联网的存储解决方案,用户可以通过通用和易用协议和应用程序接口通过网络访问存储目标,这种新技术对最终用户来说很有好处。云存储可以让用户很容易增加存储容量,而且不需要购买、安装和管理任何存储基础设施,却提供了一个完善的备份、容灾数据中心。云存储的成本和易用性优势对高校具有很强的吸引力,发展和应用前景广阔。


上一页 1 2 下一页

评论


相关推荐

技术专区

关闭