首页>>大数据 >>列表

利用云技术实现企业云存储集中管理

2021-06-10 20:41:33 字号:

近几年IT 领域最热门的关键词非“云计算”莫属。“云”是一些可以自我维护和管理的虚拟计算资源,包括计算服务器、存储服务器、带宽资源等,“云计算”是分布式处理、并行处理和网格计算的发展,或者说是这些计算机科学概念在商业环境中的综合应用和实现。


云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等技术手段,让网络中大量各种不同类型的存储设备在应用软件的管理下协同工作,共同对外提供数据存储和业务访问功能的系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。


随着云计算技术应用的日益普及,用户对云存储的需求越来越迫切,各大IT 厂商顺应市场需求,逐渐推出相应的解决方案,Nasuni 和TwinStrata 等供应商已经引入这类产品。


云存储体系结构如图1 所示,云存储系统与传统存储系统相比具有显着的差异,传统存储是指某一具体的存储设备或者由大量相同的存储设备构成的集合体。而云存储可以理解为一种由大量同构或者异构存储设备集合构成的分布式存储服务。

\

图1 云存储体系结构图


具体而言两种有下不同:第一,从功能需求角度看,传统存储系统则关注于数据如数据存储、事务处理、数据备份等应用,而云存储系统更关注用户,面向用户提供多种类型的存储服务;第二,从性能需求来看,传统存储对资源利用率低,对存储资源的分配通常是静态的,而云存储对资源利用率非常高,采用动态的方法分配存储资源;第三,从管理和成本角度看,传统存储的投资成本和管理成本都十分昂贵,而云存储系统可有有效降低投资成本和管理成本;第四,从服务需求角度来看,传统存储故障率相对较高,而云存储则采用业务迁移、数据冗余和数据备份等技术手段保证服务的正常运行;第五,从实时性角度来看,传统存储存在于本地,无法随用户移动,而云存储属于托管存储,只要有互联网接入用户即可实时地存取数据。


基于上述特点,云存储平台整体架构可划分为4 个层次,自底向上依次是:物理层、存储管理层、业务服务层以及用户访问层。云存储系统整体架构如图2 所示。

\

图2 云存储系统整体架构图


[page] 1. 物理层


云存储系统物理层由包括多种不同各类的存储设备,以及将设备连接起来的物理链路。云存储系统多应用于复杂的分布式网络环境,在这种情况下,传统的基于局域网的数据组织难以满足广域网多用户条件下的功能和性能要求,实际应用中可能以光纤、VPN 等多种形式将分散在不同位置的存储设备连接起来,形成一个大的数据存储系统,对外提供服务。


云存储的物理层将不同类型的存储设备互连起来,实现数据的统一管理,同时实现对存储设备的集中管理和状态监控,其实质是一种面向服务的分布式存储系统。


2. 存储管理层


存储管理层是物理层的逻辑抽象,它隐藏了云存储系统的物理特性,封装了物理设备与逻辑设备的对应关系,将复杂的管理策略模块化,为上层应用提供高度集成的管理接口。上层应用通过接口实现多存储设备之间的协同工作,以更好的性能对外提供服务。


3. 业务服务层


业务服务层在物理层、存储管理层的支持下对外提供数据服务,它具有多样性和灵活性的特点。在不用应用环境中,业务服务层的表现形式可以是不同的。基于不同的应用需求和开发环境,业务服务层可能表现为网站、移动应用程序、WEBSERVICE等多种形式,但本质上都是实现数据的存储和共享。


4. 用户访问层


用户访问层从根本上讲,是一套用户授权、认证机制,它决定用户以怎样的形式对既定的数据进行哪些权限范围内的操作。多数情况下,用户访问层以模块的形式集成于业务服务层和存储管理层中,这些模块共同构成数据访问规则。


根据使用环境的不同,云存储系统的实现方式不同,云存储系统可以划分为不同种类。Google,Amazon等网络公司在线提供的服务称为共有云;使用技术厂商现成的解决方案,或者根据实际情况购买软硬件设施自主建设私有云;结合共有云和私有云而成的混合云等。


笔者在一个局域网教育培训系统的过程中,结合实际需求探索出一条结构简单、成本低廉、管理方便的云存储解决方案。


因工作需要,公司需建设一套局域网内的教育培训系统,用于开展员工的在线教育培训工作,以节约成本、提高工作效率。公司组织结构分为三层,一级机构下设多个二级营销部,每个营销部下设若干个市场部,员工总数近一千人。各级单位联网办公,网络结构图如图3所示。由于在地理位置上距离较远,二级、三级单位通过VPN 方式连接至一级单位。核心网络千兆交换,下级单位VPN 连接带宽为2M。

\

图3 应用环境网络结构图


教育培训平台需要在用户终端与服务器之间传输处理大量的视频、文档等数据,这一需求在纯粹的千兆,或者百兆局域网内使用传统的应用架构十分容易实现,但在上图所示的实际环境中,却面临着效率上的问题。这一问题主要表现在二级、三级单位层面,因网络带宽小、用户数量大,实时的在线视频、文件传输无法保证流畅性,同时还会严重影响其它业务的正常运行。只有使用云存储系统,将用户的大数据量请求限制在用户所在百兆或者千兆局域网内,才能解决这一问题。


经过对公司网络结构和教育培训系统需求的深入分析,参考了当下比较成熟通用的云存储技术Hadoop,项目组决定应用系统集中部署,文件则使用分布式存储,建立公司内部私有云存储系统。该教育培训系统采用服务访问层,请求处理层,云端存储层三层结构,如图4 所示。

\

图4 应用系统架构图


[page] 服务访问层隐藏了系统所提供服务的具体实现为用户提供服统一的务接口,请求处理层负责处理用户的服务请求访问云端数据,云端存储层管理所有用户的数据存储。


系统的网络部署为中心机房部署一台主文件服务器,每个下级单位所在的局域网部署一台二级文件服务器,文件服务器采用带HTTP、FTP 管理功能的NAS 设备。整体的硬件、网络结构如图5所示:

\

图5 云存储系统结构图


在图5 所示的硬件结构中,软件系统需要解决以下两个问题:


1.用户请求与存储设备的映射


在实际运行过程中,中心管理系统接收到文件请求时,首先根据用户的身份信息查找文件存储节点地址映射表,判断用户所处的局域网,然后将文件请求链接至对应局域网的文件服务器,在进行文件存在性判断,如果所在节点存在请求文件则向用户传输所请求文件,如果不存在该文件则将请求重新定位到中心文件服务器请求文件,通过中心服务器想用户传输文件。存储设备地址映射过程如图6 所示。

\

图6 云存储映射示意图


2.文件服务器同步


整个网络中存在多台文件服务器,在工作过程中,管理员只将文件发布到中心文件服务器上,其它子文件服务器由系统根据培训任务,自动将相应的培训资料下发至对应的子文件服务器。


由于各级单位都划分了单独的网段,上述第一个问题解决起来十分简单,通过客户端IP地址就能将文件请求对应到所在局域网的文件服务器。第二个问题相对而言较为复杂,需要综合考虑用户所在单位、单位所在网段、单位对应的培训以及培训关联的文件等各方面因素,形成一套存储管理策略。管理员根据工作需要,调用管理策略,在业务空闲时段安排文件同步任务,就能实现文件服务器的数据同步。文件同步过程如图7所示。

\

图7 云存储同步示意图


从实际运行效果来看,上述云存储方案较好地解决了多级网络中的带宽瓶颈问题,很好地支持了应用的运行。相比其它解决方案,体现出一定的优势,表现在以下几个方面:


实现成本低


该方案从根本上讲,采用了“以空间换取效率”的原则,在各个子网内部署文件服务器,以保障系统运行效率。对原有的网络、服务器和软件环境没有进行升级改造,主要的投入体现在网络文件服务器上。目前千元级大容量的局域网文件服务器产品很多,实施过程中这方面的投入很容易控制。相比使用成套的云存储产品,该方案的成本优势十分明显。


管理方便


使用该方案的系统结构,可以十分灵活地对存储设备进行管理。增加、删除一个文件服务器节点需要做的工作非常少,存储的扩容也很灵活,除中心服务器外,子文件服务器相互之间不受影响,方便进行系统升级、维护。


扩展性强


该方案的云存储管理软件使用HTTP、FTP 等成熟的网络协议,实现简单,完全自主开发,不涉及任何第三方的协议和接口,方便进行系统完善和功能扩展。结束语


随着信息技术和业务需求的不断发展,云存储技术必将被越来越多的应用,笔者在应用系统实施过程中,结合实际需求,在云存储实现和应用领域进行了一次有价值的探索和思考。期待云存储技术在经历不断的发展后,能够更加多样化,具有更好的适应性,让各个层次的企业都能应用云存储、用好云存储。



第三十届CIO班招生
法国布雷斯特商学院硕士班招生
北达软EXIN网络空间与IT安全基础认证培训
北达软EXIN DevOps Professional认证培训

EOCR hkjum57103.51sole.com