无标题文档 带二维码可隐藏的QQ在线咨询客服代码
 
 
QQ在线咨询
售前咨询热线
0571-85151813
售后咨询热线
0571-85151813

产品服务SERVICE

云储存和大数据

您的位置:产品服务 > 云储存和大数据

云储存和大数据

作者: 众盟 发布时间:2019-03-27



   当今社会是个信息爆炸的社会,各行各业的数据都在 成倍的增长,成倍增长的数据需要大量的存储设备来存储,如果还使用大型机、小型机等传统的存储设备,硬件成本和维护成本必定是昂贵的。同时,国家倡导节能减排,减少用电,节约用电,不但是企业降低运营成本的需要,更是作为一个公民应尽的义务。云存储系统正是在这样的背景下发展起来的。

云存储系统采用了先进的云计算技术、网络通信技术以及分布式文件系统技术,将廉价的、性能低下的硬件存储节点组织管理起来, 提供高性能、高可靠的存储系统。

作为云计算架构中的基础设施层,随着数据量的爆炸式增长,对云存储技术和产品的需求已经呈现扩张! 比尔盖茨曾预言,未来的云存储市场将比目前IT业的市场总和还要大!因此,云存储产品必将具有异常广阔的市场前景!

         cStor云存储系统是南京云创大数据科技股份有限公司自主研发的、具有自主知识产权的高科技产品,整套系统包括软件与硬件,是一个海量的云存储平台。与传统的大规模存储系统相比,cStor针对大多数数 据密集型应用的特点从多个方面进行了优化,从而在一定规模下达到成本、可靠性和性能的平衡。cStor凭着很低的价格、优异的性能、高度可靠、绿色节能、在线自动伸缩、易用通用等诸多压倒性优势,获得了广电、安防、刑侦、政务、交通、动漫等各行业用户青睐,产品代理和销售商已发展到数十家。目前,cStor云存储系统已成熟应用于安防视频监控 、刑侦、广电、交通、电信、医疗、政务、教育等诸多领域,性能优越,表现出色,得到用户称赞。



  cStor云存储文件系统包括: 卷管理服务、元数据服务、存储服务、客户端、网管监控中心。


负载自动均衡技术


cStor采用中心服务器模式来管理整个云存储文件系统,元数据均保存在管理节点上,文件则划分为多个数据块存储在不同的存储节点上。

管理节点维护了一个统一的命名空间,同时掌握整个系统内存储节点的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据存储节点的磁盘使用情况、网络负担等情况,选择负担很轻的存储节点对外提供服务,自动均衡负载负担。

另外,当某有一个存储节点因为机器故障或者其他原因造成离线时,管 理节点会将此机器自动屏蔽掉,不再将此存储节点提供给客户端使用,同时存储在此存储节点上的数据也会自动的备份到其他可用的存储节点上,自动屏蔽存储节点故障对系统的影响。



高速并发访问技术


客户端在访问cStor时,首先访问管理节点,获取将要与之进行交互的存储节点信息,然后直接访问这些存储节点完成数据存取。cStor的这种设计方法实现了控制流和数据流的分离。

客户端与管理节点之间只有控制流,而无数据流,这样就很大地降低了 管理节点的负载,使之不成为系统性能的一个瓶颈。客户端与存储节点之间直接传输数据流,同时由于文件被分成多个数据块进行分布式存储,客户端可以同时 访问多个存储节点,从而使得整个系统的I/O高度并行,系统整体性能得到提高 。

通常情况下,系统的整体吞吐率与存储节点的数量呈正比。



高可靠性保证技术


  对于元数据,cStor通过操作日志来提供容错功能,当管理节点发生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。为了防止管理节点出现死机的情况,cStor还提供了管理节点远程的实时备份,这样在当前的管理节点出现故障无法工作的时候,另外一台备管理节点可以迅速接替其工作。

对于存储节点,cStor采用副本的方式实现容错。每一个数据块有多个存储副本(默认为两个),分布存储在不同的存储节点上。副本的分布策略考虑了多种因素,如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个存储节点 ,要将副本全部写入成功,才视为成功写入。在其后的过程中,如果相关的副本出现丢失或不可恢复等状况,管理节点会自动将该副本复制到其他存储节 点,从而确保副本保持一定的个数。在有多个存储节点的情况下,任意损失一个节点,数据都不会丢失,而且随着存储节点数目的增多,整个系统的可靠性越大 。


高可用技术


  由于采用了低耦合的分布式架构,所有服务节点均通过网络互连,系统可以在不停服务的情况下,通过增删节点的方式伸缩系统规模。存储节点和元数 据管理服务节点间通过注册管理机制自适应管理,实现自动伸缩。

  元数据服务器采用主备双机热备技术,主机故障,备机自动接替其工作,对外服务不停止;存储节点采用冗余备份机制,多个存储节点情况下,任意损失一个节点,数据不丢失,服务不停止。

  cStor云存储系统所有管理工作由云存储系统管理监控中心完成,使用人员无需专业知识便可以轻松地管理整个系统。

无标题文档