Product Center
神通OSS对象存储系统
一、产品介绍
神通分布式对象存储系统,用于存储非结构化数据,提供二进制数据文件及其相关属性数据,以对象集合为基础管理单元,对象集合中的每个对象包括对象数据和对象属性描述信息,提供REST或Restfull访问接口。提供对数据的存储管理,数据分发,数据处理,数据备份等功能,为各类应用系统的二次开发实现,提供基础的非结构化存储方案。OSS提供三个主要功能:
(1)数据存储。OSS管理对象数据,并将它们放置在标准的磁盘系统上,OSS不提供块接口访问方式,客户端请求数据时用对象ID、偏移进行数据读写。
(2)智能分布。OSS用其自身的CPU和内存优化数据分布,并支持数据的预取。由于OSS可以智能地支持对象的预取,从而可以优化磁盘的性能。
(3)每个对象元数据的管理。OSS管理存储在其上对象的元数据,该元数据与传统的inode元数据相似,通常包括对象的数据块和对象的长度。而在传统的NAS系统中,这些元数据是由文件服务器维护的,对象存储架构将系统中主要的元数据管理工作由OSS来完成,降低了客户端的开销。
二、产品功能
对象存储系统面向用户提供基于对象的存储服务功能。用户所上传的数据以对象的形式存储在存储系统的桶中,可以用硬盘进行类比:"对象"就像是文件,"桶"就像是文件夹(或目录)。对象可以存放在不同或者同一个桶中。桶管理与传统文件目录管理不同,无法按层次结构来管理,不能把桶放到桶中进行管理,用户通过临时授权方式进行权限控制,将桶和桶内的对象共享给其他用户。
![]()
神通OSS对象存储系统功能结构图
神通对象存储产品主要的功能描述:
· 存储桶管理
提供管理存储桶模块,主要提供创建存储桶,删除存储桶,查询存储桶。
· 对象管理
提供操作对象的模块,主要提供对对象的上传,下载,删除,追加,创建目录,删除目录,设置权限,删除权限。
· 用户管理
提供系统用户相关操作的模块,主要提供对用户的创建,删除,修改,查询。
· 缓存管理
管理对象存储系统中使用频率最高的用户信息和存储桶信息
· 垃圾回收管理
将垃圾表中的对象信息和存储桶信息对应的相关数据进行删除操作,并根据存储桶中对应数据表中删除的数据量来判断,那个数据表需要执行hbase的压缩操作,对存储空间进行回收。
· 生命周期管理
提供 对象(文件)生命周期管理来管理对象。可以为某个存储桶定义生命周期配置,来为该存储桶的对象定义各种规则。用户可以对存储桶配置,删除,修改生命周期。
· 权限管理
通过用户表和ACL标志位来实现对存储桶及对象的权限访问控制。
· Java SDK
提供rest接口外,还提供java版本的sdk,第三方java应用程序可以通过调用sdk来访问对象存储系统
· Web管理端
为了方便管理对象存储系统,系统提供了基于浏览器的Web管理端,来向用户提供管理用户,管理存储桶,管理对象等操作。
三、产品特点
Ø 安全可靠
· 数据冗余,保证数据不丢失
· 提供用户级别资源隔离机制,保证数据安全
· 数据传输对称加密,避免数据被窃取
Ø 通用灵活
· 提供RESTful API、SDK 开发包,与第三方系统集成简单
· 接口与亚马逊S3,阿里云高度兼容
· 不限文件数量和大小。您可以根据所需存储量无限扩展存储空间,解决了传统硬件存储扩容问题。
· 支持流式写入和读出。特别适合视频等大文件的边写边读业务场景。
· 支持数据生命周期管理。您可以自定义将到期数据批量删除或者转入到低成本的归档服务。
Ø 存储容量可扩展
· 对象内容可以扩展,对日志,监控视频数据以数据流形式扩展。
· 系统存储容量在线无限扩展,解决了传统硬件存储扩容问题
Ø 大数据处理
· 用户可以很方便的使用 Hadoop 大数据处理引擎,如 MapReduce、Hive、Spark、Tez 处理存储在系统上的数据