神通OSS对象存储系统

一、产品介绍

       神通分布式对象存储系统，用于存储非结构化数据，提供二进制数据文件及其相关属性数据，以对象集合为基础管理单元，对象集合中的每个对象包括对象数据和对象属性描述信息，提供REST或Restfull访问接口。提供对数据的存储管理，数据分发，数据处理，数据备份等功能，为各类应用系统的二次开发实现，提供基础的非结构化存储方案。OSS提供三个主要功能：

   （1）数据存储。OSS管理对象数据，并将它们放置在标准的磁盘系统上，OSS不提供块接口访问方式，客户端请求数据时用对象ID、偏移进行数据读写。

   （2）智能分布。OSS用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSS可以智能地支持对象的预取，从而可以优化磁盘的性能。

   （3）每个对象元数据的管理。OSS管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由OSS来完成，降低了客户端的开销。

二、产品功能

       对象存储系统面向用户提供基于对象的存储服务功能。用户所上传的数据以对象的形式存储在存储系统的桶中，可以用硬盘进行类比："对象"就像是文件，"桶"就像是文件夹（或目录）。对象可以存放在不同或者同一个桶中。桶管理与传统文件目录管理不同，无法按层次结构来管理，不能把桶放到桶中进行管理，用户通过临时授权方式进行权限控制，将桶和桶内的对象共享给其他用户。

 

神通OSS对象存储系统功能结构图

 

神通对象存储产品主要的功能描述：

· 存储桶管理

提供管理存储桶模块，主要提供创建存储桶，删除存储桶，查询存储桶。

· 对象管理

提供操作对象的模块，主要提供对对象的上传，下载，删除，追加，创建目录，删除目录，设置权限，删除权限。

· 用户管理

提供系统用户相关操作的模块，主要提供对用户的创建，删除，修改，查询。

· 缓存管理

管理对象存储系统中使用频率最高的用户信息和存储桶信息

· 垃圾回收管理

将垃圾表中的对象信息和存储桶信息对应的相关数据进行删除操作，并根据存储桶中对应数据表中删除的数据量来判断，那个数据表需要执行hbase的压缩操作，对存储空间进行回收。

· 生命周期管理

提供 对象（文件）生命周期管理来管理对象。可以为某个存储桶定义生命周期配置，来为该存储桶的对象定义各种规则。用户可以对存储桶配置，删除，修改生命周期。

· 权限管理

通过用户表和ACL标志位来实现对存储桶及对象的权限访问控制。

· Java SDK

提供rest接口外，还提供java版本的sdk，第三方java应用程序可以通过调用sdk来访问对象存储系统

· Web管理端

为了方便管理对象存储系统，系统提供了基于浏览器的Web管理端，来向用户提供管理用户，管理存储桶，管理对象等操作。

三、产品特点

Ø 安全可靠

  · 数据冗余，保证数据不丢失

  · 提供用户级别资源隔离机制，保证数据安全

  · 数据传输对称加密，避免数据被窃取

Ø 通用灵活

  · 提供RESTful API、SDK 开发包，与第三方系统集成简单

  · 接口与亚马逊S3，阿里云高度兼容

  · 不限文件数量和大小。您可以根据所需存储量无限扩展存储空间，解决了传统硬件存储扩容问题。

  · 支持流式写入和读出。特别适合视频等大文件的边写边读业务场景。

  · 支持数据生命周期管理。您可以自定义将到期数据批量删除或者转入到低成本的归档服务。

Ø 存储容量可扩展

  · 对象内容可以扩展，对日志，监控视频数据以数据流形式扩展。

  · 系统存储容量在线无限扩展，解决了传统硬件存储扩容问题

Ø 大数据处理

  · 用户可以很方便的使用 Hadoop 大数据处理引擎，如 MapReduce、Hive、Spark、Tez 处理存储在系统上的数据