成都科汇科技有限公司
Kehui Technology Co., Ltd.
本文是基于金融行业对象存储需求分析和架构规划实践,围绕对象存储的使用场景、对象存储技术方案等方面的线上交流分享的汇总,由社区专家顾文俊整理。
Q1、对象存储在有哪些优势?
@Garyy:
对象存储与熟悉的块和文件存储略有不同。它将数据整理到可灵活调整大小的数据容器中,也就是对象。这些对象存储在可能跨多个位置的平面命名空间中。每个对象都包含数据(未解释的字节序列)和元数据(****的 ID 再加上描述该对象的一组可扩展属性)。
此方式的优势在于,可以基于**属性引用和查询数据。此外,不同于很容易放错地方的纸质停车票据,您可以通过多种方式找到正确的“票据”,而且还可以根据需要采用安全或简单的方式使用票据。标识符标记支持大量文件索引,高出文件系统几个数量级,因而对象存储成为分布在各地并且包含几十亿个文件的企业存储的理想选择。
以下三大趋势促使人们越来越关注对象存储:
非结构化数据的持续增长要求采用新方式来存储和保护数据。支持对象的数据管理有助于智能数据放置,可满足广泛的性能、持久性、可用性、位置和长期性要求。
越来越多的企业需要应对日趋分散的数据创建和使用所带来的问题。“主数据中心加灾难恢复数据中心”这种模式正逐渐被多站点方式所取代。在多站点方式中,用户、工作负载和数据的联系越来越紧密。
混合云提供了可平衡成本和性能的新选项,并且 IT 团队希望找到合理利用内部存储和基于云的存储的**方式
Q2、对象存储在目前的生产环境中主要可应用在哪些场景中?
@Garyy:
企业对云对象存储的需求主要来自业务系统和存储运维管理两方面。其中业务系统方面的需求主要包括影像系统后端存储的升级改造、双录系统存储建设。而运维对云对象存储的需求则更倾向于存储安全性、容量和性能扩展性以及存储管理便捷性等方面。需求分析如下:
➢ 业务发生在白天6-8小时,上传和查询比为1:3;
➢ 平均每交易产生10个文件,文件平均大小100~200KB;
➢ 要求查询一批文件的时间小于3秒;
➢ 上传业务以突发性(有一定周期性)写为主(文件写操作,有一定量的写合并),4K和128K占较大比例;
➢ 下载业务以持续较随机读为主,IO大小4K~32K。
➢ 特性需求:WORM、一体化备份、快照、远程复制。
➢ 业务挑战:海量非结构化小文件,在线存储成本高,容量有限,备份和恢复效率要求高。
在线票据影像场景主要处理小文件,实时性能要求高,目前以集中式NAS建设为主;票据影像归档场景处理海量文件的归档,性能要求不高,容量增长快,目前以存放到SDS对象存储为主。
Q3、大型企业中,SDS对象存储是否可替代集中式NAS存储?
@Garyy:
传统的NAS存储在传统企业中目前仍占据很大的地位,但是由于互联网大数据的兴起,非结构化数据越来越占据主导地位,所以传统NAS无论在scale-out扩展方面,还是运维的方便性,还是使用者的易用性方面,都无法和对象存储相比。
云对象存储的实施给企业现有的集中式 SAN 和 NAS 存储带来了更多的活力,是对传统存储架构的有效补充,增强了企业存储系统应对日益变化的前端业务需求的灵活性。
由于云对象存储产品普遍采用了商用 x86 硬件的分布式架构,因此较之于传统集中式的存储解决方案,这种新的平台可以有更灵活的横向在线扩展能力,从而可以轻松应对业务规模、数据量骤增带来的后端存储压力。
另外在云对象存储平台解决了企业海量非结构化数据存储需求的同时,通过其分布式架构天然具有的容灾特性可以轻松构建跨多站点的灾备方案。
再者,借助云对象存储对文件多版本的支持以及比传统存储更高的可用性、可靠性和可维护性指标, 云对象存储平台同时也成为了一个免备份的数据保护平台,从而可以进一步降低企业 IT 系统的 TCO。
Q4、对象存储在保险企业的适用场景有哪些?
@lzg21st:
一般来讲,传统行业一般采用集中式的SAN和NAS存储数据。但随着非结构化数据越来越多,传统的存储也出现了问题。一方面使用传统存储存放海量非结构化数据的成本高。再者,海量的非结构化数据在树型结构的文件型存储里的检索速度会随着文件数量和目录层级的复杂而效率下降。此外,海量的数据在传统存储里的备份是个难题。而对象存储的引进能从如上诸多方面解决用户的烦恼。
从业务层面来看,对于保险行业的影像系统,双录系统都是非结构化数据的密集地,这些业务场景都可以适时改造为对象存储。
@Garyy:
一直以来,作为传统行业,保险公司的存储系统普遍采用集中式的 SAN 和NAS 存储。这种采用专业 硬件的紧耦合架构设计的传统集中式存储一直主导着险企存储技术的发展,而且长期以来都作为各种保险 业务、ERP、邮件的主存储系统,因此我们的关注点也大多集中在如何提高这些专用存储系统的性能、安全性和可管理性上。
但随着企业的发展,保险业务量的激增,企业信息系统出现越来越多的非结构化数 据。影像系统是非结构化数据的一个主要来源,已经积累了数十亿的文件量,占用了近 PB 的空间,这些 非结构化数据主要存放在上述集中式存储上。由于传统存储采用集中的元数据处理方式,因此,当存取千万、亿级的文件量时就会出现陡峭的性能骤降拐点,直接表现就是前端内容管理平台处理效率降低,核保、保全以及理赔等保险业务效率的下降,*终导致客户满意度的下降,这显然不利于险企的健康持久发 展。
而采用扁平化数据组织方式的对象存储系统,能够有效解决纵深目录结构带来的文件存取效率低的问 题。另外,中国保监会发文要求保险行业实施“双录”系统,以便规范保险代理人的销售行为, 保障被保险人权利。“双录”系统的实施,带来了更多的录音、录像等非结构化数据,保险业的对象存储之路势在 必行。本文就是围绕保险业影像、“双录”等系统以及各类文件型应用产生的海量非结构化数据的存储和管 理优化,进行分布式云对象存储系统的方案设计。
Q1、保险行业保单存量数据量巨大,如何快速从传统存储迁移至对象存储?
@聂奎甲:
使用数据无缝迁移的工具,能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。用户访问数据时,若对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到对象存储,将数据传递给用户。
Q2、对象存储节点部署中如何**高可用?
@Garyy:
通过三副本和纠删码等多种数据冗余模式,保障数据可靠性。同时,对象存储可以具备跨地域的多数据中心服务能力,支持 数据跨区复制,**存储的高可用性。
对象存储系统通过接入业务接入集群和存储集群提供基础服务 能力支撑,集群支持水平扩展,接入集群与存储集群都可以进 行平滑扩容。且随着底层硬件规模增大,云存储系统的并发能 力也可以随集群规模线性增长,以支持更多数量用户访问。
存储空间(Bucket)支持多租户访问隔离,支持基于用户授权、 访问行为、访问地址等多个维度进行完善的访问控制安全机 制。同时,数据传输支持客户端及服务端加密,并通过 SSL 加密数据传输,**数据传输安全。
Q3、对象存储的数据一致性怎么**?
@Garyy:
所有的数据存储都涉及到简称为CAP的三个元素:一致性、可用性和分区。
如果只是执行了写操作从而改变了一个对象,但有人正在从另外的节点访问这个对象。节点可能会在不同的物理位置,因为对象存储支持很大的地理扩展。新用户可能正在读取对象,但那是旧版本。这就是对象存储的*终一致性问题,此时并没有及时的同步。
这将成为问题,特别是利用对象存储做协同的时候,厂商为**对象存储的一致性做了很好的工作,一旦对象更改将不支持读取旧的内容。你必须等待,但你所读取的内容会是一致的。
Q4、分布式存储是用硬件解决方案还是软件解决方案好?
@Garyy:
分布式存储目前市场上看,有两种方式---软硬一体化和软件解决方案。
软硬一体化的解决方案,主要是传统的存储厂商,他们既有硬件产品,也有相应的控制软。纯软件的解决方案主要是ceph的产品化,对底层的硬件没有强制要求,兼容绝大多数的x86服务器。
对于方案的好坏对比,目前从使用的案例看来,差不多五五开。软硬一体的解决方案,在技术成熟度方面,在稳定性方面肯定优于采用通用硬件的纯软件解决方案。但是,在性价比方面,纯软件的解决方案无疑更具有优势。同时,纯软的解决方案,也是在不断的进步和完善中。
Q5、保险企业应该如何进行对象存储的系统方案设计?有哪些具体的设计内容?
@wykkx:
保险也是属于金融行业,金融行业**的需求就是数据的可靠性。那么在选取产品的时候应该把数据的可靠性放在**位。功能方面其实现在成熟的对象存储产品都比较同质化了,更多的是看需求方有没有一些个性化需求。
@Garyy:
1)需求分析
需要了解对象存储使用的场景,对接的应用系统对于对象存储的技术需求。例如存储等级划分,是需要ssd,sas,还是普通sata即可;是否需要数据安全一致性检查等等
2)产品选型
选择合适的产品进行部署,包括软件,硬件。
3)设计整体解决方案
设计硬件的组网方案,包括网络设计,对象网关的设计,副本技术选择,LoadBalance设计,系统性能调优设计等等。
Q6、如何评估对象存储项目的整体成本?
@Garyy:
整体成本需要从如下几个方面考虑:
1)硬件成本
涉及主机相关-包括管理服务器,网关服务器,存储服务器(CPU,内存,系统盘,数据盘,SSD,网卡);网络设备-主要包括万兆交换机或者IB交换机;以及上架相关的设施
2)软件成本
分布式存储软件,一般是按照每个节点收取license费用(节点包含管理节点,数据/存储节点,网关节点),或者按照存储总容量(注意,通常不是按照可用容量计算。例如150TB的总容量,3副本,实际可用容量<=50TB)来收取费用。
3)运维成本
维护所需投入,例如原厂/代理商专家现场服务,原厂/代理商驻场服务,每个季度/半年/年的系统巡检等。
—————————————————————————————————————————
IT解决方案:
文件共享、私有云盘、企业网盘 解决方案
存储雷电MAS/DAS /SAN/JBOD/IPSAN ISCSI 解决方案
企业级存储 解决方案
备份 容灾 数据保护系统 解决方案
防勒索病毒解决方案
NAS 应用场景:
**解决文件共享/文件分享问题,替代传统文件服务器
NAS网络存储 文件NAS存储 PC备份 服务器备份 数据库备份
磁带库 灾备 灾难备份 不同 备策略建立独立的备份作业, 文件备份 系统备份 数据库备份 虚机备份
非结构化数据的备份
群晖备份一体机 适用于的企级备份软件有:
(acronis 安克诺斯 /veeam卫盟/Veeam Backup & Replication /veritas华睿泰/commvault 慷孚沃德 /arcserver )
PHD virtual , Nakivo, IBM spectrum protect , (TSM) HP data protector
DELL EMC Networker RecoverPoint 、Quest 、 veritas system recovery 18
虚拟数据保护方案:
RTO 小于2分钟
SaaS数据的第三方备份 、saas数据备份、SaaS备份、salesforce数据备份、 Office 365数据备份、Google Cloud G Suite数据备份 和Salesforce.com数据备份
虚拟机备份解决方案:
无代理备份方案、oVirt 备份方案,Ovirt虚拟化备份,
VMware vSphere 备份方案、Citrix XenServer备份方案、RedHat RHV备份方案、、Ovirt备份方案、、H3C CAS备份方案、、Openstack备份方案、、华为 FusionSphere备份方案、、中科睿光 SVM备份方案、、深信服 HCI备份方案、、云宏CNware备份方案、、浪潮 InCloud Sphere备份方案、、中标麒麟**服务器虚拟化备份方案、、噢易服务器虚拟化备份方案。
兼容国内备份软件:
英方,i2,information2,上海英方软件股份有限公司 ,联鼎,精容数安,鼎甲,火星仓,合力记易UPM,浪擎,爱数 云祺 盛思睿,备份与恢复 ,信核数码,数腾 datasure。
西南NAS存储总分销:
威联通 qnap, 色卡司thecus,infotrend普安, 华芸asustor qsan, 铁威马TerraMaster
国外存储:
EMC易安信,netapp ,hds. netapp, 宏杉macrosan , 浪潮存储inspur,联想存储lenovo,联想凌拓存储lenovo-netapp,曙光存储sugon,华为存储 huaweioceanstor,海康hikvision IPsan ,大华 dahua IPsan
分布式存储:vsan,smarx, x-sky
二级存储:cdm
超融合hci:nutanix ,深信服 ,
NAS专用硬盘:
seagate 希捷 酷狼ironwolf ,锡捷seagateironwolf 酷狼pro ,WD westdigital 红盘
黑群晖无法升级,易丢失数据,建议用白群晖,黑群晖洗白
产品:国行原装**, Synology群晖科技官网
synology partner:
深圳市凯洛蜜贸易有限公司
深圳国亿国际贸易有限公司(深圳国亿国际)
世平伟业国际贸易(上海)有限公司(上海世平伟业)
群晖官网:synology inc , 群晖科技官网
服务区域:四川群晖 成都群晖 西藏群晖 重庆群晖贵州群晖 贵阳群晖 云南群晖 昆明群晖
NAS品类:
存储服务器,NAS网络存储服务器,群晖NAS网络存储,synology nas ,网络附加存储, nas存储器, nas服务器,企业级网络存储器,网络存储器,NAS云存储,网络存储池,私有云存储
群晖配件:
群晖钥匙,群晖硬盘钥匙、群晖硬盘托架钥匙
群晖网卡,群晖万兆网卡。群晖内存,群晖电源,群晖主板
|
售后客服:
免费提供以下群晖技术支持服务:
群晖技术支持 群晖nas售后 群晖售后 群晖存储盘
群晖售后服务 群晖nas 群晖nas售后
售后 :
系列号查询是否过保,系列号查询是否在保
群晖数据恢复:
服务器数据恢复 raid数据恢复 nas数据恢复 希捷数据恢复 西数硬盘恢复 seagate 数据恢复 WD数据恢复 群晖硬盘数据恢复
代理体系:
synology群晖全国总代理、synology群晖国代,synology群晖总代理,synology群晖总分销商、synology群晖授权经销商、synology群晖官方代理商)
方案适用机型:
2019出品-19系列:
ds1019+、 DS1219+ 、UC300 RackStation、FS3400、FS3600、FS6400、HD6400、SA3200D、SA3400、SA3600、UC3200、DVA3219
18-系列:
FS1018、RS3618xs、DS3018xs、RS2818RP+、RS2418(RP)+、RS818(RP)+、DS918+、DS718+、DS418、DS418play、DS218+、DS218play、DS418j、DS218、DS218j、DS118、NVR1218;
17-系列:
FS3017、FS2017、RS18017xs+、RS4017xs+、RS3617xs+、RS3617RPxs、RS3617xs、RS217、DS3617xs、DS1817+、DS1517+、DS1817、DS1517、扩展柜:417sas、RX1217sas、RX1217、DX517;
16-系列:
RS18016xs+、RS2416RP+、RS2416+、DS916+、DS716+II、DS716+、RS816、DS416、DS416play、DS416slim、DS416j、DS216+II、DS216+、DS216play、DS216、DS216j、DS216se、DS116、NVR216、群晖扩展柜 RX1216sas;
15-系列:
RC18015xs+、DS3615xs、DS2015xs、RS815(RP)+、DS2415+、DS1515+、DS415+、RS815、DS1515、DS715、DS415play、DS215+、DS215j、DS115、DS115j、DS1815+;
14-系列:
RS3614xs+、RS2414(RP)+、RS814(RP)+、RS814、DS414、DS214+、DS214play、RS214、DS414j、DS414slim、DS214、DS214se、DS114、EDS14;
13-系列:
RS10613xs+、RS3413xs+、DS2413+、DS1813+、DS1513+、DS713+、DS413、DS213+、DS413j、DS413j、DS213、DS213j、DS213air;
12-系列:
DS112、DS112j、DS112+、DS212、DS212j、DS212+、DS412+、DS712+、DS1512+、DS1812+、DS3612xs、RS212、RS812、RS812+、RS812RP+、RS2212+、RS2212RP+、RS3412RPxs、RS412xs、RS412RPxs;
11-系列:
DS1511+、ds2411+, RS3411xs、RS3411RPxs、DS3611xs,扩展箱 DX1211、rx1211rp+, rs411
RS2211(RP)+,RS3411(RP)xs,RX1211(RP);
10-系列:DS1010+,DS710+,RS810(RP)+ ,rx410;
09-系列:
ds509+ ,rs409,rs409RP+,rx4;
早期系列:ds-101 ;
群晖配件:
M2D17 ,synology 群晖监控许可证
成都科汇科技有限公司 --- 专业数据备份服务商
无论您的IT架构是 本地化、云端、还是混和云 都能提供一站式数据备份方案。
京东群晖synology 天猫群晖 线下代理技术咨询服务
四川成都群晖官方授权核心代理商(企业级服务商)
四川成都群晖synology解决方案中心
四川成都群晖synology体验中心
四川成都synology群晖线下实体店
四川成都群晖synology售后技术中心
四川成都群晖synology官方授权专卖店
成都科汇科技有限公司
地址:成都市人民南路四段1号时代数码大厦18F
电话:400-028-1235
QQ: 2231749852
手机:138 8074 7621(微信同号)