公司新闻

蓝光光盘库在工商银行电子影像平台的应用

信息来源:华录光存储研究院

电子影像平台是工商银行重要的技术支撑平台,负责管理工商银行在业务办理过程产生的非结构化数据,例如凭证影像、音视频、附件文档等。截至目前,共有17条业务线,79类影像文档接入电子影像平台,其中包括业务集中处理平台、远程授权、GCMS全球信贷等重要的业务系统。随着业务的快速发展,累积的存量历史数据越来越大,目前电子影像平台存量批次约为79.6亿个(约2PB),且以每天3TB的速度快速增长,如何管理数量庞大的离线影像数据是一个巨大的挑战。

一、工商银行电子影像平台背景介绍

此前,电子影像平台采用IBMCM管理归档数据,离线时采用普通DVD光盘刻录,刻录过程需要人工干预,刻录效率低下,离线速度远远赶不上数据增长速度,导致电子影像平台的存储使用量不断膨胀。同时,普通DVD容量小、寿命短,几千张光盘的管理和查阅非常麻烦。

2013年9月,工商银行总行架构评审通过《电子影像及文档服务平台优化研究报告》,决议要求对电子影像及文档服务平台进行优化升级,“完善离线数据服务功能,简化离线数据管理复杂度”是优化改造的重要内容。经过长达半年的测评,工商银行引入华录蓝光光盘库作为电子影像平台离线数据归档存储和管理介质。

二、蓝光光盘库介绍

蓝光光盘库以单张容量为100GB的专业档案级蓝光光盘为存储介质,使用激光烧制的物理存储方式进行数据保存,不受电磁辐射干扰,且一次写入后不可更改,可避免人为误操作并防范恶意病毒软件的攻击,确保了数据的安全性。该碟片取得国际认证,通过长时间光照实验、强力弯曲实验、浸水实验、划伤实验等证明其具有极高的可靠性、稳定性。通过基于Eyring模型的加速老化寿命试验,按照ISO/IEC16963-2011标准进行寿命估算,验证其有50年数据有效存储寿命。蓝光光盘结构示意如图1所示。
 

蓝光光盘库在工商银行电子影像平台的应用

华录蓝光光盘库采用光盘匣的方式管理碟片,每个光盘匣内藏12张蓝光碟片,采用100GB蓝光光盘的光盘匣容量达到1.2TB,单台光盘库可容纳90个光盘匣,容量达到108TB。采用19英寸标准机架可容纳7台光盘库,总容量可达到756TB。蓝光光盘库内部结构示意如图2所示。

蓝光光盘库在工商银行电子影像平台的应用

蓝光光盘保存长达50年以上,无需频繁地进行数据迁移,且光盘库不需要空调、风扇等环境降温冷却系统,其主机最大工作功率仅为120W,整体存储成本远低于磁盘阵列和磁带库,真正实现长期、安全、绿色环保的数据保存。

三、蓝光光盘库在工商银行的特色化应用

1.项目需求

结合工商银行电子影像平台的现状和业务发展需求,引入蓝光光盘库产品需要满足以下几点要求。

(1)按照数据生命周期管理技术规范,对离线归档阶段的数据进行统一管理;

(2)对符合离线条件的数据自动进行离线刻录,无需人工干预;

(3)数据离线后需对在线归档服务器进行数据清理,释放存储空间;

(4)在库数据可准实时查询,离库数据可快速查询;

(5)离线数据需有灾备机制。

2.蓝光光盘库系统功能模块

针对以上需求,华录公司和银行软件开发中心进行合作,开发了特色化的DABC模块,确保蓝光光盘库系统满足工商银行高安全性、高可用性、高稳定性特色化要求。蓝光光盘库系统功能模块如下。

(1)数据生命周期

提供配置页面按应用类别配置在线周期、归档保留周期、离线保留周期。目的是对超期归档数据进行离线处理,降低在线及归档数据规模。

(2)定时刻录功能

按保留时间策略,每天到任务启动时将超期的数据按类别自动凑整刻盘。目的是释放在线存储空间,降低人工维护成本,最大化使用光盘匣。

(3)离线数据查询

以查询任务列表方式管理查询请求,采用缓冲机制,实现数据异步查询。目的是告知用户目前状态及再查询说明,提高用户查询体验度。

(4)离库盘匣管理

离库盘匣贴上标签,按应用号、数据时间顺序摆放,人工录入位置信息。目的是通过有效地管理离线柜中摆放的光盘匣,扩充更大的光盘库容量。

(5)管理控制系统

包括容量管理、刻录管理、查询管理、状态监控管理等内容。目的:有效保障光盘库正常运行。

(6)离线数据灾备

在本地机房和灾备机房各刻录1份相同内容的光盘匣,进行异地备份。目的是防患于未然,以利于灾后数据快速恢复。

(7)应用监控服务

包括可用性(光盘库、管控服务状态)、批量事件、联机交易等。目的是在人工换盘匣、刻录容量不足、达到阈值等情况下进行报警通知。

3.蓝光光盘库系统架构及实现功能

蓝光光盘库项目于2015年6月中旬完成工商银行全行推广部署,系统架构如图3所示,系统技术架构如图4所示。

蓝光光盘库在工商银行电子影像平台的应用

蓝光光盘库在工商银行电子影像平台的应用

光盘库在电子影像平台的功能为:负责接收在线归档服务器中完成生命周期的数据,并刻录至蓝光光盘;对于客户端的离线查询请求,将数据从蓝光光盘中读取并返回。

4.蓝光光盘库系统特点

(1)根据客户需求订制系统组建方案,提供存储硬件设备和光盘库管控软件(DAM)及负责业务管理系统(EAP)综合开发;

(2)实现数据定时刻录、检索查询、重要数据备份、光盘匣离线管理、系统故障恢复等业务应用;

(3)保障数据自动化高效管理、低成本长久保存、高可靠安全存储;

(4)满足客户数据爆炸式增长的需求,降低数据保存成本压力,为大数据应用价值的深度挖掘提供基础服务。

四、实际应用效果

为全面了解蓝光光盘库的使用、运行情况,优化完善蓝光系统各项功能,由工商银行总行应用二处牵头,软件开发中心广州一部、架构办、应用支持二部以及华录公司共同参与,于2015年9月份赴河南分行、四川分行、贵州分行进行现场调研。调研交流期间,分行科技人员和业务人员对蓝光光盘库的刻录查询效率、操作便利性,以及对存储成本等给予了肯定,同时也对灾备管理、日常运维等方面提出了优化建议。结合分行调研建议及光盘库运行过程中发现的问题,华录公司投入人力进行了系统优化完善,工商银行于2016年7月份全行投产了该优化版本。投产后分行反馈系统运行稳定,对使用效果表示满意。

1.蓝光光盘库投产前分行离线归档数据情况

以前分行的在线归档数据采用IBMCM和旧的近线系统保存,离线使用普通DVD光盘,由于IBMCM是小文件管理模式,刻录一张光盘需要近2小时,值班人员日常操作较多,每日仅能刻录3张光盘(一式两份,共计6张),一个月仅能离线保存约360GB数据,而分行一个月的数据增量约为2TB,造成高端存储的使用量不断增长;并且DVD光盘的质量较低,需要每3年定期翻刻,使用和管理成本高且查询效率低下。

2.蓝光光盘库投产后分行的应用情况

蓝光光盘库项目投产后,分行反馈系统运行稳定,维护工作比较轻松。由于是大文件块模式离线刻录,目前分行一天可以上传到光盘库的数据量约为500G左右,当天的刻录任务都能完成,相当于以前普通DVD一个半月的刻录量。整个上传和刻录以及盘匣备份都是系统自动完成,无需人工操作,分行对此非常满意。

在成本投入方面,因初期需要采购光盘库、管控服务器和光盘匣,成本较高,随着刻录数据的增加,后续只需购买光盘匣,相比其他存储设备更加节约成本。

在使用方面,以前查询离线数据需要走完审批流程后再人工查找光盘获取数据,现在可直接联机发起查询请求,触发光盘库准备数据,稍后即可联机查看数据。由于离线数据的查询频率较低,光盘库的效率可基本满足业务要求。

蓝光光盘库为工商银行电子影像离线数据的管理提供了极大便利,得到了各分行的一致认可,同时各分行也对进一步加强蓝光光盘库的应用提出了建设性意见。各分行希望扩大蓝光光盘库的使用范围,应用于电子影像平台之外的其他系统,后续工商银行将根据光盘库的技术特点,研讨更多的应用场景。

(作者:中国华录)