科研院所大数据中心建设研究

来源：职称论文发表咨询网作者：赵编辑时间：2019-06-19 10:11

　　摘要：科研院所在日常工作中，积累了大量的科研数据和科研成果，随着信息技术的发展应用，这些数据被广泛分布在各个独立的信息系统中。针对相关信息系统相对独立，信息孤岛效应明显，造成的资源极大浪费，提出在科研院所建设大数据中心，这不但有利于信息系统的互联互通，有利于相关数据的统一存储、管理和挖掘使用，而且有利于发挥现有数据的最大使用价值，提升数据资源的使用效率和信息系统的管理水平。

　　关键词：科研院所科研数据大数据中心

科研院所大数据中心建设研究

　　当前，很多科研院所的信息化建设水平不高，对科研数据的存储、管理、分析和挖掘使用还停留在低层次，造成了数据资源的极大浪费。推进科研院所大数据中心建设，可以有效解决以上问题。

　　1 建设科研院所大数据中心的意义

　　1.1 大数据中心概述

　　大数据技术实际上就是一种从数量庞大、种类繁多的数据中提取出有用信息的技术。大数据中心是集各相关领域的数据资源，形成一个大规模的数据库平台，通过各种先进的数据采集、数据存储、数据管理、数据分析与挖掘等技术，实现为政府、社会各界提供便捷的数据收集、查询、分析、再加工等服务，为科学研究、创业规划、社会治理等提供必要的数据支撑和决策依据。

　　1.2 国内外大数据中心发展现状

　　自 2001 年以来世界各地的大数据中心建设高速发展。据统计，全球大数据中心数量在 2015 年达到 855 万座。从大数据中心的发展来看，2012—2017 年全球大数据中心年平均增长率为 17.39% ，中国为 39.57% ;从大数据涉及的领域来看，目前大数据已经渗透到各个行业和领域。美国大数据战略发布后 12 个联邦部门启动开展了 82 个大数据相关项目，涵盖国防、国土安全、国家安全、能源、医疗卫生、食品药物、航空航天、人文社会科学、地质勘查等众多领域。我国的各大数据中心在新的发展规划中，重点加强大数据与教育、医疗卫生、生活娱乐、电子商务、金融、工业、农牧业、能源产业、公共服务、地理空间等领域的深度融合。业界普遍认为，大数据将成为新发明和新服务的源泉，大数据时代将为人类的生活创造前所未有的变革。所以，建设大数据中心，利用大数据的思维和先进的技术手段，有效管理和挖掘大规模数据资源中蕴藏的价值，是当下各行各业的关注焦点和发展方向。

　　1.3 科研院所数据资源保有和使用现状

　　目前，国内多数科研院所的信息系统相互独立、无关联，各自向政府、社会提供服务，存在着数据资源闲置，利用率不高;数据存储和使用简单粗放，缺乏整理、清洗和分析功能，对领导宏观决策帮助较小;各数据库关联性弱，数据之间缺乏支撑，不能被系统性使用;各个信息系统单独维护，维护成本相对较高;数据库与外部数据连接接口较少，外部资源不能得到很好的利用和整合。这些问题严重制约了科研院所数据业务的发展和信息化建设水平。

　　1.4 建设科研院所大数据中心的作用

　　一是促进系统集成，将原有的多个系统整合集成为一个或几个大的信息系统，破除信息孤岛，节约运营和维护资源，降低网络安全风险;二是促进现有数据资源的管理使用水平，减少重复研发投入和研发工作，同时使现有数据得到有效的分析挖掘，提升数据资源的使用效率;三是将主流的先进信息技术引入单位信息化建设当中，提升单位信息系统的智能化水平，提升用户使用感受和单位信息化建设水平。

　　2 科研院所大数据中心建设的思路和原则

　　2.1 主要思路

　　当前，多数大数据中心采用平台化建设原则。笔者认为，科研院所大数据中心建设应围绕主体业务，以各部门需求为导向，集成现有的数据、系统及业务流程，形成统一的大数据资源中心，支撑全部业务全流程管理。同时，笔者认为，着眼未来发展，可以适当引入云计算、区块链等技术，为相关业务预留发展接口，利用区块链技术为跨级别、跨部门的数据互联互通提供安全可信任的环境，形成可持续发展的运维服务保障机制。

　　2.2 主要原则

　　2.2.1 资源共享及业务协同原则

　　遵循资源共享和业务协同原则，总体设计，合理布局，由情报所统一规划，各部门配合建设，提升所数据资源共享和业务协同能力，并具备良好的系统集成能力、信息共享和交换能力、外部接口能力以及对标准规范的支持能力。

　　2.2.2 经济性和资源节约原则

　　大数据中心建设应充分利用现有网络资源、硬件设备、软件系统、人力资源和数据资源，保护前期投资，确保现有系统与目标系统之间的平滑过渡和无缝集成;慎重权衡性能与代价的关系，选择适度超前的软硬件产品，在保证系统先进性的同时，控制投资成本。

　　2.2.3 开放性和可扩展性原则

　　平台建设要按照开放性和可扩展性原则设计，必须既满足当前业务发展需求，又要考虑未来大数据处理及应用的发展趋势，设计合理的扩展架构，采用开放的、标准化的平台设计，合理分配利用基础设施资源，实现现有业务系统平滑接入和扩展。

　　2.2.4 易用性和便捷性原则

　　在系统建设时，针对不同层面的使用者的应用水平，充分考虑系统的易用性，充分考虑到使用者计算机操作水平，操作简单、方便，以保障信息化应用的顺利推广。

　　3 科研院所大数据中心建设的主要任务

　　3.1 大数据中心的建设内容

　　当前，科研院所大数据中心建设，按照“大平台、大系统、大集成、大数据”的建设思想，基于云计算技术，构建可扩展的一体化业务平台，形成人员、数据、管理等有机统一的大数据资源中心，利用采集、归集、交换、网络抓取等多种数据获取技术和手段，实现对涉及主导业务的政策信息、科研数据等结构化和非结构化数据资源的整合处理、体系管理、共享交换、数据接口服务等功能。依托大数据中心，建立一体化业务处理平台，主要将对外服务功能进行集成整合，实现资源与数据互联互通，提供统一身份认证、工作流引擎、数据挖掘引擎、系统管理等基础平台功能，通过数据、消息及界面实现与现有业务系统的集成应用，通过统一身份认证实现单点登录。基于大数据资源和一体化业务处理平台，全面集成现有的应用业务，整合内部管理、对外服务、政务服务等业务管理流程，形成数据一致、流程协同、功能完整的应用体系，提供兼容 PC 端和移动端的多种应用整合的服务。

　　3.2 大数据中心实现的主要功能

　　当前，新建的大数据中心，至少要实现以下 8 项功能：①系统集成。实现科研院所业务系统高度集成目标，分散系统集中到统一平台，利用虚拟化和云计算技术，实现硬件环境和网络安全统一管理。业务部门负责提需求和使用，数据中心负责系统开发、升级、运维和网络安全，数据集中管理共享，提升数据资源使用效率，压缩运维和安全管理成本。②数据交换。实现科研院所各业务系统数据实时全流程无障碍交换，并构建与上下级管理部门和业务单位的大数据中心相关系统的数据交换接口，实现数据实时无障碍交换对接。③数据加载清洗。实现各级业务系统的数据抽取和加载，主要包括数据源管理、数据关系匹配与转换规则、审核规则设置、数据交换流程管理、数据交换引擎、任务异常监控。④即席查询。提供一个灵活的即席查询工具，用户可以根据自己的需要，灵活地设置查询项及查询条件，同时支持查询条件的任意组合及与或关系。⑤多维在线分析。要能够为用户提供可视化、简单易用的多维在线分析工具，通过鼠标拖拽的方式，实现复杂多变的报表分析与展示。 ⑥智能图表。提供图表制定工具，用户可以自行设置图表展现形式、图表间联动交互逻辑等。⑦智能检索。利用关键字索引、字段索引技术，实现智能搜索功能，根据用户输入的搜索内容，自动查询相关指标、报表、文档、分析报告等内容并实现一体化展示。 ⑧智能挖掘。用户可以自己编写数据挖掘算法，支持在线编译、可视化分析、数据和图表互动、算法模型管理等功能。

　　3.3 总体架构及功能模块作用

　　科研院所建设大数据中心，应该搞好顶层规划，优化总体架构，并精确定位功能模块作用。在架构设计方面，通常包括以下 5 个方面：①基础设施层，提供数据综合管理平台建设部署所依赖的软硬件基础设施，包括计算资源、存储设备、网络设备及其他基础设施。②数据层，实现各类数据资源的存储及数据访问接口服务。③平台层，作为对应用系统的支撑保障，主要功能为业务支撑及协同管理、系统集成及接口服务管理、数据交换与共享平台、元数据与数据资源体系管理、数据资源整合与分析展现平台等。④应用层，主要集成各类应用服务系统，提供全新的流程优化、集中的信息展示和系统之间的协作等功能。⑤ 展现层，通过 PC 端或移动端实现数据查询展现门户功能，通过直观的、多维度的信息展示，可为用户提供服务领导决策、改进工作方式、实时动态监控等作用。

　　3.4 应用平台和安全系统建设

　　3.4.1 应用平台建设

　　应用平台建设是大数据中心建设的关键环节，它是平台化建设思想的主要体现，也是大数据主要功能的引擎和主要发力点。笔者认为，科研单位大数据中心建设，应该至少包括数据资源共享交换平台、数据资源体系管理平台、数据资源整合和分析展示平台、业务协同管理平台、系统集成和接口服务平台。

　　3.4.2 系统安全建设

　　信息资产安全运营威胁的来源主要包括：通过对外服务区来自于恶意用户的攻击、不同部门间人员的非法访问、内部人员的越权访问、设备运行故障、重要数据泄密等。全面地对信息系统网络安全威胁进行分析和归类，根据安全风险的来源，参照业界通用的分析方法和国家《信息安全风险评估指南》《信息系统安全等级保护基本要求》，制定安全总体架构。通用的安全架构如图 1 所示。

　　4 相关保障措施

　　4.1 划拨专项系统建设和运维经费

　　建议以项目形式，申请专项经费补助，完成项目建设。同时，每年要列支专项运维经费，保障大数据中心的可持续发展。

　　4.2 调整运维保障力量

　　对原有信息系统的运维力量进行整合，成立单位的大数据中心专门运维部门，形成数据的产生、数据的存储管理、数据的挖掘、数据的整理、数据的分析使用全链条运维和保障力量，能够实现依靠自身力量完成上级和客户赋予的数据处理、数据查询、模型设计、数据分析和结果解读等任务。

　　4.3 建立相关运维管理制度

　　从日常工作、人员管理、任务分工、安全管理等方面，分别制定大数据中心建设、工作管理、人员职责、经费保障、安全预案等规章和制度，确保大数据日常工作的有序开展。

　　4.4 积极向上争取任务和支持

　　要建立相关工作计划，加快建设进度，抢占先发优势。积极争取上级部门对单位大数据中心的支持，争取将所大数据中心纳入上级相关信息化项目中同步建设，同步运维和发展，争取相关资金和制度支持，提升单位大数据中心在上级部门宏观决策层面的作用和影响力。■

　　参考文献

　　[1] 徐雷. 2015 年江苏省政府网站绩效评估报告[R]. 江苏省软件产品检测中心，2016.

　　[2] 周荣华，陈俊，周萍，等. 江苏省信息化发展报告[Z]. 2016.