民生银行实时数据同步管道平台上线，DataPipeline 助力民生银行大数据管理能力再提升

近日, 中国民生银行 (以下简称: 民生银行) 和 DataPipeline 数见科技共同宣布,DataPipeline 协助民生银行搭建的企业级实时数据同步管道平台正式上线。该平台的上线标志着民生银行大数据平台体系规划的落实又向前迈出了坚实的一步, 也标志着民生银行大数据建设的第三阶段 -- 全面推动在线实时数据计算及分析阶段的基本完成。"随着批量数据体系的成熟, 业务场景对实时数据的需求迅速涌现, 我行启动了全面的实时数据体系建设, 对实时风控和实时事件驱动的营销和运营形成了全面的支撑。"-- 民生银行总行科技大数据管理团队谈到。

诞生于 1996 年的中国民生银行, 已经在 24 年的历程中实现了规模与效益的迅猛发展。民生银行实现高速增长, 这与由上至下坚持数字化转型策略密不可分。

对于银行业而言, 同质竞争非常严重, 业务类型、监管标准、客户群体都高度重叠, 业务创新成为各家银行突破困境的关键。在构建以"客户为中心"的全链条服务流程中, 客户个性化金融需求与金融产品服务的实时匹配、零售信贷风控、网金数字化运营等新型应用场景离不开实时数据的支撑。实现数据赋能业务创新, 确保能够做出及时、准确的业务决策至关重要。而以上能力就要求 IT 系统能够打通数据到业务应用的实时链路, 快速反馈数据, 满足业务端取数的时效性和丰富性。为实现多套业务系统产生的海量数据融合目标, 高效支持智能营销、智能决策、智能服务、智能风控等业务部门取数需求, 民生银行需要融合 IBM DB2、MySQL、Kafka、Redis、GaussDB、SequoiaDB、HDFS 在内的多种数据基础组件, 实现对主要交易系统每日产生的数亿条数据的整合。

民生银行总行科技大数据管理团队表示:"数据是银行最为重要的资产之一, 是支持精细化管理、实现差异化服务、加强业务创新、提升风险分析能力的基础。工欲善其事, 必先利其器。为加快支撑业务数字化转型, 民生银行在原有数据体系的基础上, 以业务目标为驱动, 以数据应用效能为优先考虑因素, 打造好用、易用的数据中台; 以实时、智能分析能力为基础, 通过数据与模型驱动金融产品服务创新, 为业务提供立体化的快速支持, 直面客户, 赋能场景。DataPipeline 企业级实时数据同步管道平台在民生银行的成功上线, 主要是在异构数据实时同步的准确性、系统的稳定性、易用性、安全性等方面很好地满足了我们的需求, 实现了民生银行企业级实时数据的采集、融合与同步, 为民生银行中台战略奠定了坚实的基础。同时, 该平台降低了民生银行手工开发成本, 加快了实时数据价值的释放。未来双方将在更多数据管理场景进行探索, 推动更多实时应用落地。"

随着 DataPipeline 企业级实时数据同步管道平台的上线, 民生银行存储在多种数据库中的异构数据被打通, 海量的数据被汇聚、分发。数百个实时数据任务将客户行为等实时数据进行标准化补全并分发到各个应用系统, 将业务系统的实时账户变动与指标变化传输到业务管理系统进行实时头寸计算。在处理实时数据的同时, 民生银行利用 DataPipeline 对国产化自主平台及数据库的支持, 打通了主数据系统和数据仓库系统到以 SequoiaDB 为基础的历史数据系统和以 GaussDB 为基础的分析系统的数据链路。

DataPipeline 助力民生银行搭建实时数据同步管道平台架构

DataPipeline 企业级实时数据融合产品通过多种实时数据技术, 支持广泛的数据节点类型, 协助民生银行构建以业务目标为导向的数据链路, 按需快速定制、部署、执行数据任务, 以支持从传统数据处理到实时数据应用的各类场景。

支持主流关系型数据库、大数据平台及国产数据库。DataPipeline 实时数据融合产品支持数十种主流数据库作为数据节点, 打破企业域内各类异构数据技术构成的樊篱, 让数据随需可得。产品采用基于日志的增量数据获取技术, 为主数据管理、数据仓库、大数据平台提供实时、准确的数据变化, 从而使得客户可以根据最新数据进行运营管理与决策制定。

使用分层管理、按需服务的配置型平台来提升 IT 敏捷开发效率, 轻松实现零代码交付。DataPipeline 实时数据融合产品采用 B/S 架构, 全页面化配置, 数据融合任务的研发交付时间低至 5 分钟。一方面保证数据节点的安全性、稳定性、业务连续性, 一方面为数据应用提供更多的自主性, 使用户可以将数据获取的范围、数据任务的生命周期、系统资源投入的多寡等权限更多地交给实际使用数据的业务部门及应用开发人, 从而在业务需求变化时从容应对, 加速达成数字化转型目标。

使用专业化商业套件来降低基础平台研发成本。DataPipeline 实时数据融合产品作为专业化商业套件, 通过多年在各个行业的数据融合领域经验积累, 将各类专业数据融合技术以专业化产品的方式按照数据节点、数据链路、融合任务、系统资源四个逻辑概念, 基本配置、限制配置、策略配置三个层次提供给用户进行配置式构建, 大大降低了企业搭建基础平台的研发成本与运维成本, 让客户能够将时间精力与优质资源投入到数据价值释放与商业价值实现上去。

通过高容错的分布式系统和卓越的性能来降低风险。DataPipeline 实时数据融合产品所有组件均支持高可用, 融合引擎基于容器化分布式集群部署, 支持动态扩缩容; 在节点管理、链路管理、任务管理中均有各个层次稳定性相关策略配置; 针对数据采集、消息队列及数据加载的各个组件都进行了一系列专门的性能优化, 完全满足客户从数据迁移、数据交换到实时数据服务、实时数据分析的各类时间窗口要求和时效性要求。

未来, 随着民生银行数字化转型的进一步推进, 各业务领域精细化运营与智能化服务能力要求的不断提高, 其全域实时数据融合价值将愈发凸显。DataPipeline 作为专业的企业级软件产品及服务提供商, 将不断打磨产品技术能力, 通过构建全链路实时数据资产管理体系赋能实时应用场景创新, 助力民生银行在提升数字化金融服务水平的进程中持续释放数据价值。