DataPipeline 助力山东城商行联盟数据库准实时数据采集系统上线

2021 年 12 月 7 日，Gartner 最新研究揭示，基础设施和运营（I&O）领导人在未来 12 至 18 个月必须开始为六大趋势做好准备。其中，无论是准时化基础设施（Just-In-Time Infrastructure）、还是数据增生（Data Proliferation）、业务敏锐度（Business Acumen），都预示着企业需要拥有更具适应性和弹性、更实时的数据管理基础设施能力，从而支撑迅速作出更符合业务需求的决策和行动。

显然，山东城商行联盟已经为该趋势做好了充足准备。

近日，山东城商行联盟和 DataPipeline 数见科技共同宣布，山东城商行联盟为 59 家银行构建的数据库准实时数据采集系统正式投入使用，该系统基于 DataPipeline 企业级实时数据平台打造。该项目的实施对于推动城市商业银行实现企业数字化转型、数据规范化和集约化管理、赋能企业经营及增强其持久核心竞争力具有重要意义。

业务需求当先，拥抱实时数据管理山东省城市商业银行合作联盟有限公司经原中国银监会批准成立，是目前全国唯一持有金融牌照的中小银行金融科技服务公司。公司为数十家成员行提供集核心业务系统、互联网金融系统、外联业务平台、大数据服务及运营、风控支持等全方位的信息科技解决方案以及培训、咨询、合作创新等多元服务，引领成员行通过科技创新推动业务发展和转型升级，是山东省大数据重点骨干企业。公司致力于打造赋能中小银行、开放共享的金融科技生态平台。

在云计算、大数据、人工智能快速发展背景下，金融行业适应客户需要的多样化和个性化场景不断涌现。经过 10 多年的电子化发展、信息化建设，山东城商行联盟积累了海量的数据，如何利用好这些数据成为了联盟应对新形势挑战、谋求转型发展的重要课题。相对于大型商业银行，降低运营成本、提升客户体验、提高营销能力等转型工作对于以山东城商行联盟为代表的的城市商业银行在科技创新发展上更为关键。

随着数据应用的深入，成员行业务部门不断提出更复杂的实时数据加工需求，新需求的加工复杂度持续升高、使用场景持续扩展、交付效率持续加快、运营质量要求持续提升。为提升实时数据支撑能力，山东城商行联盟开始启动实时数据体系建设。该体系需要实现综合业务系统 CBUS、外联业务处理平台 XBUS、ESB 服务总线、电子银行等系统的数据实时采集、同步、分发。如何打通 Oracle、IBM DB2、MySQL、Kafka 等多种数据管理技术，实现每日产生的数亿条数据的整合，成为联盟亟待解决的问题。

打造金融级平台 2.0，多场景落地

企业级数据库准实时数据采集系统架构图山东城商行联盟在过往服务成员行过程中，业务端在取数时，首先需要将各数据源通过 CDC 模式将数据实时同步至中间库；其次，源端数据同步至中间库后，通过 CDC 实时下发至各个下游用数方。在该过程中，由于上游发版频繁，中间库的数据结构均需要相应变动，数据同步过程中系统维护工作量较大地影响了数据应用方的取数时效性。为了能够更好地服务联盟成员行，山东城商行联盟需要重新构建统一的数据库准实时数据采集系统，实现通过数据流平台近实时地向各外围系统供数的目的，进而及时高效地支持成员行的运营、市场、销售等实时业务需求。

山东城商行联盟通过产品调研、可行性分析、POC 验证，选择 DataPipeline 数见科技作为合作伙伴共同完成数据库实时数据采集系统项目的实施。该方案三大核心能力与联盟实时数据管理体系整体策略高度契合：

01 多元异构

Oracle、IBM DB2、MySQL、Kafka 等多种数据库进行近实时的数据采集功能，并对数据源建立高效的管理功能，实现对数据源、目的地的数据连接统一管理管理，通过界面进行数据源与目的地注册，删除数据源，同时根据需求不断迭代支持新的数据库。

02 实时同步

利用解析数据库归档日志的方式，实现秒级的数据变更捕获，将解析的变更记录传送到数据目的地中，包括日志中提取数据变更的增、删、改等 DML 操作记录，以及新增表、删除表、添加字段、删除字段等自动同步到目的地中。

03 标准管理

统一的可视化管理页面，提供平台级别的数据管理功能，包括产品权限、数据时效管理和安全管控等方面功能，为数据工程师、运维人员提供直观的数据任务地图，随时可以洞悉数据的最新动态，极大提升运维工作效率和效益。

面向未来，山东城商行联盟将持续利用实时数据管理技术，为成员行客户提供更多便捷、高效的金融服务，支撑智能化、定制化、更懂客户的数字银行服务。而 DataPipeline 也将加大对实时数据管理技术的投入力度，深化与金融业务的场景融合，助力金融行业的数字化变革升级。