引言:近日,天阳科技实时计算平台(DataStream)接连在多家银行落地,该平台是天阳科技自主研发的企业级产品,支持企业实时计算和实时数据仓库的构建,提供有效的交易级业务实时应用场景数据支撑。
金融行业数字化转型进程正不断深入,金融机构在批处理计算能力方面差距日益缩小,传统的T+1式(隔日)的离线大数据模式也难以覆盖风险防控和新兴业务的复杂场景需求。实时计算以实时性对数据价值的最大释放和流数据时时刻刻都在产生,更接近实际业务场景的特性成为银行竞争能力的新制高点,逐步影响着金融行业的数据架构演进。
三大模块,实时任务全流程管理和监控
天阳科技实时计算平台(TanDataStream)是在探道(Tandata)数据中台的基础上,自主研发的基于Flink流式计算引擎的实时开发平台,底层支持包括CDH、HDP和星环TDH在内的多种大数据集群,提供Flink SQL、Jar和可视化配置等多种开发模式,包括开发管理、监控部署、平台管理三大模块,实现从实时任务在线开发、测试、上线到运维全流程的管理和监控。
以某头部城商行为例,该行历经跨越式发展、跨区域拓展和综合化经营,随着迈入万亿元资产规模银行行列,业务发展进入新的阶段,此时传统的批量计算已经不能完全满足越来越丰富的业务场景,线下手工开发方式中开发难管理,无法多人协同、在线开发,没有可视化的运维和监控界面等问题日渐突出。项目落地后,实现了实时任务开发的平台化、规范化、流程化,基于开源canal、kafka技术架构,优化数据采集性能和高可用性,满足7*24的数据交换服务能力。同时通过可配置化的管理平台,快速定义数据交换链路,提升系统开发运维能力,缩短研发交付时间,快速响应各类数据采集需求。
四大实时场景,助力数据价值释放
实时化、流式化的大数据处理,是深入挖掘数据价值的一条必经之路,数字化带来的众多业务场景激发了实时分析需求,根据客户行为调整策略或通过智能算法自动决策的需求变的越来越常见,实时计算平台(TanDataStream)从实时分析、实时风控、实时推荐、实时营销四大实时场景出发,为业务提供决策支持。
在多家国有银行、全国股份制银行、全国股份制银行信用卡中心等多个项目实践中,天阳科技通过自主研发的Cminer采集平台实现PG级数据库的实时数据采集,通过流式处理技术实现数据的高速同步,借助列式存储、搜索引擎等技术实现海量数据的快速查询,并通过微服务提供数据查询接口,解决了数据的时效性问题,并通过实时分析指标查看和实时营销等场景,帮助行领导了解最新业务动态,并对用户行为数据进行分析,提高客户价值和黏性。
实时计算平台平台的建设,即满足银行对实时数据处理的要求,譬如交易反欺诈、实时监控、故障检测等,流数据处理系统的实时采集、实时计算和实时查询也会为银行业务发展和数据管理提供强有力的支持,能够承载海量业务数据实时计算的平台,亦将逐渐成为数字化转型过程中不可或缺的基础信息设施。
08-04 11:40
08-04 11:17
08-04 11:17
08-04 11:17
08-04 11:11
08-04 10:57
08-04 10:39
08-04 10:37
08-04 10:22
08-04 10:21