原创金融科技顾问02-03 22:05
作者:陈祖峰

摘要: 未来企业级人工智能平台架构将呈现三个特征:服务云化、资源池化、数据集中化。机构在规划构建自身AI服务体系时,应以架构分层、资源隔离、数据标准等原则,从技术、数据、应用、业务等层面考虑整体架构设计。

引言

当前金融机构在大数据建设上逐渐进入至成熟期。从粗放式的建立分布式集群以降低IT成本,到大数据驱动的报表、BI、数据仓库和集市等应用落地,再到以业务架构、组织架构、技术架构、数据架构和应用架构为原则,形成整体架构规划,商业银行、证券基金公司、保险机构逐步形成了大数据的计算、处理、运营和应用能力。虽然当前金融机构在大数据运用上仍存在一定的困惑和迷茫,如内外部数据打通、大数据治理、大数据深度价值发掘等,但大数据热逐渐降温,行业逐渐趋于冷静。而对于当前的热点,人工智能应用对于金融机构又是一个新的命题。


某银行大数据整体架构规划


由于目前人工智能在金融机构的应用尚处于初级阶段,在整体规划上处于空白期,多以独立应用为导向来尝试,如智能投顾、精准营销、用户画像等,所以鲜有科技部门单独为人工智能构建平台集群。结合多家机构的AI运用能力、大数据平台建设现状和信息系统规划,我把企业级AI平台架构设计分为三种类型:大规模机器学习平台、AI独立应用集群、AI私有云服务架构


大规模机器学习平台

尝试运用机器学习平台的金融机构或金融科技公司目标较明确,以数据处理、算法建模、特征工程这种数据科学与工程化流程为设计思路,目标是是迅速构建企业AI应用群,如实时风控、反欺诈、推荐系统、智能客服等。


框架设计主要以主流的Hadoop、Spark分布式计算引擎。需考虑机器学习复杂算法带来的运算成本,所以需要对算法本身进行分布式优化以适应集群的通讯、资源同步等特点,包括不限于硬件资源优化、计算模式优化、算法本身优化,有时需要重写机器学习算法。


存储方面以HDFS为主,因为机器学习算法因多次迭代会产生大量中间数据,所以在存储效率上有一定要求,如缓存、读取写入优化等;在机器学习算法框架上,多采用SparkML、MXNet、TensorFlow等主流框架;在算子和建模部分包含SQL计算引擎、特征工程算子和模型算子,涵盖从数据导入、数据预处理、特征工程、建模与上线的一整套流程设计。


这种以机器学习驱动AI应用为目的的人工智能平台比较适合以工具化快速、独立部署,针对性较强但相对独立,没有建立起企业内部的AI服务生态体系。


AI独立应用集群

AI独立应用集群架构是机器学习平台架构的延伸。其特点是按照业务线来划分,各AI应用集群相互独立互不干涉。这种架构的设计逻辑在于,各业务BU之间的应用场景不存在交集,通过部署多个应用集群来形成计算、存储、网络资源的隔离。


AI独立应用集群的底层通常为数据湖架构,即统一数据服务(DaaS)。来自于业务系统、外部和互联网的结构化和非结构化数据在数据湖中集中,提供数据服务给各业务BU的AI应用。


这种架构多应用于大型银行或保险机构的总部或分支单元,由各分支机构或业务单元按需构建AI应用能力。但由于其仍是相互独立部署的单体应用模式,并不是以微服务架构形式存在,会带来集群统一管理难度大、数据治理复杂的问题。




AI私有云服务架构

AI私有云服务架构通过PaaS、SaaS、APP的分层设计,构建起计算与存储资源的服务层、AI云服务层和应用层。对于大型金融机构来说,以私有云为体系架构暴露AI服务(或采用AI CaaS, Container-as-a-Service),为内外部用户提供技术能力,是较好的设计思路。


PaaS层以计算资源、存储资源、框架资源为服务,满足大数据+AI的应用能力。存储提供结构化、非结构化数据、文档、缓存、全文检索和图存储能力;计算服务包括实时计算,如微批Spark Streaming和事件Flink/Storm,以及批处理计算,如Spark/Hive或HAWQ框架服务涵盖TensorFlow、MXNet、Caffe、MLIib等主流机器学习框架;资源管理可支持Docker、Kubernetes的容器化调度管理。


SaaS层提供全面的AI服务端口,如知识图谱、自然语言处理、算法与建模、特征工程、深度学习、计算机视觉和语音语义识别云服务,可方便内部业务用户或外部渠道合作伙伴调用。


APP层对接外部服务平台或组件,如微服务、APP接口等,支持量化投资、智能投顾、反欺诈、精准营销、推荐系统、智能客服和语义文本识别等应用场景。


AI私有云服务平台逻辑架构


三种人工智能平台架构各有优缺点,在不同机构中均有应用。未来企业级人工智能平台架构将呈现三个特征:服务云化、资源池化、数据集中化。金融机构在规划构建自身AI服务体系时,应以架构分层、资源隔离、数据标准等原则,从技术、数据、应用、业务等层面,制定符合自身条件的建设规划。




金融科技系列原创文章

智能时代的金融机构转型升级:利用大数据与AI创造价值

证券业大数据与人工智能发展现状与应用趋势

由第二届中国金融科技大会想到的

如何构建一个Kensho?

从大类资产配置角度看智能投顾

金融科技中大数据技术应用趋势

新金融环境下的监管科技(RegTech)与技术应用趋势

从投资组合理论与实践角度看智能投顾

互联网时代商业银行的数据思维与企业转型

大数据时代的金融风险管理

金融科技的数据逻辑

云计算时代业务绩效管理BPM构想

区块链与数据库:一种混合计算系统架构


机器学习与人工智能专栏

金融科技时代:人工智能中的数据、模型和架构

知识图谱在金融科技中的应用

真实的谎言?人工智能时代的量化投资

LSTM在金融时序分析中的应用

人工智能是不是“灰犀牛”?

机器学习在金融领域的创新应用

人工智能是个伪命题

机器学习与金融风险管理

从机器学习角度看智能投顾


关于作者

多年金融服务、金融科技咨询经验,曾服务于大型金融集团、FinTech公司、跨国IT企业,为多家商业银行、证券公司、保险机构提供业务战略咨询与信息化解决方案,在金融科技、大数据与人工智能在金融业的应用、金融风险管理、数据治理和信息化战略等方面拥有丰富的经验。


订阅方式:搜索微信号"davinciopen"添加关注

联系方式:zufeng_chen@163.com