出家如初,成佛有余

互联网金融产品如何利用大数据做风控?

Posted in 电子商务 by chuanliang on 2015/04/06

我在知乎就问题《互联网金融产品如何利用大数据做风控?》做的回答。

由于互联网金融涉及货币发行(比特币)、第三方支付、投资理财(网络银行、保险、基金、证券、财富管理)、信贷(P2P、众筹、网络微贷)、征信等等,各个领域的风控策略并不尽相同,不能一概而论,下面讨论只能涵盖了常见的风控策略。
个人认为“大数据”除了强调数据的海量外,更重要的在于用于风控的历史数据的广度和深度,其中:
数据的广度:指用于风控的数据源多样化,任何互联网金融企业并不能指望依据单一的海量数据就解决风控问题,正如在传统金融风控中强调的“交叉验证”的原则一样,应当通过多样化的数据来交叉验证风险模型。以下的风控策略也如此,可能对同一风险事件采用了多种策略。
数据的深度:指用于风控的数据应当基于某个垂直领域真实业务场景及过程完整记录,从而保证数据能够还原真实的业务过程逻辑。
一个关于数据深度典型的反例:第三方支付貌似有丰富的真实交易记录,但由于大部分场景下无法获取交易商品的详细信息及用户身份,在用于风控时候价值大打折扣。

 

回到题主的话题:互联网金融产品如何利用大数据做风控。大致有如下一些常见方法:
1、基于某类特定目标人群、特定行业、商圈等做风控
由于针对特定人员、行业、商圈等垂直目标做深耕,较为容易建立对应的风险点及风控策略。
例如:
针对大学生的消费贷,主要针对大学生人群的特征
针对农业机具行业的融资担保。
针对批发市场商圈的信贷。

2、基于自有平台身份数据、历史交易数据、支付数据、信用数据、行为数据、黑名单/白名单等数据做风控
身份数据:实名认证信息(姓名、身份证号、手机号、银行卡、单位、职位)、行业、家庭住址、单位地址、关系圈等等。
交易数据/支付数据:例如B2C/B2B/C2C电商平台的交易数据,P2P平台的借款、投资的交易数据等。
信用数据:例如P2P平台借款、还款等行为累积形成的信用数据,电商平台根据交易行为形成的信用数据及信用分(京东白条、支付宝花呗),SNS平台的信用数据。
行为数据:例如电商的购买行为、互动行为、实名认证行为(例如类似新浪微博单位认证及好友认证)、修改资料(例如修改家庭及单位住址,通过更换频率来确认职业稳定性)。
黑名单/白名单:信用卡黑名单、账户白名单等。

3、基于第三方平台服务及数据做风控
互联网征信平台(非人行征信)、行业联盟共享数据(例如小贷联盟、P2P联盟) FICO服务
Retail Decisions(ReD)、Maxmind服务
IP地址库、代理服务器、盗卡/伪卡数据库、恶意网址库等
舆情监控及趋势、口碑服务。诸如宏观政策、行业趋势及个体案例的分析等等

4、基于传统行业数据做风控
人行征信、工商、税务、房管、法院、公安、金融机构、车管所、电信、公共事业(水电煤)等传统行业数据。

5、线下实地尽职调查数据
包括自建风控团队做线下尽职调查模式以及与小贷公司、典当、第三方信用管理公司等传统线下企业合作做风控的模式。
虽然貌似与大数据无关,但线下风控数据也是大数据风控的重要数据来源和手段。

知乎原文回答链接:http://www.zhihu.com/question/27715270/answer/43411182

交易系统和风控系统的架构怎么设计?

Posted in 电子商务, 技术相关, 产品管理 by chuanliang on 2015/01/19

我在知乎就《交易系统和风控系统的架构怎么设计?》做的回答。

交易系统和风控系统从架构角度设计,是应该设计成两个单独的系统,题主提到的问题,本质在于交易系统和风控系统之间数据共享及服务调用的问题。
一般通过如下几个层面来降低交易系统、风控系统的耦合度,提升系统性能和扩展性:读写分离、缓存/内存数据库、SOA架构、复合事件处理
数据库读写分离机制:在初期,风控系统一般都极为简单,此时侯一般通过数据库主从复制/读写分离/Sharding等机制来保证交易系统的数据库和风控系统数据的同步及读写分离。风控系统对所需要的客户/账户数据、交易数据一般都只进行读操作。
缓存/内存数据库机制:不 管是交易系统还是风控系统,高效的缓存系统是提升性能的大杀器,一般会把频繁使用的数据存放到Redis等缓存系统中。例如对风控系统,包括诸如风控规 则、风控案例库、中间结果集、黑白名单、预处理结果等数据;对交易系统而言,包括诸如交易参数、计费模板、清结算规则、分润规则、银行路由策略等。对一些 高频交易中,基于性能考虑,会采用内存数据库(一般会结合SSD硬盘)。
RPC/SOA架构:要降低交易系统和风控系统的 耦合度,在初期系统服务较少的情况下,一般直接采用RabbitMQ/ActiveMQ之类的消息中间件或RPC方式来实现系统间服务的调用。如果系统服 务较多,存在服务治理问题,会采用Dubbo之类的SOA中间件来实现系统服务调用。
复合事件处理(CEP):对实时/准实时交易风险控制,相对于纯基于规则的处理模式,采用复合事件处理(CEP)模式,性能及扩展性更好,开源的方案包括Esper、Storm、Spark等。
从风控系统构建角度,对应所谓的事前、事中、事后风险控制,作为风控系统最核心的风控引擎分为实时风控引擎、准实时风控引擎、定时风控引擎三种:
1、实时风控引擎&准实时风控引擎
实时风控主要在交易过程对交易过程进行实时监控,一个典型应用场景是甄别钓鱼、盗卡风险。
准实时风控典型应用场景是在T+1结算时候,对商户洗钱、跑路进行甄别。
实时/准实时风控引擎一般采用规则引擎+复杂事件处理(CEP)。
2、定时风控引擎
主要定时对支付/交易/账务等数据进行定时ETL、深度挖掘等处理,建立对应的风控模型,一个典型应用场景是商户的信用等级模型。此时侯一般采用Hadoop、ML等技术进行大数据建模
以前写过两篇关于第三方支付风控系统建设的文章,供参考
支付系统风控系统建设思考
复杂事件处理(Complex Event Processing)入门1

 

知乎回答原文链接:http://www.zhihu.com/question/20860347/answer/36328342

支付系统风控系统建设思考

Posted in Uncategorized by chuanliang on 2008/04/27

    第三方电子支付是一个高风险的行业,这就意味着第三方电子支付公司必然要与各种不确定性相伴。从风险受益的角度来看,第三方电子支付公司存在的价值不在于其能消灭不确定性,消灭风险,而在于其能在对风险有较深入认识的基础上控制和管理风险,将风险配置到愿意并能承担风险的主体,并使其获得收益。风险控制系统目标是实现对各个业务部门、渠道和产品线和相关人员监测,通过对运营业务交易的实时分析、事中和事后分析、跟踪和处理的方法实现欺诈风险预警的自动化。通过对交易的监测,可以识别那些是高风险交易,以及早发现其欺诈的可能性,并及时采取各种防范措施,由此来降低交易带来的损失。

1. 管理框架

    第三方电子支付风险管理解决方案由风险战略,组织架构和管理流程组成。其中,风险战略的确定是欺诈风险管理业务体制和运作机制设计的基础;组织架构确立风险管理运作机制和相应的组织管理模式,明确相关部门、人员、关键岗位分工和职责;管理流程则是一个完整的风险管理过程所包含的各个环节。各种风险管理的机制和体制需要通过统一的管理平台来实现。统一的欺诈风险管理平台包括监测模块、分析模块和案件管理模块。构建风险管理 平台的关键技术是以合理规范的数据模型,建立整合的风险数据平台;以及针对内部程序、人员和外部事件,实施有效的业务运营监测。

风险管理机制和体制

                                        风险控制系统管理框架

    统一的风险控制系统包括三大模块:监测模块、分析模块和案件管理模块。

    监测模块对支付平台的运营作业进行全面监测,将可疑行为信息和相关信息发送到分析模块进行分析确认,当发现异常行为时发出警报,将警报和与警报相关的信息都发送到分析模块和案件管理模块。

    分析模块能对各种数据源进行集成,对各种历史数据进行学习分析,通过数据挖掘建模定义出典型的行为特征,建立行为模式、场景,并制定欺诈风险监测规则。

    案件管理模块最终将案件处理的数据反馈到监测模块,从而增强监测模块对风险的监测和识别能力。

2. 监测模块

    交易监控系统要及时对交易进行处理,在最短的时间内对可能存在的交易风险进行判别,准确的报告欺诈等高风险交易,在第一时间提供详尽的信息以协助工作人员对可疑交易进行识别、处理。为保证这种效能,交易监控系统需要采用准实时、分布式的模式进行交易处理。在部署上交易监控系统和交易系统应当支持分布式部署,在不同的主机系统上部署,系统间通过可靠的消息中间件进行信息的传递,降低系统间的耦合度,保证交易系统的高性能,同时也可以通过前置机方式来降低交易系统对信息处理的负荷。

    交易系统在接收到主机的交易信息,及时地发送至交易监控系统;而交易监控系统的接收端也要及时地处理发送至交易监控系统的分析审查信息。当一笔交易进入交易系统后,系统会根据业务规则进行处理,完成以后系统会给这笔交易返回一个结果代码(批准或拒绝)。在整个交易处理完成之后,主机将交易信息下传至前置系统。

    交易系统接到联机交易后,通过消息队列将此笔交易信息传送到交易监控系统,在交易监控系统内部进行交易情况分析及报警处理。交易系统除了向交易监控系统传送交易信息外,还需提供客户的基本信息例如状态等资料。交易监控系统将从前置系统的jms消息队列中接收交易系统主机发送的交易信息。上述交易信息将由前置系统所在平台上的接口程序与帐户资料、卡片资料等信息组合后形成一个XML报文,通过jms消息队列传送给运行在交易系统平台上的交易监控系统接口程序,经监控系统接口处理后通过jms队列送入交易监控系统。为保证交易监控系统和交易系统间信息的同步,可采用数据库的replication机制来保证数据的实时同步;也可以采用程序或存储过程来实时同步核心数据(例如客户资料的变动),定时同步其他数据的方式。

3. 分析模块

    分析模块采用商业智能技术来构建风险控制系统的风险分析引擎,采用商业智能技术可以对海量数据快捷的存储和提取,基于数据的分析、操纵,建模,稳定的报表能力,多用户支持能力,再结合有效的信息权限控制、风险预警模型、风险预测、信息整合等,就能够有效进行电子支付系统的风险管理。

    商业智能在风险控制中所起的作用:

  • 数据准备:

数据准备主要是从源数据中,提取有效的指标数据、预算数据、交易汇总数据等,并转换到总体的数据仓库或风险管理的数据集市中,其本质是实现从操作型数据源到分析型数据变换。

  • 分析模版定义:

对各种分析内容进行分类,同时明确风险管理方面的各个数据主题模版定义,包括风险评级,风险分析,风险预测几个模版定义,提供给风险分析内容进行调用。

  • 风险分析:

目前已有多种风险分析度量模型,如基本指标法、标准化方法、内部衡量法、损失分布法、极值理论模型等,可根据银行业务需求建立。这一阶段主要是运用这些模型来对风险进行分析,确定数据的维度、事实表、量度等信息,根据维度来分析各个指标和预测信息。

  • 自动化分析:

    利用商业智能软件提供的功能,并根据已经定义的风险分析内容,由系统自动到数据仓库系统进行优化分析,加载与钻取这些风险内容。

  • 定量、定性分析报告:

    根据系统的自动化分析,生成各种定量和定性的分析指标报告。

4. 案件管理

    案例管理系统采用神经元网络技术,构筑有学习能力的交易模式识别的案例库。神经元网络技术对于交易模式的变化,可再造学习模型和案例库。用户可以通过对其应用模型的更新,来适应新的交易模式和欺诈形式的变化,提高对欺诈交易的识别和控制能力。

    案件管理模块最终将案件处理的数据反馈到监测模块,从而增强监测模块对欺诈风险的监测和识别能力。一旦某个交易被确认为是欺诈行为,案件管理模块会对这些相关数据、潜在的客户联系和影响进行管理以及对客户账户
进行必要的调整。该模块作为面向业务用户的展现层,将实现全面有效的案件管理,完成对欺诈的预防和调查。

5、风险监控系统架构

风控系统架构

6、参考资料

IBM:整合管理平台,规避欺诈风险:银行业全面提升操作风险管理水平