毕友一言：

　　坦承生而为人的艰难，不回避，不掩藏。

金融探索之大数据征信：大数据的应用领域及经典案例

　　大数据的三大应用领域

　　1、商业智能

　　过去几十年，分析师们都依赖来自Hyperion、Microstrategy和Cognos的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题：“某某人本季度的销售业绩是多少？”（基于结构化数据），但如果涉及决策和规划方面的问题，由于不能快速处理非结构化数据，传统的BI会非常吃力和昂贵。

　　大多数传统BI工具都受到以下两个方面的局限：首先，它们都是“预设-抓取”工具，由分析师预先确定收集什么数据用于分析。其次，它们都专注于报告“已知的未知”（Known unknowns），也就是我们知道问题是什么，然后去找答案（而大数据会给出一些未知的未知，也就是你没有想到的一些问题的结果）。传统BI工具主要用于企业运营，侧重于成本控制和计划执行报告。而大数据技术最主要的功能/应用是ETL（Extract、Transform、Load）。将近80%的Hadoop应用都与ETL有关，例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。今天计算和存储硬件变得非常便宜，配合大量的开源大数据工具，人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说，低廉的计算资源正在改变我们使用数据的方式。

　　此外，处理性能的大幅提高（例如内存计算）使得实时互动分析更加容易实现，而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。

　　今天的大数据技术还处于战国时期，未来几年，随着企业间的兼并和新产品的不断推出，BI厂商们将能推出完善的，让CEO感到满意的“大数据套件”，但这并不意味着企业IT经理们的工作将受到威胁。因为正如云计算在理想和现实间达成妥协一样，大数据也会经历类似的发展过程。传统的BI工具将与大数据分析并存。

　　2、公共服务

　　大数据另外一个重大的应用领域是社会和政府。如今，数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

　　今天，城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题，而城市，也正是大数据计划的绝佳实验室。以纽约这样的大都市为例，政府公共数据公开化、以及市民生活的高度数字化（购物、交通、医疗等）等都是大数据分析的理想对象。客观的市政数据，是消除争端，维系公民社会的最佳纽带。当然，前提是让公民能够访问这些数据。苹果的Siri和谷歌的Google Now都具备成为个人化助理的潜力。当然，我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受（数据可视化）。此外，IBM的Watson以及Wolfram Alpha这样的人工智能技术还能实现与用户的互动。

　　今天，智能手机（以及Twitter等社交网络）的普及让人类社会首次实现了公民的联网。应用程序商店实时上已经打通了政府和公民之间的应用层面的通道（例如奥运期间伦敦警察厅发布的iphone通缉程序）。伴随着各国政务的数字化进程，以及政务数据的透明化，公民将能准确了解政府的运作效率。这是不可逆转的历史潮流，同时也是大数据最具潜力的应用领域之一。

　　3、市场营销

　　大数据的第三大应用领域是市场营销。具体来说，是提升消费者与企业之间的关系（卖得更多、更快、更有效率）。

　　今天，最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。如今，企业与客户之间的接触点也发生了翻天覆地的变化，从过去的电话和邮件地址，发展到网页、社交媒体账户、博客等等。在这些五花八门的渠道里跟踪客户，将他们的每一次点击、收藏、“顶”、分享、加好友、转发等行为纳入企业的销售漏斗中并转化成收入是一个巨大的挑战。也就是所谓的“360度客户视角”。

　　大数据已经与在线营销交织在一起，其应用可以分为两大类：

　　首先，从线上到线下。配备了NFC近场通讯技术的智能手机和基于位置的签到正在成为营销人员的最新利器。他们将能跟踪商场人流，把在线零售的分析优化应用于线下。

　　其次，数据分析工具将更加容易使用（面向中小企业应用的大数据创业非常火爆），中小企业也许没有BI平台，但他们都有平板电脑和智能手机，移动版客户智能分析将会改变企业使用营销工具的方式。

　　大数据的典型应用案例

　　1、健康与医疗：Fitbit® Official Site: Flex, One and Zip Wireless Activity and Sleep Trackers的健身腕带可以收集有关我们走路或者慢跑的数据，例如行走步数、卡路里消耗、睡眠时长等数据与健康记录来改善我们的健康状况；Early Detection of Patient Deterioration等公司正在开发床垫监测传感器，自动监测和记录心脏速率、呼吸速率、运动和睡眠活动。该传感器收集的数据以无线方式被发送到智能手机和平板电脑进行进一步分析；美国公共卫生协会（APHA: American Public Health Association）开发Flu Near You用来的症状，通过大数据分析生成报告显示用户所在地区的流感活动。

　　2、视频：互联网电视能够追踪你正在看的内容，看了多长时间，甚至能够识别多少人坐在电视机前，来确定这个频道的流行度。Netflix 美国国内规模最大的商业视频流供应商，收集的数据包括用户在看什么、喜欢在什么时段观看、在哪里观看以及使用哪些设备观看等。甚至记录用户在哪视频的哪个时间点后退、快进或者暂停，乃至看到哪里直接将视频关掉等信息。典型的应用是Netflix公司利用数据说服BBC重新翻拍了电视连结剧《纸牌屋》，而且成功的挖掘出演员Kevin Spacey和导演David Fincher的支持者与原剧集粉丝的关联性，确定新剧拍摄的最佳人选。

　　3、交通：《车来了》通过分析公交车上GPS定位系统每天的位置和时间数据，结合时刻表预测出每一辆公交车的到站时间；WNYC开发的Transit Time NYC通过开源行程平台（Github：OpenTripPlanner和MTA ）获取的数据将纽约市划分成2930个六边形，模拟出从每一个六边形中点到边缘的时间（地铁和步行，时间是上午九点），最终建模出4290985条虚拟线路。用户只需点击地图或者输入地址就能知道地铁到达每个位置的时间；实时交通数据采集商INRIX-Traffic的口号是永不迟到，通过记录每位用户在行驶过程中的实时数据例如行驶车速，所在位置等信息并进行数据汇总分析，而后计算出最佳线路，让用户能够避开拥堵。

　　4、电子商务：Decide是一家预测商品价格并为消费者提出购买时间建议的创业公司，通过抓取亚马逊、百思买、新蛋及全球各大网站上数以十亿计的数据进行分析，最终整合在一个页面中方便消费者对比查看，并且能够预测产品的价格趋势，帮助用户确定商品的最好购买时机。已经于2013年被 eBay收购。

　　5、政治：奥巴马在总统竞选中使用大数据分析来收集选民的数据，让他可以专注于对他最感兴趣的选民，谷歌执行董事长Eric Schmidt当时向奥巴马的大数据分析团队投资数百万美元并聚拢核心成员成立了Civis Analytics咨询公司，该公司将会将在奥巴马连任竞选中所获得的经验应用到商业和非营利行业中。

　　6、金融：ZestFinance | Big Data Underwriting 是由是Google的前任 CIO，Douglas Merrill创立金融数据分析服务提供商，使用机器学习算法和大数据为放款者提供承保模式，旨在为那些个人信用不良或者不满足传统银行贷款资格的个人提供服务。公司使用分析模型对每位信贷申请人的上万条原始信息数据进行分析，只需几秒时间便可以得出超过十万个行为指标。目前违约率比行业平均水平低 60%左右。另外一个不得不提到的是风险管理先驱者FICO | Predictive Analytics, Big Data Analytics and FICO Credit Scores，通过大数据分析为银行和信用卡发卡机构、保险、医疗保健、政府和零售行业提供服务。FICO 信用分计算的基本思想是：把借款人过去的信用历史资料与数据库中的全体借款人的信用习惯相比较，检查借款人的发展趋势跟经常违约、随意透支、甚至申请破产等各种陷入财务困境的借款人的发展趋势是否相似。FICO 已经为三分之二的世界 100 强银行提供服务，提高了客户忠诚度和盈利率、减少欺诈损失、管理信贷风险、满足监管与竞争要求并快速获取市场份额。

　　7、电信：美国T-mobiles采用Informatica - The Data Integration Company平台开展大数据工作，通过集成数据综合分析客户流失的原因，根据分析结果优化网络布局为客户提供了更好的体验，在一个季度内将流失率减半；韩国SK telecom新成立一家公司SK Planet，通过大数据分析用户的使用行为，在用户做出决定之前推出符合用户兴趣的业务防止用户流失。美国AT&T公司将记录用户在Wifi网络中的地理位置、网络浏览历史记录以及使用的应用等数据销售给广告客户。比如当用户距离商家很近时，就有可能收到该商家提供的折扣很大的电子优惠券。英国BT - Broadband公司发布了新的安全数据分析服务Assure Analytics—BT news releases，帮助企业收集、管理和评估大数据集，将这些数据通过可视化的方式呈现给企业，帮助企业改进决策。

　　图文来源于网络，毕友志愿者钟永智整理。