毕友一言:
友情的崩坍,重于功业的成败,险过敌人的逼近。
金融探索之大数据征信:从大数据说起
互联网时代,数据即信用,信用即是财富。大数据征信将会把个人的全部社会行为映射到一纸信用报告上,而此信用报告又将影响到信用主体的生活。将来一个人可以凭借信用报告上漂亮的分数而顺利地求职、贷款买房、出国旅游、租车订房,也有可能因为信用报告上一个小小的污点而求职无门、贷款被拒。从今天开始,毕友金融探索系列将聚焦大数据征信来深入探索。
从大数据说起
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注.
大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量,大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。
大数据的四个特征:第一,数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。第二,数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。第三,数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。第四,处理速度快,时效性要求高,这是大数据区分于传统数据挖掘最显著的特征。
大数据思维的10大核心原理
1、数据核心原理:从“流程”核心转变为“数据”核心。
大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求,将改变IT系统的升级方式:从简单增量到架构变化。大数据下的新思维——计算模式的转变。例如:IBM将使用以数据为中心的设计,目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下,云计算找到了破茧重生的机会,在存储和计算上都体现了数据为核心的理念。大数据和云计算的关系:云计算为大数据提供了有力的工具和途径,大数据为云计算提供了很有价值的用武之地。而大数据比云计算更为落地,可有效利用已大量建设的云计算资源,最后加以利用。
2、数据价值原理:由功能是价值转变为数据是价值。
大数据真正有意思的是数据变得在线了,这个恰恰是互联网的特点。非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。例如:大数据的真正价值在于创造,在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能量的煤矿,煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”,价值含量、挖掘成本比数量更为重要。不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。数据能告诉我们,每一个客户的消费倾向,他们想要什么,喜欢什么,每个人的需求有哪些区别,哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加,以至于我们能够实现从量变到质变的过程。
3、全样本原理:从抽样转变为需要全部数据样本。
需要全部数据样本而不是抽样,你不知道的事情比你知道的事情更重要,但如果现在数据足够多,它会让人能够看得见、摸得着规律。数据这么大、这么多,所以人们觉得有足够的能力把握未来,对不确定状态的一种判断,从而做出自己的决定。这些东西我们听起来都是非常原始的,但是实际上背后的思维方式,和我们今天所讲的大数据是非常像的。
4、关注效率原理:由关注精确度转变为关注效率。
关注效率而不是精确度,大数据标志着人类在寻求量化和认识世界的道路上前进了一大步,过去不可计量、存储、分析和共享的很多东西都被数据化了,拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率,原因是大数据能够让我们知道市场的需要,人的消费需要。大数据让企业的决策更科学,由关注精确度转变为关注效率的提高,大数据分析能提高企业的效率。
5、关注相关性原理:由因果关系转变为关注相关性。
关注相关性而不是因果关系,社会需要放弃它对因果关系的渴求,而仅需关注相关关系,也就是说只需要知道是什么,而不需要知道为什么。这就推翻了自古以来的惯例,而我们做决定和理解现实的最基本方式也将受到挑战。
在这个不确定的时代里面,等我们去找到准确的因果关系,再去办事的时候,这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说我按那个按钮,一定会出现相应的结果,是这样状态。而农业社会往前推,不需要找到中间非常紧密的、明确的因果关系,而只需要找到相关关系,只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好,开始挖掘相关关系的好处。
6、预测原理:从不能预测转变为可以预测。
大数据的核心就是预测,大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考,相反,它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前,每个人的行为都跟别人一样,没有本质变化,所以商家会比消费者更了消费者的行为。
互联网、移动互联网和云计算机保证了大数据实时预测的可能性,也为企业和用户提供了实时预测的信息,相关性预测的信息,让企业和用户抢占先机。由于大数据的全样本性,人和人都是一样的,所以云计算机软件预测的效率和准确性大大提高,有这种迹象,就有这种结果。
7、信息找人原理:从人找信息,转变为信息找人。
互联网和大数据的发展,是一个从人找信息,到信息找人的过程。先是人找信息,人找人,信息找信息,现在是信息找人的这样一个时代。信息找人的时代,就是说一方面我们回到了一种最初的,广播模式是信息找人,我们听收音机,我们看电视,它是信息推给我们的,但是有一个缺陷,不知道我们是谁,后来互联网反其道而行,提供搜索引擎技术,让我知道如何找到我所需要的信息,所以搜索引擎是一个很关键的技术。
8、机器懂人原理:由人懂机器转变为机器更懂人。
不是让人更懂机器,而是让机器更懂人,或者说是能够在使用者很笨的情况下,仍然可以使用机器。甚至不是让人懂环境,而是让我们的环境来懂我们,环境来适应人,某种程度上自然环境不能这样讲,但是在数字化环境中已经是这样的一个趋势,就是我们所在的生活世界,越来越趋向于它更适应于我们,更懂我们。哪个企业能够真正做到让机器更懂人,让环境更懂人,让我们随身携带的整个的生活世界更懂得我们的话,那他一定是具有竞争力的了,而“大数据”技术能够助我们一臂之力。
让机器懂人,是让机器具有学习的功能。人工智能已转变为研究机器学习。大数据分析要求机器更智能,具有分析能力,机器即时学习变得更重要。机器学习是指:计算机利用经验改善自身性能的行为。机器学习主要研究如何使用计算机模拟和实现人类获取知识(学习)过程、创新、重构已有的知识,从而提升自身处理问题的能力,机器学习的最终目的是从数据中获取知识。大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律,从而使数据发挥最大化的价值。由计算机代替人去挖掘信息,获取知识。从各种各样的数据(包括结构化、半结构化和非结构化数据)中快速获取有价值信息的能力,就是大数据技术。大数据机器分析中,半监督学习、集成学习、概率模型等技术尤为重要。
9、电子商务智能原理;大数据改变了电子商务模式,让电子商务更智能。
商务智能,在今天大数据时代它获得的重新的定义。大数据时代不是说我们这个时代除了大数据什么都没有,哪怕是在互联网和IT领域,它也不是一切,只是说在我们的时代特征里面加上这么一道很明显的光,从而导致我们对以前的生存状态,以及我们个人的生活状态的一个差异化的一种表达。
人脑思维与机器思维有很大差别,但机器思维在速度上是取胜的,而且智能软件在很多领域已能代替人脑思维的操作工作。例如美国一家媒体公司已用电脑智能软件写稿,可用率已达70%。云计算机已能处理超字节的大数据量,人们需要的所有信息都可得到显现,而且每个人互联网行为都可记录,这些记录的大数据经过云计算处理能产生深层次信息,经过大数据软件挖掘,企业需要的商务信息都能实时提供,为企业决策和营销、定制产品等提供了大数据支持。
10、定制产品原理;由企业生产产品转变为由客户定制产品。
下一波的改革是大规模定制,为大量客户定制产品和服务,成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色,厂商有能力满足要求,但价格又不至于像手工制作那般让人无法承担。因此,在厂家可以负担得起大规模定制带去的高成本的前提下,要真正做到个性化产品和服务,就必须对客户需求有很好的了解,这背后就需要依靠大数据技术。
互联网时代的大数据思维
在这样一个每个人都要学会如何在数字化海洋里游泳的时代,企业应该具备怎么样的思想意识和思维方式,才不至于被互联网数字洪流所冲垮和淹没呢?
1、数据更要命:互联网不但让实物财富变成了数据,也让知识和创意变成巨大的商业利益,随着越来越多的生产要素、生产场所、生产活动被搬到网上,数据的本身就成为了一项性命攸关的资源,在互联网时代,得数据者得天下,拥有核心数据资源的行业龙头企业正依赖强大的数据资源积聚和处理能力形成新的垄断形态,利用信息优势占据产业链的主导地位,产业链其他企业只能沦为任其支配的附庸,信息资源成为行业龙头企业左右产业链资源配置话语权的兵符,因此,企业有意识地对自身业务数据资源加以积累和利用工作绝对不是附庸风雅,而是决定自身命运和钱途的竞争手段。
2、竞争更透明:今天的消费者有更多的选择,他/她的选择空间巨大,只要百度一下就有很多很多的选择。而且互联网让他/她更容易地找到他/她所需要的商品,而且能够更廉价地得到,这个还不算,而且能够更个性化的得到。可以说,今天的消费者已经被互联网惯“坏”了,在互联网面前,产品和服务之间的竞争变得越来越透明,单个产品的利润率越来越低,而与之相反,传统企业面对互联网后面庞大的匿名的消费者群体,缺乏有效的技术和能力去了解和分析,只好跟着市场热点随波逐流或者依附着那些龙头品牌亦步亦趋。
3、倒逼的发明:依靠人类少数天才精英所完成的闭门造车式的发明来推动社会进步的时代已经成为历史,在全民参与、共同受益的互联网信息时代,由于网络的发明和扩散,使得以前被排除在外的普通民众能够利用自由时间从事自己喜欢或关心的活动,人们现在可以把自由时间当做一种普遍的社会资产,用于大型的共同创造的项目,这是认知盈余产生了社会价值的原理。今天的企业,与其耗时费钱吃力却不讨好地自建庞大的研发体系来实现技术创新,不如把创意需求和技术难题放到网上,顺其自然让发明被大众“倒逼”出来。
4、用数据说话:数据既可以用来了解历史和现状,也可以用来预测未来,而今天随着互联网泛在化形成的庞大数据资源,让人类对各种事物的演变过程拥有更全面和深入的认知能力,今天的先知们不能仅仅依靠摸棱两可的玄虚言辞对未来给出预测判断,还需要获取相应各种客观的数据加以支撑,实践证明,对于各种预测,数据越具体越有效。随着信息要素缺乏的年代一去不返,还靠企业领导人凭经验和直觉拍脑袋做决定、拍胸脯定目标的粗放型管理方式来左右企业的命运无疑是落后的了,基于内外部客观形势来科学决策、让数据来说话、更开放、更透明、更民主的企业才能赢得各方资源的青睐和持续的品牌粘合,这个对于在互联网时代大浪淘沙的市场环境下的企业生存显得尤为重要。
5、借力更容易,顾客是伙伴:互联网让企业可以整合全世界的资源为自己服务,今天我们企业领导人应该更多思考如何把尽可能多业务活动搬到网上来开展,学会“四两拨千斤、借力打力”,这样企业的影响力和能力必然能超乎想象的速度倍增。曾经普遍被企业奉为座右铭的“顾客是上帝”口号在21世纪的今天已经有点不合时宜了,在互联网时代,企业完全可以转变自己的观念,一味“苦逼”地取悦顾客不如“把顾客变成合作伙伴”或者“顾客是玩伴”。《认知盈余》一书里面揭示了互联网时代顾客不再仅仅热衷于消费,他们更乐于参与到产品的创造过程中,互联网技术让人们参与创造与分享成果的需求得到实现,凭此人类每年盈余的1万亿小时有生产力的时间终于有了更好的“消磨”选择,市场上传统的著名品牌越来越重视从用户的反馈中改进产品的后续设计和提高用户体验,例如“小米”这样的新兴品牌更直接建立互联网用户粉丝论坛,让用户直接参与到新产品的设计过程之中,面对今天想象力丰富的顾客,如果不能激发顾客对企业和产品品牌的兴趣和关注度,企业很可能随着被淡忘而丧失市场而“众叛亲离”、最终销声匿迹。
6、思考常换位:互联网时代,企业的边界正在消蚀,由于互联网可以让消费者和供应者建立直接的连接,从而消除中间环节的交易成本,互联网将可能取代传统的企业组织,成为一种更高效的市场资源配置的机制。在互联网时代,想要活得好的企业必须学会站在用户、客户和供应商等不同的角度来思考,把自己打造成一个多边参与的开放的平台,捕捉市场突发的商机灵活地扮演自身的角色,知彼知己、百战百胜,通过互联网采集的海量外部数据知彼、通过治理好自己企业的数据知己,这样才能在互联网大潮里面做到左右逢源,无往不利。
通过互联网拥抱大数据、通过企业信息化做好小数据,并将大小数据优势转化为决策优势,继而转化为企业竞争或者战场优势,将成为未来市场或者战场的决战焦点。大数据时代掀起了大数据竞争甚至是大数据战争,在这场世纪性的数据大较量面前,每个人都不可能置身事外。
图文来源:CBIResearch、网络等,小毕综合整理。