涂子沛大数据读后感
进入2012年大数据一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新,人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者消费浪潮的到来。“大数据”的运用在各个领域发挥着前所未有的重要作用,渗透到了当今每一个行业和业务职能领域,成为重要的生产因素,并对人类的数据驾驭能力提出了更新的挑战。
一、传统的信息格局被打破
不是我不明白,这世界变化快。2000年还是一张软盘打天下的时代,短短十多年光景,硬盘的存储容量已从4GB、16GB、32GB迅速攀升到1TB(相当于1024GB的容量)。原来仅有1.44MB的软盘在当时感觉存储容量还是蛮大的,到现在硬盘容量蹿升至1TB了,反而感觉存储空间捉襟见肘,到底是哪里出现了问题呢?1965年英特尔的创始人之一戈登摩尔考察了计算机硬件的发展规律,提出了著名的摩尔定律。该定律认为,同一个面积集成电路上可容纳的晶体管数目,一到两年将增加一倍,换句话说,计算机硬件的处理速度和存储能力,一到两年将提升一倍。这一定律,得到验证。
大数据!一语惊醒梦中人,大数据时代已经悄然来临。随着社交网络的逐渐成熟,移动宽带迅速提升,云计算、互联网应用更加丰富。更多的传感设备、移动终端接入到网络,由此产生的数据及增长速度迅速攀升。那么什么是大数据呢,正如IBM总结的那样:“大量化(Volume)、多样化(Variety)和快速化(Velocity)”就是“大数据”的显著特征。
二、管理法则:质量是数据时代的根本
数据能满足其既定的用途,它才有质量。如果不能满足既定的目标和用途,就谈不上质量。换句话说,数据的质量不仅取决于它本身,还取决于它的用途(引致数据库专家杰克.奥尔森)。
随着网络的出现,政府开始在网上发布信息和数据,对政府而言,是一个很大的挑战,因为数据一经政府发布,往往被视为权威,对社会的各个领域都可能产生重大的影响。任何一份通过网络发布的信息,面对的都不是一定特定群体,而是全体国民,如果政府发布数据的质量不可靠,将受到频繁的、大范围的质疑,特别是一些可以会影响到公共政策和行业管制标准的数据,将引起巨大的争议。
例如:单位奶制品中蛋白质含量、菌落总数应该是多少 ?饮用水里能混杂多少含量的微量元素?新鲜蔬菜能带有多少指标的杀虫剂残留?工厂排放的废气、汽车的尾气以及车间的通风条件都要符合怎样的标准等等,这些标准,都是数据。随着社会的发民、科学的进步,这些标准越来越多越来越细,每一个都和国民生活和经济发展息息相关。所以政府在网上发布数据,必须慎之又慎,保证质量。
三、大数据在各领域中的价值表现
1、数据竞争:企业赢利之道
企业以“低成本、高效率”的方式来开展公司的业务,而要做到“低成本、高效率”的运营以及决策正确,企业必须广泛推选以事实为基础的决策方法、大量使用数据分析来优化企业的各个运营环节,通过基于数据的优化和对接,把业务流程和决策过程当中存在的每一分潜在的价值都“挤”出来,从而节约成本,战胜对手,在市场上幸存。这种竞争,就是一种基于数据的竞争。
已经有越来越多令人信服的证据表明:只要实施正确的政策和激励,大数据将成为竞争的关键性基础,并成为下一波生产率提高、创新和为消费者创造价值的支柱。信息时代的竞争,不是劳动生产率的竞争,而是知识生产率的竞争。数据,是信息的载体、是知识的源泉,当然也就可以创造价值和利润,可以预见,基于知识的竞争,将集中表现为基于数据的竞争,这种数据竞争,将成为经济发展的必然。
2、通讯、电信、商务智能、互联网的逐步演变
近年来,随着大数据的迅猛增加,各个行业、政府部门都在尝试“用数据来决策”、“用数据来管理”、“用数据来创新”,在这个过程中,涌现了一大批既务实管用,又令人耳目一新的做法和应用。
回顾历史,我们从广播的年代到电视的年代再到本世纪初互联网的年代,从音频对话到可视电话,数据技术一直在我们的生活中扮演重要的角色,互联网出现之后,就交流和互动而言,广播和电视无疑相形见绌。
“大数据”可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。
四、总结
涂先生从数据本身的革命、社会科学的革命、企业管理的革命、社会管理的革命四个方面深刻阐述了大数据的重要意义,以最前沿的视野、直接的解读和剖析为我们理清了《大数据》一书的脉络和精髓,为我们如何能更好地阅读、理解、领会《大数据》一书的精神实质提供了很好的帮助,让我们意识到:大数据的时代,是不可逃避的。
首先说下《大数据》这本书好的地方就是将大数据变化为一本科普读物,不是讲大数据的关键技术和具体实现,而更多的是围绕美国政府基于数据的管理历史线条展开,让大家更加容易理解大数据在政府执政和公共事务管理中发挥的作用,所以我看完后最大的感觉就是关注智慧城市的相关人员完全有必要阅读该书,会对以后在智慧城市的管理和建设中如何更好的理解大数据,应用大数据,发挥大数据本身的业务价值有更好的理解。
为何近几年出现大数据,最重要的还是随着信息技术和互联网,管理的精细化,全球化和社交圈扩大,数据呈现了指数级的增长。2009年美国的数据,离散制造业966PB,政府848PB,传媒行业715PB,这是麦肯锡2011年出版的一份报告《大数据:下一代创新,竞争和生产率的前沿》里面的一个估算。正是由于数据指数级的增长,对数据的开放,信息自由,数据的采集,数据的分析和处理,预测和决策提出了更高的要求。
信息自由,一为信息公开,二为信息发布。公开是政府和某一社会特定主体的关系,是点对点的;而信息发布是政府和社会的关系,是点对面的。信息自由法已经成为美国不可缺少的一个基本法案,只有信息自由才谈得上进一步的数据开放和数据共享。
我们信奉上帝,除了上帝任何人都要以数据说话。信息技术发展,数据指数级增长,已经彻底改变了政府,社会,商业群体的决策方法。需要的是形成一种数据驱动的决策方法,数据治国,需要基于实证的事实而非简单的意识形态。而真正要让数据能够上升到决策层面,首先需要的就是数据大范围采集,数据抽样,数据测量和数据质量管理。另外数据驱动和事件驱动是两种模式,数据驱动强调的是历史和预测,而事件驱动强调的是实时和响应。大数据有一个维度专门是指速度和快速响应,更需要考虑事件驱动和数据驱动融合。
帝国法则,详细讲述了数据的收集法则,使用法则,发布法则和管理法则。数据能够满足既定的用途,它才有质量。如果不能满足既定的目标和用途,就谈不上质量。换句话说,数据的质量不仅取决于它本身,还取决于它的用途。数据质量的问题涉及到数据收集,使用,发布等所有过程的问题。数据质量管理要有标准,有流程,有救助机制。
从软件的开源到数据的开放,我们过渡到一个新的世界,可以讲数据开放式本身的另外一个重点。在这个新的世界里面,数据远远比软件更加重要。从2004年以来,美国一直在进行数据开放运动,联邦政府也专门家里了数据开放门户网站DataGov,其主要目标就是通过数据开放,通过鼓励新的创意,让数据走出政府,得到更多的创新型应用。从而进一步巩固政府透明化,民主化和政府效能。
数据之争涉及到原始数据采集,数据质量,数据安全,数据粒度,数据价值,数据虚实多个维度。而DataGov不仅仅开放了原始数据,地理数据,还包含了数据分析工具的开放。数据开放为创新提供了无穷的燃料,因为创新型应用,数据的能量将逐层放大。
预测未来最好的方法,就是创造未来。而数据最大的价值仍然在预测上面,在解决了数据开放,数据采集,数据质量管理,数据处理后,最重要的作用就是基于数据进行科学的预测和决策。数据竞争将是企业赢之道,一些企业已经将他们商业活动的每个环节放在了数据收集,分析和行动的能力上。
7月的一天,我有幸拿到了涂子沛的《大数据》一书,几个月来认真翻阅了好几遍,并查阅了许多相关的文章,也让我产生了写下这篇读后感的冲动。
。
我们处于大数据时代
当今的时代是一个信息的时代,是一个数据爆炸的时代。信息是数据的内容,数据是信息的载体。随着电脑、网络的普及,搜索引擎技术的进步以及云时代的来临,上至国家下至个人,无不为数据所包围,信息无处不在、数据无处不在。难以想象离开数据、离开数据管理,我们这个社会将会是什么样子。
那么大数据时代到底有多大呢?我们知道计算机用二进制存储和处理数据,一位是指一个二进制数位——0或1,这是存储信息的逻辑单元。一个字节有8位,再往上是KB(1KB是210字节)、MB(1MB是220字节)、GB(1GB是230字节)、TB(1TB是240字节)、PB(1PB是250字节)、EB(1EB是260字节)、ZB(1ZB是270字节)、YB(1YB是280字节)。但这究竟是多大的数据呢,我们还是难以想象。有人统计过将1TB的数据全部打印出来,需要用5000万个四开门的书柜去储藏。这是多么庞大的一个数啊,而这只是1TB——240个字节。而仅全世界消费者一年产生的数据就有6000PB,全世界企业一年产生的数据有7000PB。截至2010年,人类产生的数据为1。2ZB,且数据每年以指数级增长,每两年我们拥有的数据将翻一番。
在大数据时代,数字电视、手机、移动互联网统治了我们。截至2012年,中国手机网民数突破4。2亿;2013年中国超过美国成为最大的智能手机市场;2013年2月微信用户数突破4亿,到9月,微信用户达到5亿,微信用户正在以每6个月增长1亿用户的速度增长;95%的智能手机用户睡前玩手机。
“棱镜门”事件主角爱德华•斯诺登一时间成为全球关注的目标,网络时代何处安放我们的隐私?美国间谍卫星精度达到了5至10厘米,当今社会我们每个人近乎“透明”!
大数据时代给我们带来什么。
1965年,英特尔创始人之一戈登•摩尔考察了计算机硬件的发展规律,提出了著名的摩尔定律。该定律认为,同一个面积集成电路上可容纳的晶体管数目,一到两年将增加1倍,也就是说,其性能将提升1倍。换句话说,计算机硬件的处理速度和存储能力,一到两年将提升1倍。这一定律揭示了信息技术进步的速度。
数据的爆炸是“三维”的,是立体的,这三个维度,主要表现在:同一类型的数据量在快速增长;数据增长速度在加快;数据的多样性,即新的数据来源和新的数据种类在不断增长。
任何一件事物,都有一个从量变到质变的过程。在当前这个数据爆炸的时代,数据带给我们什么呢?我想最重要的是带来了思维模式的转变。转变了我们一直以来以因果逻辑思维的模式,变成了相互关系的逻辑思维。举一个例子,在不久的将来我们完全可以通过数据分析,预判出一次地震的时间、地点、强度,但我们不是通过分析地壳运动而来的,而是通过相互关系的庞大的数据分析而来的。
2008年的冰灾,当时的广州火车站滞留了25万人,这个数据是通过当时在这个区域的手机使用数统计出来的,与后期的最终统计基本吻合。大数据使我们开始了一次全新的探索,而探索的意义不在于发现新大陆,而在于发现新视角。
大数据时代给企业带来了什么。
数据挖掘是一种知识产生的过程,从中产生创新、产生管理、产生推动社会变革的理论与实践。
沃尔玛公司是美国的一家世界性连锁企业,以营业额计算,为全球最大的公司。沃尔玛一年产生的数据有2500TB。沃尔玛公司通过对大量历史数据的分析发现,年轻爸爸去超市购买婴儿尿布会顺便买点啤酒犒劳自己。因此,沃尔玛推出了尿布与啤酒搭售的营销策略,使销售量增长。
纽约,美国最大的城市及第一大港,拥有810多万人口,其36%为外国移民,人口使用约170种语言。1990年,纽约市共发生了凶杀案2245宗,1995年下降到1171宗,2009年下降到466宗,创下50年最低。纽约是如何实现这个成绩的呢?原来纽约通过把20年的犯罪数据和交通数据整合,开发出了“数据驱动的警务管理”,发现交通事故高发地带,也是犯罪活动的高发地带,而且两者的高发时间段也同样吻合。这就将警察以往“亡羊补牢”的工作模式转变为“守株待兔”的工作模式,取得了巨大的成绩。
大数据及其分析,将会在未来10年改变几乎每一个行业的业务功能。任何一个组织,如果早一点着手大数据工作,都可以获得明显的竞争优势。用另一本类似著作《大数据时代》的作者维克托的一句话:“大数据是未来,是新的油田、金矿。”
当前我们的企业每天获得大量的生产、营销、办公数据,如何将数据分析应用其中是时代赋予我们的挑战。如何实现粗放型向精细化转变,大数据为我们的企业提升管理效率、提高服务水平提供了有利平台。
世界每天都在变,唯一不变的是变化。大数据将是传统行业的掘墓者,盛极一时的柯达倒闭了,微软收购了诺基亚……我们的企业处在这样一个变革的社会,应该何去何从,值得我们每一个人深思。