登陆注册
2225400000018

第18章 大数据与技术变革(2)

目前,数据服务产业链上真正的大数据玩家,应该是例如谷歌之类的公司,通过重复利用数据以获得利益。谷歌成功地建立了“网页搜索+广告”的商业模式,其所有的业务都是构建在大数据之上的。因此,谷歌是大数据最大的玩家。2012年,它的总营收达到501.75亿美元,利润107.4亿美元,其九成利润来自广告。有咨询公司预测,2017年全球大数据技术的市场空间约500亿美金,约等于谷歌2012年的总营收。这其中,既包括了技术,也包括了大数据工具和相应的服务。

由此观之,在大数据时代的未来,获利最大者将是“数据为王”或者“数据驱动”的业务内涵和模式,发展大数据并挖掘大数据的新价值是其不可不为的原动力。中国也必须尽快扶植相关的产业和公司,以抗衡谷歌这样的跨国巨头,并最终实现赶超。

技术支持与发展

大数据不是口号,而是技术,同时也是技术的整合。大数据的到来,已经成为现实生活中无法逃避的挑战。无论如何,大数据已经成为新一轮技术变革的最强音。关于模式的思考,关于安全的质疑,关于应用的探索,我们必须静下心来看大数据,实实在在了解大数据目前仍然需要解决的问题。

国计民生、商业创新无不与大数据相关,大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。每当我们要做出决策的时候,大数据就无处不在。无论如何,我们都必须直面大数据时代的到来。

大数据给中国带来的巨大挑战,首先是三个重要的技术问题。

☆如何利用信息技术等手段处理非结构化和半结构化数据

大数据的一个重要特点就是数据分散。大数据中,85%都是非结构化的数据,结构化数据只占15%左右。大数据的另一个特点就是不确定性,表现在高维、多变和强随机性等方面。有90%的数据来自开源数据,其余的被存储在数据库中。而大数据则大量存在于社交网络、互联网和电子商务等领域。

值得注意的是,大数据刺激了大量的研究问题。但是大数据每一种表示形式都仅呈现数据本身的侧面表现,并非全貌。比如图像,如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?

如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程,那么将粗糙知识与被量化后的主观知识相结合而产生“智能知识”的过程就叫作“二次挖掘”。这些结构化的粗糙知识可以被主观知识加工处理并转化,生成半结构化和非结构化的智能知识,这也正是基于大数据的数据挖掘所产生的结构化的粗糙知识的一些新特征。

由于大数据所具有的半结构化和非结构化的特点,寻求“智能知识”也就反映了大数据研究的核心价值。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰,要想实现从“一次挖掘”到“二次挖掘”这样类似事物量到质的飞跃,还必须通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。这些都需要给定一种半结构化或非结构化数据,包括具体的经验、常识、本能、情境知识和用户偏好。

☆如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

大数据的复杂形式导致许多对“粗糙知识”的度量和评估显得尤为重要。这一问题的突破是实现大数据知识发现的前提和关键。这里,人机交互将起到至关重要的作用。管理科学,尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

从短期而言,学术界鼓励发展半结构化、非结构化数据之间的转化原则,以支持大数据的交叉工业应用。从长远角度来看,可以将已知的最优化、数据包络分析、期望理论、管理科学中的效用理论应用到“二次挖掘”过程中,研究如何将主观知识融合到数据挖掘产生的粗糙知识中。大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而导致大数据统一理论的完备。

☆数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

在大数据环境下,管理决策面临着两个“异构性”问题:“决策异构性”和“数据异构性”。大数据已经改变了传统的管理决策结构的模式。决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。探索大数据环境下决策结构的改变对管理决策结构的影响会成为一个公开的科研问题。寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,已知的数据挖掘方法将成为大数据挖掘的工具。

无论大数据带来了哪种数据异构性,大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,传统的管理决策模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。大数据是一种具有隐藏法则的人造自然,如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法,通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁,那么我们将能够很好地应对传统的数据挖掘理论和技术提出的新挑战。尽管这样的探索十分困难,但是研究大数据,是十分必要的。

除此之外,还有一些数据科学的问题,以上也仅仅是研究大数据挑战的一个起点。在未来,相关的问题都可以得到很好地解决。

自从人类进入到信息化时代以来,我们不断产生大量的数据,加之物联网、移动互联网应用的大规模爆发,大量新数据以每年50%的速度在增长,或者说每两年就要翻一番多。数据已经渗透到每一个行业和服务职能领域,随着互联网技术的不断发展,数据本身就是资产,这一点在业界已经形成共识。

人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。在云计算时代,人类通过对海量大数据的高效分析获得商业以及社会价值。云时代的到来、移动终端普及使得数据创造的主体由企业逐渐转向个体,而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。随着云计算技术的快速普及,人类社会正在步入一个被互联网和通讯技术引爆的大数据时代。大数据技术在中国的发展前景是光明的,前提是我们能够提升和扩充自己的技术王国,建设美好的蓝图。

全球技术研究和咨询公司Gartner将大数据技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一。Gartner在其新兴技术成熟度曲线中将大数据技术视为转型技术,这意味着大数据技术将在未来3?5年内进入主流。中国也不会落后,“云基地”作为国内最早根植在云计算技术及商业模式的领先者,也一直积极关注大数据带来的发展机遇。

从战略到战术层面,从理念到技术层面,中国都已开始自我的进化,更加适应这个新的时代。中国经过了几十年的积累,让不断产生的海量数据正在成为虚拟世界取之不尽的能源,而它们还远未被开发。

信息化技术的普及使得中国企业更多的办公流程通过网络得以实现,由此产生的数据也以非结构化数据为主。而其他领域的研究,如云计算、下一代分析、内存计算等也都与大数据的研究相辅相成。我们尚无法确定万物是否皆有数据,但是至少已经推开了这样一扇大门:以理性的态度思考大数据,共同保持着持续变革的动力,主动地拥抱这种变化。早在2012年时,非结构化数据就已达到了互联网整个数据量的75%以上,用于提取智慧的大数据,往往是这些非结构化数据。而现在,这个比例已变得更大,我们也拥有了足够的技术支持。换句话说,中国的大数据技术的积累已到达了突破阶段。

“脚印追踪”--个性化的数据推荐系统

如果你在自己经常网购的网站看到“猜你喜欢”之类的东西是那么符合自己的要求,不要惊讶,因为我们每一个人都已经步入了大数据时代。你可以想象一下,也许在未来,每天打开电脑,它会自动把你所有的需求列一个清单,你只需要坐在舒服的沙发上点几个确定选项,就可以轻轻松松地搞定一切了。

不要以为这种情形只发生在科幻电影中。商家只有在满足大众的需求时才能够卖出商品,而这一切都是在满足大众的个性化需求的基础之上实现的。

2011年9月,淘宝公司发起了用户定制电视的活动,2天内1万台订制电视就被抢光。在该活动中,用户可以选择电视的各种属性,包括尺寸、边框、颜色等,厂商根据用户的订制内容生产电视产品,再送货到客户的家中。

从这个具有代表性的案例中我们就可以发现,未来的商业模式正在发生着质的变化,它通过满足个性化需求来提升商业运转的效率,在为消费者提供更好服务的同时,获得更多的利润。

☆“猜你喜欢”的由来

网购中随处可见的“猜你喜欢”是怎么来的呢?事实上,这种推荐方式来源于亚马逊的技术创新。

亚马逊公司的内容起初都是由人工完成的,他们聘请了一个由20人组成的书评团队在网页上推荐有意思的新书。但是随着在亚马逊上架的图书越来越多,这样的人工操作自然越来越显得乏力低效了。

后来,亚马逊的总裁贝索斯决定尝试更有创造性的做法,根据用户的习惯来为其推荐商品。但若想实现个性化推荐,必须要将不同用户进行比较再找到用户之间的关联。但是,面对庞大的数据,这种推荐系统算法烦琐,结果也是不尽如人意。

同类推荐
  • 走进梦想小镇

    走进梦想小镇

    万科得意之作,王石亲笔作序推荐!以内容和文化为基点,打造最温情的桃源小镇!当代人居的“乌托邦”是如何做到的?又为何引起国内外建筑大师的极力追捧?良渚文化村是万科集团规模最大的房地产开发项目,历时14年多,单项目销售金额超过200亿元;不仅吸引了大卫·奇布菲尔德、安藤忠雄、丹尼尔·李布斯金、保罗·安德鲁、原研哉等国际设计大师的垂青追捧,更被王石称为“一个代表万科未来的作品”,被绿城宋卫平带150名高管学习并称赞为“中国城镇化未来”的项目。本书内容故事性强,诸多社区运营的问题在作者细腻的笔触中娓娓道来,又深刻剖析了现在城市化进程中具有代表性的社会学问题,其中很多经验值得推广和借鉴。
  • 向诸葛亮借智慧

    向诸葛亮借智慧

    本书从管理学和心理学角度出发,运用人力资源管理和组织行为学的知识,解读诸葛亮的一生,对三顾茅庐、舌战群儒、赤壁大战、空城计、斩马谡、六出祁山等大事件都有精辟的分析,从一个崭新的角度观察历史人物和历史事件,既讲故事也分析规律,并与当今现实生活相结合,古为今用,总结出能在现实生活中运用的规律和技巧。
  • 野蛮生长的秘密

    野蛮生长的秘密

    中国私营企业顺利成长的实践指导读本,中国民营资本自立自强的危机自救方略。本书汇集优秀企业家的成功经验,以商战实例为素材,融哲理和操作方法于一体。它传递的不仅是企业做强做大的方法,更是不断创新、不断探索的精神,置之死地而后生的智慧,勇于开拓的勇气,以及自主自立的民族情感。
  • 《案例。》系列(第3辑)

    《案例。》系列(第3辑)

    《案例》(第3辑)作为国内第一份以公司案例为内容的商业读本,由知名财经作家吴晓波主编的《案例。》的出版,无疑给我们在本土财经写作方面提供了另一种声音,它既不是讳莫如深的学院式研究,也不是时效性的简单叙述,《案例。》所发出的声音是介于这二者之间的,它让“案例”写作变的轻快但不失厚重,简洁而又易于阅读。本书为《案例。(第3辑)》!
  • 《案例。》系列(第6辑)

    《案例。》系列(第6辑)

    近年来,我们更多地看到了一种“工程师+赌徒”的商业人格模式。他们往往有较好的专业素养,在某些领域有超人的直觉和运营天赋,同时,他们更有着不可遏制的豪情赌性,敢于在机遇降临的那一刻,倾命一搏。这是企业家职业中最惊心动魄的一跳,成者上天堂,败者落地狱,其微妙控制完全取决于天时、地利与人和等因素。在商业中没有什么是必然的。如果孙宏斌满足于在天津城里当地产大王,如果戴国芳不去长江边建他的大钢厂,如果宋如华专心经营一个软件园,如果顾雏军买进科龙后再不从事其他收购,如果唐万新就只专注于他的“三驾马车”,那么,也许所有的败局都不会发生。
热门推荐
  • 二十几岁,拿什么去拼一百万个可能

    二十几岁,拿什么去拼一百万个可能

    二十几岁的人时常问自己,拿什么去过自己想要的生活,去拼一百万个可能。本书的内容有成长路上的痛与伤、苦与乐,涉及年轻人生活的方方面面,对年轻人有一定的指导励志作用。希望大家能够从书中读懂自己,读懂生活,和想要成为的自己相视而笑。
  • 追妻无门:女boss不好惹

    追妻无门:女boss不好惹

    青涩蜕变,如今她是能独当一面的女boss,爱了冷泽聿七年,也同样花了七年时间去忘记他。以为是陌路,他突然向他表白,扬言要娶她,她只当他是脑子抽风,他的殷勤她也全都无视。他帮她查她父母的死因,赶走身边情敌,解释当初拒绝她的告别,和故意对她冷漠都是无奈之举。突然爆出她父母的死居然和冷家有丝毫联系,还莫名跳出个公爵未婚夫,扬言要与她履行婚约。峰回路转,破镜还能重圆吗? PS:我又开新文了,每逢假期必书荒,新文《有你的世界遇到爱》,喜欢我的文的朋友可以来看看,这是重生类现言,对这个题材感兴趣的一定要收藏起来。
  • 追妻无门:女boss不好惹

    追妻无门:女boss不好惹

    青涩蜕变,如今她是能独当一面的女boss,爱了冷泽聿七年,也同样花了七年时间去忘记他。以为是陌路,他突然向他表白,扬言要娶她,她只当他是脑子抽风,他的殷勤她也全都无视。他帮她查她父母的死因,赶走身边情敌,解释当初拒绝她的告别,和故意对她冷漠都是无奈之举。突然爆出她父母的死居然和冷家有丝毫联系,还莫名跳出个公爵未婚夫,扬言要与她履行婚约。峰回路转,破镜还能重圆吗? PS:我又开新文了,每逢假期必书荒,新文《有你的世界遇到爱》,喜欢我的文的朋友可以来看看,这是重生类现言,对这个题材感兴趣的一定要收藏起来。
  • 凰医帝临七神

    凰医帝临七神

    (原名《焚尽七神:狂傲女帝》)前世,她贵为巅峰女帝,一夕之间局势逆转,沦为废材之质。魂灵双修,医毒无双,血脉觉醒,一御万兽。天现异象,凰命之女,自此归来,天下乱之。这一次,所有欺她辱她之人必杀之!他自上界而来,怀有目的,却因她动摇内心深处坚定的道义。“你曾说,你向仰我,你想像我一样,步入光明,是我对不起你,又让你重新回到黑暗。”“你都不在了,你让我一个人,怎么像向仰你?!”爱与不爱,从来都是我们自己的事,与他人无关。带走了所有的光明与信仰。
  • 诱宠傲娇小尤物

    诱宠傲娇小尤物

    “乐医师,辛苦了!”边走边脱着防菌服的副主刀医师,朝扶着墙一步三晃的女子投去激赞的一瞥,并盛情地邀请她。“听说青峰路有一家本帮菜不错,特别是那道盐酥鸡翅,绝赞!乐医师愿不愿意一起去尝尝?”盐酥鸡翅……鸡翅……乐师师直接想起了刚才的那场手术,连忙摆手,“不去了,我有点累了,想回办公室休息。”不是她摆架子,论谁经历三场大型外科手术,近四十个小时奋战在手术台前,累也是……
  • 礼仪全书(第一册)

    礼仪全书(第一册)

    在现代社会,礼仪可以有效地展现施礼者和受礼者的教养、风度与魅力,它体现着一个人对他人和社会的认知水平、尊重程度,是一个人的学识、修养和价值的外在表现。《礼仪全书》归纳、介绍了大量最新的交际技巧和礼仪规则,有针对性地分析、解答了生活、工作、交际中经常遇到的种种具体问题,内容涉及社交场合的礼仪礼节、招待宾客的要领、职场中的人际关系、商业营销中的礼仪、与外国人交往的礼仪知识等等。在社会变化日益快速的今天,许多经久不变的社会习俗和礼仪,已经发生微妙的改变。本书多层次、多方位、多侧面地反映了这种变化。
  • 龙瞳战神

    龙瞳战神

    天门七大至尊之一,攻击最强的战尊,重生为秦家公子。前世他改良武学,开创炼药手法,亿万修士拜其为师。这一世他融合绝世龙瞳,再次崛起,开启一段逆天之旅。
  • 三哈女神

    三哈女神

    本书主要从生活、工作、情感三个方面,论述了“哈女”们的生活状态,以她们的优雅生活方式为参照,教会广大女性享受生活,拼战职场,获得幸福的方法与技巧。在生活上,“哈女”们既注重外在的保养,又注重内在的修炼。她们既懂得怎样呵护自己的肌肤,知道化什么样的妆容更能为自己的美丽加分,又懂得怎样提高自己的修养,丰富自己的阅历。在工作中,刚踏入职场的“哈女”们会努力地吸收知识、学习技能,打拼几年后,开始调整自己的心态,将工作视作对生活的一种享受,最后将自己磨练成一个干练的职场女性。在情感上,“哈女”们会勇敢地踏过青春的弯路,以宽广的胸怀、包容的心态拥抱自己的爱情,在婚姻中会努力修行,与对方建立起充分的信任,并相守一生。
  • 钞能力玩家

    钞能力玩家

    2115年,全球最强虚拟现实游戏【宇宙起源】诞生。“介是你没玩过的船新版本,只需体验三分钟,你就会爱上介款游戏……”“什么?为什么到处都是充值活动?你不好好想想,不充钱能变强吗?”
  • 带着地球去抢钱

    带着地球去抢钱

    原来的大纲,与当下的环境不相符,所以,本书作了修改,情节有变。应该说,本书现在的书名应该叫《我的星际岁月》。因书名改不了,所以还是挂羊头卖狗肉。海道得到了一个飞船,有了超人的能力,于是便来往于星际之间。征服之征服,最后,海道成为了星空最强者。