网络进阶论文——浅析“大数据”

网络进阶论文——浅析“大数据” 信息科学与 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院 题 目: 浅析“大数据” 专 业: 网络工程 班 级: ?班 姓 名: 王颖超 学 号: ??????? 二〇一四年十月 摘 要 随着科学技术的发展， 大数据技术已经来到我们身边，渗透进入我们每个人的日常生活消费之中。大数据依仗于无处不在的传感器。通过大数据技术，人们能够在医院之外得悉自己的健康情况;而通过收集普通家庭的能耗数据，大数据技术给出人们切实可用的节能提醒;通过对城市交通的数据收集处理，大数据技术能够实现城市交通的优化。 在大数据时代，人脑信息转换为电脑信息成为可能。科学家们通过各种途径模拟人脑，试图解密人脑活动，最终用电脑代替人脑发出指令。正如今天人们可以从电脑上下载所需的知识和技能一样，将来也可以实现人脑中的信息直接转换为电脑中的图片和文字，用电脑施展读心术。总而言之，大数据技术的发展有可能解开宇宙起源的奥秘。未来的大数据除了将更好的解决社会问题，商业营销问题，科学技术问题。人才是地球的主宰，大部分的数据都与人类有关，要通过大数据解决人的问题。 同时，大数据时代带来的大量信息资源的同时，我们也面临着种种机遇和挑战。 一、提出背景 很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻，如果你问他大数据和你有什么关系,估计很少能说出一二三来。对于地球上每一个普通居民而言，只要看看周围正在变化的一切，你就可以知道，大数据让人类对一切事物的认识回归本源;大数据通过影响经济生活、政治博弈、社会管理、文化教育科研、医疗保健休闲等等行业，与每个人产生密切的联系。 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称:“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念，也引起了金融界的高度关注。”随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。 二、大数据概念 大数据(big data)或称巨量 资料 新概念英语资料下载李居明饿命改运学pdf成本会计期末资料社会工作导论资料工程结算所需资料清单 、、海量数据，是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 (一)、大数据最核心的价值 就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。 I (二)、 大数据的特征通常表现为以下四个方面: 1、数据体量巨大(Volume) 2、数据类型繁多(Variety) 3、价值密度低(Value) 4、处理速度快(Velocity) 这是大数据区分于传统数据挖掘的最显著特征。在海量的数据面前，处理数据的效率就是企业的生命。综上，相对于其他技术体系，大数据的综合成本最优。 (三)、 大数据思维: 维克托?迈尔-舍恩伯格认为，1-需要全部数据 样本 保单样本pdf木马病毒样本下载上虞风机样本下载直线导轨样本下载电脑病毒样本下载 而不是抽样;2-关注效率而不是精确度;3-关注相关性而不是因果关系。大数据的真正价值在于创造，在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能量的煤矿。大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。投资者眼里是金光闪闪的两个字:资产。 大数据处理分析的六大最好工具 1、Hadoop 2、HPCC 3、Storm 4、Apache Drill 5、RapidMiner 6、 Pentaho BI (四)、结构大数据的方法: 想要系统的认知大数据可以从三个层面来全面而细致的分解展开: 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。我将分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。 (五)、未来在大数据领域最具有价值的是两种事物: 1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益; 2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。 从价值链条来分析，大数据存在三种模式: 1- 手握大数据，但是没有利用好; 2- 没有数据，但是知道如何帮助有数据的人利用它; 3- 既有数据，又有大数据思维; 三、大数据的应用价值 (一)、互联网大数据的典型代表性包括: I 1-用户行为数据 2-用户消费数据 3-用户地理位置数据 4-互联网金融数据 5-用户社交等UGC数据 大数据时代网民和消费者的界限正在消弭，企业的疆界变得模糊，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。如果不能利用大数据更加贴近消费者、深刻理解需求、高效分析信息并作出预判，所有传统的产品公司都只能沦为新型用户平台级公司的附庸，其衰落不是管理能扭转的。 因此，大数据时代将引发新一轮信息化投资和建设热潮。由于国际巨头在硬件层和基础软件层垄断优势明显，本土企业将主要依靠对客户需求的了解和客户资源优势，以及本地化服务的优势，在应用软件层分得蛋糕，拥有大数据处理、挖掘技术、数据分析人才以及数据资产的公司值得看好。 (二)、大数据的投资热点 1.互联网 阿里巴巴的王坚对于大数据也有一些独特的见解，比如，“今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点。”、“非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。”、“你千万不要想着拿数据去改进一个业务，这不是大数据。你一定是去做了一件以前做不了的事情。”阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。 搜索巨头百度围绕数据而生。百度拥有两种类型的大数据:用户搜索表征的需求数据;爬虫和阿拉丁获取的公共web数据。 腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。 2.企业 企业的CXO们最关注的还是报表曲线的背后能有怎样的信息，他该做怎样的决策，其实这一切都需要通过数据来传递和支撑。在理想的世界中，大数据是巨大的杠杆，可以改变公司的影响力，带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。对于企业的大数据，还有一种预测:随着数据逐渐成为企业的一种资产，数据产业会向传统企业的供应链模式发展，最终形成“数据供应链”。对于提供大数据服务的企业来说，他们等待的是合作机会，就像微软史密斯说的:“给我提供一些数据，我就能做一些改变。如果给我提供所有数据，我就能拯救世界。” 3.个人 个人大数据就是与个人相关联的各种有价值数据信息被有效采集后，可由本人授权提供第三方进行处理和使用，并获得第三方提供的数据服务。 个人的大数据的特性:1- 数据仅留存在个人中心，其它第三方机构只被授权使用(数据有一定的使用期限)，且必须接受用后即焚的监管。2- 采集个人数据应该明确分类，除了国家立法明确要求接受监控的数据外，其它类型数据都由用户自己决定是否被采集。3- 数据的使用将只能由用户进行授权，数据中心可帮助监控个人数据的整个生命周期。 4.政府 政府各个部门都握有构成社会基础的原始数据，这些数据在每个政府部门里面看起来是单一的，静态的。但是，如果政府可以将这些数据关联起来，并对这些数据进行有效的关联分析和统一管理，这些数据必定将获得新生，其价值是无法估量的。现在城市都在走向智能和智慧，比如，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市，这些都依托 I 于大数据，可以说大数据是智慧的核心能源。另外，作为国家的管理者，政府应该有勇气将手中的数据逐步开放，供给更多有能力的机构组织或个人来分析并加以利用，以加速造福人类。 (三)、关于人们的“衣食”“住”“行” 1人们的生活以及消费方式已经发生了惊天的转变。不光是北京，自淘宝创立以来，大众的消费方式越发多元化，O2O、B2B等方式越来越丰富人们的日常生活。 大数据以及地图的基础应用，已经对人们的生活产生了很大的影响。现今类似的网站应用有很多都与数据以及地理信息相关，作为其代表之一，大众点评正是数据与地理信息的相互结合的优质结晶。 2对于住来说，有几个决定因素:区位、人口、环境。人口数据对于城市的商业数据来说是至关重要的。 3对于人们出行来说，人们的出行组成了大数据，同时大数据可以实时反应交通状况，因此大数据与交通的辩证关系一直为社会所重视;近年来交通所带来的能耗问题被逐渐重视起来，这不光是对个人资金的节省，更是对自己所在这个环境的一种责任。 “大数据”对于许多人来说不可否认地意味着许多方面，它已经不再局限于技术领域。如今，大数据已成为一项业务上优先考虑的工作任务，因为它能够对全球整合经济时代的商务产生深远的影响。然而，媒体的大肆渲染使得炒作与真实难以区分。到底在发生什么, 四、机遇与挑战并存 伴随着各种随身设备、物联网和云计算云存储等技术的发展，人和物的所有轨迹都可以被记录。在移动互联网的核心网络节点是人，不再是网页。数据大爆炸下，怎样挖掘这些数据，也面临着机遇与挑战的双重挑战。 (一)、大数据隐私 用户隐私问题一直是大数据应用难以绕开的一个问题，如被央视曝光过的分众无线、罗维邓白氏以及网易邮箱都涉及侵犯用户隐私。目前，中国并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的 原则 组织架构调整原则组织架构设计原则组织架构设置原则财政预算编制原则问卷调查设计原则 。 当微博，微信，QQ空间这些社交平台肆意的吞噬着数亿用户的各种信息时，你就不要指望你还有隐私权了，就算你在某个地方删除了，但也许这些信息已经被其他人转载或保存了，更有可能已经被百度或Google存为快照，早就提供给任意用户搜索了。爱德华?斯诺登，这位前美国中央情报局(CIA)雇员一手引爆了美国“棱镜 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 ”(PRISM)的内幕消息。这个事件引发了人们对政府使用大数据时对公民隐私侵犯的担心。 因此在大数据的背景下，很多人都在积极的抵制无底线的数字化，这种大数据和个体之间的博弈还会一直继续下去„„ (二)、有效保护大数据背景下隐私权的建议: 1-减少信息的数字化;2-隐私权立法;3-数字隐私权基础设施 4-人类改变认知(接受忽略过去);5-创造良性的信息生态;6-语境化。 从市场角度来看，大数据还面临其他因素的挑战。当物联网发展到达一定规模时，借助条形码、二维码、RFID等能够唯一标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析，这些数据能够支撑智慧城市，智慧交通，智 I 慧能源，智慧医疗，智慧环保的理念需要，这些都所谓的智慧将是大数据的采集数据来源和服务范围。 大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 展望过于美好，也许实现个人数据中心将遥遥无期，也许这还不是解决个人数据隐私的最好方法，也许业界对大数据的无限渴求会阻止数据个人中心的实现，但是随着数据越来越多，在缺乏监管之后，必然会有一场激烈的博弈:到底是数据重要还是隐私重要;是以商业为中心还是以个人为中心。探求数据价值取决于把握数据的人，关键是人的数据思维;与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。 五、总结 (一)、 全球互联网巨头都已意识到了“大数据”时代，数据的重要意义。 其实大数据很早以前就有，只是光只有数据大是没有用处的。世界上最大的数据估计和互联网一点关系都没有，欧洲对撞实验室做一次碰撞的数据，可能一辈子都做不完，最大的数据估计在那里。 数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点。所有东西在线这个事情，远远比“大”更反映本质。像快的打车要用一个交通的数据，如果这些东西不在线，是没有用的。为什么今天的淘宝数据值钱，因为他在线了。写在磁带、写在纸上的数据，根本没有用。反过来讲，在线让数据搜集变得非常容易。 大数据开创新世界 只有充分运用好大数据，才能在新的历史时期把握机遇迎接挑战，创造人类更加美好的未来! I