大数据时代的挑战挑战“大数据”时代的挑战“大数据”时代同时提供了挑战。除了诸如计算机病毒、盗版软件以及对服务器的恶意攻击等这些熟悉的问题之外，我们还能看到一些新出现的问题，包括操纵和篡改他人数据以及伪造和假冒他人身份等问题。所有这些问题都会腐蚀人们对于互联网的信任，而这样的信任一直以来都是互联网良好服务品质的标志。在一些重要议题上，网络的社会性将会促使人们在极短的时间内达成一种全球性共识。这也就意味着，在一个给定的很短的时间内，把公众的真正看法与网络上各个群体恰好正在表达的观点区分开来，将会变得更加困难。另外网络“大众性”的特点可能是不合时宜的，因而需要重新进行定位。参考文献：《“大数据”时代的计算机信息处理技术》乔治·纳汉（GeorgesNahon），Orange实验室首席执行官，也是Orange-法国电信集团分支机构的Orange研究所的创建者。大数据研究：未来科技及经济社会发展的重大战略领域（1）大数据的去冗降噪技术。大数据一般都来自多个不同的源头，而且往往以动态数据流的形式产生。因此，大数据中常常包含有不同形态的噪声数据。（2）目前表示数据的方法，不一定能直观地展现出大数据本身的意义。（3）大数据的存储方式不仅影响其后的数据分析处理效率也影响数据存储的成本。（4）大数据面临的一个重要问题是个人、企业和政府机构的各种数据和信息能否方便地融合。（5）据统计，目前采集到的数据85%以上是非结构化和半结构化数据，而传统的关系数据库技术无法胜任这些数据的处理。（6）大数据的获取、通信、存储、管理与分析处理都需要消耗大量的能源。（7）当前跨领域跨行业的数据共享仍存在大量壁垒，海量数据的收集，特别是关联领域的同时收集还存在很大挑战。主要参考文献：《大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考》李国杰.大数据研究的科学价值.中国计算机学会通讯,2012,8（9）：8-15.技术基于大数据量遥感图像的薄云去除1.现有的去云方法（1）多项式法 对同一地区的不同传感器获取的影像中,通过多项式法,用某一些无云影像局部替换另一片有云影像的目标,解决在已有卫星
资料
新概念英语资料下载李居明饿命改运学pdf成本会计期末资料社会工作导论资料工程结算所需资料清单
条件下局部目标影像的云覆盖问题.（2）同态滤波法 它把图像的照射反射模型作为频域处理的基础,利用压缩亮度范围和增强对比度来改善图像的一种技术。2.大数据量遥感图像的薄云去除1、去云原理和步骤 遥感图像中的薄云具有以下特点:高亮度,低对比度,低频,因此薄云去除的主要方法就是降低云层的亮度,增强对比度.因为地物在云层的覆盖之下,变得模糊,只有增强对比度,使得地物的轮廓更加的清晰,同时降低云层的亮度,使得云层区域跟周围地物保持一致,实现去云。2、大数据量图像重采样 抽样就是从总体中合理抽取一定量的样本,并依据这些样本对总体数据进行合理地推断。样本必须与总体尽可能一样，两者保持大致相同的分布。3、薄云识别 对于一个大数据量的遥感图像，为了提高图像处理的速度,一个有效的方法就是仅仅对有云的区域进行薄云去除,不改变无云区域的性质,因此需要进行薄云识别。4、薄云去除 薄云去除的关键就是提高云区的对比度和降低亮度。参考文献：《基于大数据量遥感图像的薄云去除》谢华美、李荣艳、田艳琴、别荣芳›(北京师范大学计算机科学与技术系,100875,北京)挑战基于格网划分的大数据集DEM三维可视化1、基于TIN的简化算法在GIS中TIN被看作为表达DEM的最佳方式,原因在于TIN不仅数据量小,且表达了一定的拓扑结构.但TIN需要消耗较大的内存空间,计算量大,且需要较多的预处理工作。2、基于规则格网的简化算法。与TIN结构相比,规则格网结构则要简单得多,且在实际生产中DEM往往使用规则格网表达,常见的是基于点阵的栅格表达方式,一般使用位图格式进行存储.但规则格网所占存储量较TIN大,且不具有拓扑结构。参考文献《3DVisualizationofLargeDEMDataSetBasedonGridDivision》SunMin XueYong MaAina(InstituteofRemoteSensingandGeographicInformationSystem,PekingUniversity,Beijing 100871)(LaboratoryofRemoteSensingInformationSciences,InstituteofRemoteSensingApplications,ChineseAcademyofSciences,Beijing 100101)架构大数据:挑战、现状与展望1.数据移动代价过高.在数据源层和分析层之间引入一个存储管理层,可以提升数据质量并针对查询进行优化,但也付出了较大的数据迁移代价和执行时的连接代价。2.不能快速适应变化.传统的数据仓库假设主题是较少变化的,其应对变化的方式是对数据源到前端展现的整个
流程
快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计
中的每个部分进行修改,然后再重新加载数据,导致其适应变化的周期较长。3、巨量数据与系统的数据处理能力之间将会产生一个鸿沟:一边是至少PB级的数据量,另一边是面向传统数据分析能力设计的数据仓库和各种BI工具.如果这些系统或工具发展缓慢,该鸿沟将会随着数据量的持续爆炸式增长而逐步拉大。参考文献：《架构大数据:挑战、现状与展望》王珊、王会举、覃雄派、周烜1)(数据工程与知识工程教育部重点实验室(中国人民大学北京100872)2)(中国人民大学信息学院北京100872)
浙公网安备 33021202002483