数据新闻手册.

数据新闻手册前言本 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 讲了哪些内容（又没讲哪些内容）本书计划成为所有想成为数据记者或者对数据新闻感兴趣的人的实用参考资源。很多人都参与到本书的撰写当中，通过我们的编辑，我们尽可能的想让他们不同的声音与观点通过这本书产生更大的影响。我们希望整个阅读过程就像是一段宝贵又有价值的对话，关于什么是数据新闻，为什么它很重要，如何去做数据新闻。可悲的是读本书并不能提供给你足够多内容，涵盖所有成为数据记者所需要的知识与技能。那需要一个囊括几百名专家就成百上千个话 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 下相关问题答案的图书馆才行。幸运的是，这个图书馆确确实实存在于世上，它叫做互联网。我们希望此书能告诉你如何才能开始，你应当看些什么才能让你走的更远。本书中的例子和教程都是一些概览性和说明性的，而并没有详尽的展开。我觉得我们很幸运有能从所有贡献者身上获得足够多时间、能量和耐心，我们也尽可能发挥得恰到好处。我们希望——更作为一份有用的参考来源——这本书能记录下这一新兴发展中所有的激情与热血，眼光与能量。本书想要本数据新闻手册仍在进展当中。如果你认为有任何需要增加的或者明显缺少的，请大声告诉我们以包含在下一个版本中。本书可以在CreativeCommonsAttribution-ShareAlike下自由获取，我们大力鼓励你与任何可能对本书感兴趣的人分享这本书。LilianaBounegru(@bb_liliana)LucyChambers(@lucyfedia)JonathanGray(@jwyg)2012年3月第一章入门一、何为数据新闻二、为何记者要运用数据三、经典案例四、数据新闻的视角第一节何为数据新闻何谓数据新闻？简而言之，就是用数据处理的新闻。但这种解释也不甚明了。“数据”和“新闻”都是令人棘手的词语。有些人认为数据就是就是大多出现在电子表格中的一堆数字。二十年前，这很可能是新闻的唯一处理内容。然而如今，我们生活在一个数字化的世界---这世上几乎任何事物都能用数字来描述。你的就职经历，包括你的朋友圈中的人物，在长达三十万份的机密文件中被“1”和“0”所取代。照片、视频和音频，乃至凶杀、疾病、政选投票和腐败、谎言也是依样画葫芦处之被“0”和“1”所取代。数据新闻同其他新闻形式的不同之处在哪里呢？数据新闻为把传统的新闻敏感性和有说服力的叙事能力，与海量的数字信息相结合创造了新的可能。同样的可能性也出现在记者的工作过程中。正如阿德里亚·哈罗瓦提(AdrianHolovaty)在芝加哥犯罪数据与街区网中所做的一样，通过计算机编程对当地政府、警署以及其他城市来源的信息进行自动化的采集与整合。甚至可以使用软件来找出千万份文件之间的联系，就像《每日电报》对议员消费的数据 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 一样。Figure1.议员消费调查(卫报)数据新闻能够帮助新闻工作者通过信息图表来报道一个复杂的故事。比如说，汉斯·罗思令(HansRosling)通过Gapminder这款软件以可视化的方式讲述世界贫困问题，他这种打动人心的表现方式吸引了全球几十万人的关注。还有大卫·麦克坎德雷斯（DavidMcCandless）从大数据中提炼关键的工作——如把公众消费、冰岛火山爆发所产生和防止的污染计入数据，这些关于清晰设计的重要性都在他的著作——InformationisBeautiful.中展露无遗。这或许也能解释一个故事是如何与个人产生共鸣的，就像BBC广播公司和《财经时代》杂志开始惯常地互相监督对方的财政预算（这样你就能发现预算是怎么影响你的个人生活的，而不是从《卫报》的“JoePublic”栏目中获知）一样。数据新闻能够自己汇聚新闻信息，正如《卫报》通过它的数据博客成功地分享其数据、文章和问题。数据可以是数据新闻的来源，也可以是讲述新闻故事的工具，还可以两者兼具。像其他信息源一样，我们应该持怀疑态度对待它；如任何工具一样，我们应该对于随新闻衍生的数据如何影响和左右新闻故事的发展持清醒态度。—保罗·布拉德肖（PaulBradshaw）,伯明翰城市大学第二节为何记者要运用数据新闻业正腹背受敌。过去，媒体能够成为一种产业，是因为我们是唯一能利用技术大规模生产和传播新闻，告诉大众昨夜发生了什么的机构。印刷媒体就像一条必经之路，如果有人想要知道第二天某城市的人或某地区发生了什么事，印刷媒体是他们的唯一选择。然而这种光景已经一去不复返了。而今，新闻在事情正在发生的时候就通过目击者的记录、博客等多种途径扩散开来。并且这些消息在传播过程中被巨大的社会关系网络所筛选，同时被排名与评论，但更常见的则是被忽略。这就解释了数据新闻为何如此重要。收集、筛选、并呈现那些表象背后的原因与真相有着越来越高的价值。例如，你早上喝的果汁和泡的咖啡——在今天全球经济的背景下，这些商品与你和他人之间就存在着某种无形的联系。而讲述这种关系的语言就是数据：一个孤立的事件当中的少量信息往往缺少关联度，但如果从正确的角度观察却能发现极为重要的价值。眼下，一些具有开拓精神的记者已经向我们展示了如何利用数据更深层次地洞察正在发生的新闻事件，以及这些事件可能对我们产生的影响。数据分析可以为我们呈现“故事的轮廓”（SarahCohen语），或提供“新的视角”（DavidMcCandless语）。对数据的使用使得记者的工作核心由追求最先报道新闻向讲述某一事态变化展背后的真正含义转变。话题的范围十分宽泛。从“正在孕育中的下一个金融危机”到“我们消费的商品背后的经济规律”，以及“基金滥用”或“政治失误”，这些问题通过强大的数据图表展现出来清晰明了且极具说服力。这就是为什么新闻记者应该把数据视做机会。比如，他们可以告诉不同年龄、性别和教育背景的受众，诸如“失业率”这样抽象的威胁会对其产生怎样的影响。利用数据使每个人都能够好的理解这些抽象的事务，并与他们自身的情况联系在一起。他们还可以制作人性化计算器来帮助人们做出决策。这些决策可以是买车买房，也可以是教育或专业的道路抉择，还可以是进行支出核算避免债务问题的发生。他们也可以透析诸如社会动乱或政治争议这些复杂情境下的态势发展，去伪存真，让每个人对解决这些复杂问题的可能方案都了然于胸。。通晓搜索、清理并呈现数据是对专业信息搜集工作的巨大变革。掌握这些技能的记者对于撰写新闻事实与事件洞察将会十分容易。不必费心推测，也不必四处引证——相反，记者能够在数据佐证的基础上写出一篇观点有力的文章，这深刻地影响新闻业所扮演的角色。此外，对数据新闻实践也预示着未来。如今随着新闻业的萎缩，大部分记者开始希望转战公共关系，而数据记者和数据研究者则成了一个越发吃香的团体。这种现象不仅存在于媒体界，全世界的公司和相关机构也都在寻求这种“（数据）意义建构者”和业内专家，因为这些人知道如何充分挖掘数据并把它们转变成有形的实体。数据有着巨大的前景，这令媒体兴奋不已，促使他们开始寻求这种新型报道人才。对于自由职业者来说，熟知数据也能够带来新的工作机会和稳定的收入。从这种角度来看，与其雇佣记者向报纸版面与网站页面塞满低劣内容，还不如使用数据来创造编读的双向需求，而唯一的办法就是用一个星期来解决一个问题。这对于媒体业的各个部门来说都是一个令人欣喜的变化。而限制记者挖掘这块潜在领域的阻碍在于：他们需要接受训练才能够知晓从问出第一个问题到做出一个由数据驱动的重磅独家新闻的所有步骤。同数据打交道就如同踏入广袤的未知领域。第一眼看过去，原始的数据令人眼花缭乱、头脑混沌。这种繁杂得数据，的确难以恰当地将其可视化。它需要经验老到的记者，这些人拥有从混淆、乏味的原始数据中“看出”其中暗藏故事的能力。—米尔科·洛伦兹（MirkoLorenz），德国之声调查欧洲新闻中心进行了一项调查，目的在于了解新闻工作者对于职业能力培训的需求。我们发现他们对于跳出传统新闻模式的安全地带，想要花时间去掌握新的技能有非常大的意愿。调查的结果显示新闻工作者看到了机会，但是缺少一点点对于他们刚开始接触数据工作所遇到的困难的帮助。但是应该对数据新闻的工作流程、所需要的工具、所得到的应用及其结果将会很快进步发展充满信心。像卫报、纽约时报、德克萨斯论坛报、德国时代周报这些先驱者已经在提高数据驱动新闻数量上继续前行。数据新闻能继续保留一小部分为之发展不断探索的人吗？每一家新闻组织都能够很快拥有自己的专注于数据新闻的团队吗？我们希望这本手册能够帮助更多的新闻工作者和新闻编辑室能够在这个新兴领域中保持优势。Figure2.欧洲新闻中心对记者培训需求所做的调查===数据新闻为何重要？我们曾向数据新闻领域的领先实践者和提倡者发问：为什么他们认为数据新闻是一个重要的发展领域？我们得到如下回答。过滤数据流以前信息匮乏的时候，我们的大多数精力都放在寻找和搜集信息上。而如今信息日益丰富，信息处理变得更加重要。我们处理数据时，分两个层面进行：（1）分析数据，从无限的数据流中建构意义与结构（2）展现数据，让消费者能够理解并记住那些重要且息息相关的信息。同科学研究一样，数据新闻所告知的研究方法与展示研究结果是应当能被重复检验的。—菲利普·梅耶（PhilipMeyer），名誉教授，北卡罗来纳大学教堂山分校新闻叙事的新方法在我看来，数据新闻是一个概括性术语，它囊括了一套仍在不断增多的用于新闻叙事的工具、技巧与方法，涵盖了从传统的计算机辅助报道（使用数据作为“信源”）到最前沿的数据可视化和新闻应用等一切叙事方式。其统一的目标是新闻业意义上的：提供信息和分析以帮助告知我们一天内所有最重要的事件。—阿隆·菲尔霍夫（AronPilhofer），纽约时报就像用笔记本电脑完成的图片新闻“数据新闻”和“文字新闻”的唯一不同在于我们使用了不同的工具包。我们都以探寻、报道和讲述故事为生。“数据新闻”就像是“图片新闻”；无非是把相机换成了笔记本电脑。—布莱恩特·博耶（BrainBoyer）,芝加哥论坛报数据新闻是未来数据驱动的新闻代表着未来。新闻工作者需要精通数据。过去你可能通过在酒吧和人聊天获取新闻故事素材，尽管现在这种方式有时可能仍被采用，但目前你同样要钻研数据并借助数据工具进行分析和筛选出令人关注的信息。并对信息加以正确地处理，帮助人们真正看到它反映了什么，在这个国家正在发生什么。—蒂姆·伯纳斯-李,万维网创始人当数字运算遇上文字游戏数据新闻打通了统计技术人员与写作为生的人之间的差异。定位离群值和识别趋势不只在有显著的统计意义，还与解码当今的复杂世界息息相关。—戴维·安德顿（DavidAnderton），自由撰稿记者更新你的技能组合数据新闻是一套用于搜索、理解和可视化数字信源的全新技能组合。在如今的时代，单纯掌握传统新闻学的基本技能已经远远不够。数据新闻不是要代替传统的新闻业，而是它的一个补充。在这个信源走向数字化的时代，记者可以而且必须要更接近信源。互联网开辟的各种可能性已经超出了我们目前的可知范围。数据新闻正处在革新过去的操作手法以适应互联网的初始阶段。数据新闻可以帮助新闻机构达成的两个重要目的：寻找独特的故事（而不是从通讯社获得）和执行看门狗的功能。尤其是在金融危险的时候，这两者都是报纸设法达到的重要目标。从地区性报纸的立场来看，数据新闻是至关重要的。我们有一句谚语是，“你门前一块松散的瓷砖被认为比一个遥远国家发生的暴乱更为重要”。它出现在你面前，并且更直接影响你的生活。同时，数字化是无处不在的。由于当地报纸对周围居民有如此直接的影响，而信源逐渐数字化，所以记者必须知道如何利用数据寻找、分析和可视化新闻故事。—杰里·维曼（JerryVermanen），NU.nl一种信息不对称的补救信息不对称并不是缺乏信息，而是赶不上信息出现的速度和数量，因而无法吸收和处理这些信息。这是市民选择如何生活所面临的最关键的问题之一。从印刷、视觉和听觉媒体所提取的信息影响着市民的选择和行动。优质的数据新闻有助于对抗信息不对称所造成的负面影响。—汤姆·弗莱斯（TomFries），贝塔斯曼基金会数据驱动公关的答案测量工具变得可获，且其价格不断下降，加上对社会各方面的表现和效率的重视，导致决策者量化政策的进展，监测趋势和寻找机会。企业不断更新展示他们的表现的数据。政客喜欢吹嘘他们减少了多少失业人扣和增长了多少国内生产总值。安然，世通，麦道夫或Solyndra等公司事件所表现出的新闻洞察力的缺乏，证明了许多记者无法清楚地看懂数字。相对于其他事实，数字更可能被粗浅地解读，因为数字被蒙上了象征严谨的神圣光环，即使是完全捏造的也不例外。数据的熟悉运用将帮助记者提高他们在遇到数字时的批判意识，并很可能帮助他们在与公关部门交易时占据有利地位。—尼古拉斯·凯瑟－布瑞尔（NicolasKayser-Bril），Journalism++提供对于官方资料的独立阐释日本是一个数据新闻发展滞后的国家。2011年的破坏性地震和随后的福岛核电厂灾难发生后，数据新闻的重要性已经被日本的媒体人所认识。对于灾难所造成的破坏，政府和专家的提供的数据并不可靠，这让我们感觉迷茫不知所措。当官员隐藏SPEEDI数据（预测放射性物质扩散）不让公众知道时，即使它被泄露了，我们也无法解码数据。 志愿者 志愿者简历志愿者简历志愿者简历志愿者简历志愿者简历 开始通过使用自己的设备收集放射性数据，但我们并不了解统计学、插补、可视化等知识。记者需要获得原始数据，并要学会不依赖于它的官方解释。—功松波（IsaoMatsunami），东京新闻处理海量数据数字革命带来的挑战和机会将继续分裂新闻业。在一个信息丰富的时代，所有的记者和公民都需要更好的工具，无论是用于21世纪在中东的地下出版物，一个在深夜进行的数据转储处理，还是为某国消费者寻找最好的可视化水质的方法。尽管我们需要设法解决如何消化海量数据的难题，然而我们需要意识到，新兴的发布平台赋予了每个人数字化收集和共享数据并把它转化为信息的能力。虽然记者和编辑是传统的信息收集和传播的载体，然而扁平化的信息环境已经使得2012年现在的许多新闻最先在网上出现，而不是新闻采编部的桌上。事实上，世界各地的数据和新闻之间的纽带都在不断增强。在大数据的时代，数据新闻日益增强的重要性取决于其从业者所提供的背景和清晰度的能力，而也许最重要的是，在全球不断扩大的数字内容中找到真相的能力。这并不意味着今天的综合性媒体组织没有起到关键作用。事实恰恰相反。在信息时代，记者们比以往任何时候都更需要组织、验证、分析和综合数据的洪流。在这种情况下，数据新闻具有深刻的社会意义。今天，理解大数据，特别是非结构化数据，将是世界各地的数据科学家的一个中心目标，无论他们就职于新闻编辑室，华尔街还是硅谷。值得注意的是，越来越多的常用工具将使这一目标变成可能。开放芝加哥的政府技术专家，医疗保险专家或者编辑部程序员都可能使用这些工具。—亚历克斯·霍华德（AlexHoward），O”ReillyMedia我们的生活就是数据做出好的数据新闻很难，因为做出好的新闻本身就很难。也就是说，如何寻找数据，如何理解数据，还有如何找到故事都是很难的。有时你会陷入僵局，有时没有好的故事。毕竟如果新闻只需要按部就班去做，它就不叫新闻了。而这种困难正是使得新闻有价值的原因。我们的生活是不断增加的数据,在这样一个世界里，新闻对于一个自由和公平的社会至关重要。—克里斯·塔格特（ChrisTaggart），OpenCorporates一种节省时间的方法记者不必再浪费时间在手工抄写和试图从PDF获取数据上了。学习一点点代码，或知道去哪里找人帮助，是非常有价值的。一位来自圣保罗之报负责报道地方预算的的记者打电话给我，感谢我们在网上发布了圣保罗市市政财务数据（这是一个黑客两天的工作量！）。他说，他在过去3个月都在手工抄写这些数据，试图构筑一个故事。此外我还记得我曾为“ContasAbertas”解决了PDF方面的问题，这是一个监督议会的新闻机构：15分钟和15行代码解决他们一个月的工作量。—佩德罗·马昆（PedroMarkun），Transparência黑客记者的工具包的基本组成部分我认为强调“新闻”或“数据新闻”的报道方面是重要的。这项工作不应该只是目的性的分析数据或数据可视化，而是把它作为一种工具来接近世界上正在发生的事情的真相。我认为能够分析和解释数据的能力是当今记者的工具包的一个重要组成部分，而不是一门独立的学科。归根到底，它关系到能否写出好的故事，还有能否在最恰当的方式来叙述故事。数据新闻是审视世界和监管权力的另一种方法。随着越来越多的数据可获得，记者必需了解数据新闻技术，这一点在现在比以往任何时候都更重要。任何一位记者的工具箱中都应该有这个工具：要么学习如何直接处理数据，要么与可以处理数据的人合作。数据新闻真正的用途在于帮助你获得用其他方法很难找到或证明的信息。史蒂夫·多伊格分析了安德鲁飓风的破坏模式，这是一个很好的例子。他使用了两种不同的数据集：一个映射飓风造成的破坏水平，一个显示风速。这让他得以查明缺少建筑规范的地区和恶劣的施工将加重灾害的负面影响。凭借这个新闻故事，他在1993年获得普利策奖。这是一个很大的启发，让我们了解到数据的可能性。在理想的情况下，你可以使用数据来指出异常值，人们感兴趣的领域，或是令人惊讶的事物。在这种情况下，数据可作为导语或内幕信息。虽然数字可以富含趣味，但仅仅写出数据是不够的。你仍然需要新闻报道来解释这些数据意味着什么。—辛西娅·奥墨楚（CynthiaO”Murchu），金融时报适应我们信息环境的变化新的数字技术为整个社会生产和传递知识带来新的方法。数据新闻可以被理解为媒体为适应和回应我们的信息环境变化所作出的尝试–包括增强互动性，讲述多维故事，帮助读者探索新闻相关信息，并鼓励他们参与到创作和评估故事的过程中。—塞萨尔·维亚纳（CésarViana），巴西戈亚斯州大学一种独一无二的看待事物的方法有些故事只能通过分析或者可视化数据才能被理解和阐释。有权势的人和团体之间的联系很难被揭露，药物政策所造成的死亡人数将被继续隐藏，破坏景观的环境政策将继续有增无减。但上述的每一项都因为记者在获取、分析数据，并向读者揭示之后取得了重要的变革。数据既可以简单如电子表格或手机通话记录，也可以复杂如学校考试成绩或医院感染数据，但共同点是这些数据都蕴含着值得讲述的故事。—谢丽尔·菲利普斯（CherylPhillips），西雅图时报一种使新闻故事更加丰富的叙事方式我们可以用我们所留下的数字轨迹描绘出我们的全部生活。从我们消费和浏览过的物品，到我们旅行的时间和地点，从我们的音乐喜好，到我们的初恋，从我们的孩子的里程碑，乃至我们最后的愿望，都可以被跟踪、被数字化、被存储在云里并被传播。通过这个数据的世界来讲故事，回答问题，传递对生活的理解正逐渐开始被人采纳。这种方式胜过重现最严谨细致的名人轶事。—莎拉·斯洛宾（SarahSlobin），华尔街日报你并不需要挖掘最新的数据有时数据是已经公开并可用的，但不是每一个都被深入挖掘过。比如美联社关于4500页记录伊拉克战争期间私人安保承包商行为解密文档报告的案例中，实际上这份材料已经被独立记者通过向美国国务院的信息自由申请拿到有很多年了。他们扫描了这些纸质结果并且传到了云端，这就让我们有可能进行更深入的分析。—乔纳森·史特里（JonathanStray），TheOverviewProject第三节经典案例我们向本书撰稿者寻问了他们最喜欢的数据新闻案例及其原因。以下就是我们得到的答案。拉斯维加斯太阳报之"拒绝伤害"我最喜欢的案例是拉斯维加斯太阳报在2010年对医院治疗拒绝伤害的系列报道。太阳报通过分析超过29万条医院帐单纪录揭示了3600件以上可避免的损伤、传染和手术医疗事故。他们通过公共记录申请获得数据并且认定了超过300件由于可预防的医疗事故导致的死亡案例。这项数据新闻系列报道运用了各种元素，包括能让读者自行查阅医院中超乎预料的手术损伤情况的互动图表；还包括了医院间疾病传染扩散情况的时间轴地图；另外还有一个能让用户按可预防的损伤类型或按医院分类查看人们受到伤害数据情况的互动图表。我喜欢这个作品因为他非常容易理解，导航也做的很到位。用户不加思考便能很容易的去探索这些数据。同时这个系列报道也产生了真正的影响：内华达州立法会就此颁布了六条法规。记者们投入了巨大的精力去获取并清理数据。其中一名记者，亚历山大理查德，至少十二次发还数据给医院和州政府以核实、订正数据。—AngélicaPeraltaRamos,LaNación(阿根廷)译者注：拒绝伤害（DoNoHarm）英文用词源自希波克拉底医书第一条，"FirstDoNoHarm"。希波克拉底是古希腊著名医学家，被后人尊称西医鼻祖。Figure3.拒绝伤害（拉斯维加斯太阳报）GovernmentEmployeeSalaryDatabase我非常喜欢一些小的独立机构每天发布的作品，比如ProPublica或者芝加哥论坛报一名优秀的数据新闻记者瑞恩·墨菲（RyanMurphy）。如果必须选择一个最喜欢的作品的话，我认为是芝加哥论坛报的政府雇员薪资数据库。这个项目收集了66万名政府雇员的薪水情况且建立了一个数据库以便用户检索，同时帮助人们从中挖掘故事。你能按机构、姓名和工资去分类检索。它十分简单但又很有意义，把这些平时接触不到的数据公之于众。它使用简单还能自动生成许多故事。这个案例就很好的解释了为什么芝加哥论坛报网站的大部分访问量都是从数据页来的。—西蒙·罗杰斯，卫报Figure4.政府雇员薪水（芝加哥论坛报）伊拉克战争记录全文可视化，美联社乔纳森·史特里（JonathanStray）和朱利安·伯格斯（JulianBurgess）进军文本分析和可视化领域用于处理伊拉克战争日志的工作非常具有启发性，通过使用这些试验性的科技，将有利于在大量的文本数据集中挖掘与主题相关的更深层次的见解。通过文本分析技术和算法，乔纳森和朱利安创造了一种方法，以视觉化方式呈现维基解密泄露出的成千上万个有关伊拉克战争的美国政府报告中关键词的聚类。虽然这种呈现的方法比较有限，整个方式也是实验性质的，但至少是一种创新的途径。相比于带着这样一种放入特定关键词搜索再检阅输出结构就能得到些什么的先入为主的观念去尝试读遍所有文件或者检阅战争日志，这种技术能够计算并且可视化特定相关内容的主题或关键词。随着不断增长的数据——既包括文本的（电子邮件、报告等）也包括数字的——正在进入大众领域，找出能准确定位关键兴趣区域的方法变得越来越重要。这是数据新闻下一个非常令人振奋的分支。—辛西娅·奥墨楚（CynthiaO”Murchu），金融时报Figure5.分析战争日志（美联社）谋杀秘闻谋杀秘闻项目是我最喜欢的数据新闻之一。这个项目由斯克里普斯·霍华德新闻服务研究机构的汤姆·哈格罗夫负责。他建立了一个数据库，数据是向政府数据和公共记录申请到的超过18.5万件未破谋杀案件的详细人口统计记录，然后他设计了一个算法，试图从中找到作案模式，推测可能存在的连环杀手。这个项目包括了下列所有的优点：精心搜集到的优于政府所有的数据，独到的运用社会科学技术的分析，还有交互的在线数据展示以便读者能够自己对数据进行探索。—史蒂夫·多伊格（SteveDoig），沃尔特·克朗凯特新闻学院，亚利桑那州立大学Figure6.谋杀秘闻（斯克里普斯·霍华德新闻服务研究）消息机器我非常喜爱ProPulica的消息机这个呆瓜博客帖子。这些最早都来源于一些推特用户对大家所收到的奥巴马竞选邮件会有什么差别，所表示出来的好奇心。ProPublica的记者留意到这个现象，并且要求读者转发所收到的任何关于竞选的邮件给他们。将当天晚上几类不同邮件的视觉差异呈现出来非常绝妙。这很精彩因为他们在搜集自己独有的数据（必须承认这是个小样本，但对讲述整个故事来说足够大了）。但实际上更精彩之处在于他们在描述一个正在发生的现象，大数据在政治竞选当中正在运用于定制因人而异的消息内容。—布莱恩·博耶（BrianBoyer），芝加哥论坛报Figure7.消息机（ProPublica）气泡图表安德鲁·加西亚·菲利普所制作的气泡图表网站是我最喜欢的数据新闻项目之一。安德鲁是个对数据十分痴迷的铁杆体育迷，又同时具备极好的极好的设计感与写代码的能力。他通过气泡图这个网站不仅可视化出历史的广度，还在深度上把个人与球队胜败的细节一并呈现。他的制作能传达整个语境，而且他做的图表引人入胜并且深度、幽默、有趣并存他的作品当中。—莎拉·斯洛宾（SarahSlobin），华尔街日报Figure8.胜利与失败图表（气泡图表）第四节数据新闻的视角在2010年8月，我和一些同事组织了一个相信是首届国际数据新闻会议，在阿姆斯特丹举行。那时，会议里并没有大量围绕主题的讨论，只有个别广为人知致力于这个领域的组织参加。使该术语出名的主要原因之一，是如英国卫报和纽约时报等媒体单位处理维基解密所公布的大量数据的方式。当时数据新闻开始被更广泛的用（和“计算机辅助新闻报道”一道）于描述记者如何使用数据以提高新闻报道内容和加强特定主题下的深入调查。根据Twitter上那些经验丰富的数据新闻记者和新闻学者所谈论到的，我们现在所认识的数据新闻最早的表述之一，是由EveryBlock的创始人阿德里安.哈罗瓦提（AdrianHolovaty）在2006年提出的。EveryBlock是一项信息服务，旨在帮助用户了解他们居住的当地发生了什么事情。在他的一篇短文“报纸网站所需要的根本变革”中，他认为，记者应公布结构化的、机器可读的数据，而抛开传统的“大量文字”：例如，报纸写了一则有关当地火灾的故事。能够用手机阅读该故事是最好的。万岁，技术！但我真正想要能够做到的是探索这个故事的原始事实，然后逐层归纳事实的出处，最后能够比较此次火灾与以往火灾以及往后可能发生的火灾的具体细节 —日期，时间，地点，受害人，消防站数量，与消防部门的距离，在场消防员姓名和从业年数，消防员到达了所用的时间。但是，数据新闻与其他使用数据库或计算机的新闻形式的区别在哪里呢？数据新闻是怎样，又在何种程度上不同于过去其他形式的新闻呢？“计算机辅助报道”和“精确新闻学”使用数据提高新闻报道水平，向公众提供结构化的（如果不是机器可读的）信息有着很长的历史。也许最直接相关我们现在所说的数据新闻是“计算机辅助报道”或“CAR”，这是第一个有组织结构的、系统化的改善新闻的方法，它使用电脑来收集和分析数据。CAR最早被哥伦比亚广播公司用来预测1952年总统选举的结果。自1960年以来，（主要是调查新闻并且总部设在美国的）记者开始寻求通过科学方法分析公共记录的数据库以独立地监察权力。它也称为“公共服务新闻”，这些电脑辅助技术的倡导者们试图展示趋势，揭穿流行知识的假面具，和揭露公共部门和私营机构犯下的不公。例如，菲利普·迈耶试图揭露他收到的关于1967年底特律骚乱的材料，以证明不只是教育程度较低的南方人参加了这场骚乱。比尔·戴德曼（BillDedman）的“金钱的颜色”的故事发生在20世纪80年代，它发现了主要金融机构贷款政策中系统性的种族偏见。史蒂夫·多伊格（SteveDoig）的“是什么出错了”试图分析20世纪90年代初早期安德鲁飓风的破坏模式，以了解有缺陷的城市发展政策和做法所导致的后果。数据驱动的报道带来了极具价值的公共服务，并赢得了很多著名的记者奖项。在20世纪70年代初，精确新闻(TheNewPrecisionJournalism菲利普·梅耶著）。按照设想，能把精确新闻学付诸实践的主要是受到过专业新闻学和社会科学训练的主流媒体机构。它为回应“新新闻学”，一种使用小说技巧的新闻报道形式而诞生的。而迈耶认为，新闻所追求的目标是客观性和真理，因此新闻报道所需要的手段是数据收集和分析的科学技术，而不是文学技巧。精确新闻学可以理解为对新闻业的一些普遍不足和薄弱环节的反应：对新闻稿的依赖（后来被称为“抄闻”），对权威来源的偏见等。迈耶认为这些问题的来源是缺乏对信息科学技术和科学研究方法的应用，比如缺少民意调查和公共记录。精确新闻如在20世纪60年代所进行的实践，被用来呈现边缘群体和他们的故事。梅耶认为：精确新闻是一种扩大记者的工具包的方式，使记者可以接触到以前无法了解的，只能粗略访问的，或是受到新闻审查的主题。这对于了解少数民族和持不同政见者团体代表起了很大作用。一篇发表在20世纪80年代关于新闻和社会科学之间的关系的文章颇具影响力。它呼应了目前数据新闻相关的话语。这篇文章的作者是两名美国新闻学教授，他们认为在20世纪70年代和80年代，公众对于新闻的理解从狭义概念的“新闻事件”扩大到“情景报道”，或是对社会发展趋势的报告。通过使用数据库，例如普查数据或调查数据，记者能够“超越具体的、孤立的事件，提供背景从而解释这些事件的意义”。正如我们所预料的，使用数据以改善新闻报道的做法可追溯到“数据”问世的年代。正如西蒙·罗杰斯(SimonRogers)所指出的，卫报的首个使用数据新闻的案例可以追溯到1821年。这个案例是一个表格，它列出了曼彻斯特的各个学校的学生人数和所付的学杂费用。据罗杰斯表示，它首次展示了接受免费教育的学生数量，而这个数字是远远高于官方数字的。Figure9.1821年卫报的数据新闻（卫报）一个早期在欧洲的例子是佛罗伦斯·南丁格尔和她的于1858年发表的关键报告，“英国陆军的死亡情况”。在她向议会提交的报告中，她使用图表来倡议改善英国军队的医疗服务。最有名的是她的“鸡冠图”（coxcomb），用盘旋上升的数据来展示每月死亡人数，这些数据突出了一个事实，那就是死亡的绝大多数是可以预防的疾病，而不是子弹。Figure10.佛罗伦斯·南丁格尔的英国陆军的死亡情况（图片来源自维基百科）数据新闻与计算机辅助报道目前，围绕数据新闻的标签和其与早前的使用计算技术、分析数据集的新闻实践的关系，人们展开了关于“连续性和变化”的辩论。一些人认为CAR和数据新闻之间是有区别的。他们说，CAR是收集和分析数据以加强（通常是调查性）新闻报道的一种技术，而数据新闻注重整个新闻工作流程中处理数据的方式。在这个意义上，数据新闻也注重数据本身（有时比CAR更甚），而不是使用数据作为一种手段来寻找故事或者增强故事的趣味性。因此，我们发现卫报的数据博客和德州论坛报在发表故事的时候也添加了数据集，甚至只提供数据集，让人们自己分析和发现。两者的另一个区别是，调查记者对于他们想试图找到答案的问题或者想处理的难题来说常受信息匮乏之苦。虽然如今这种问题依然存在，但是我们有了相当丰富的信息资源，多到记者并不知道要如何使用它们。他们不知道如何从数据中获取价值。最近的一个例子是联合在线信息系统，这是英国最大的消费信息数据库。它受到信息透明倡导者的长期追捧，但是它发表的一些数据难倒了许多记者。正如菲利普·梅耶最近写信给我说：“过去信息匮乏的时候，我们的精力大部分用于搜寻和采集信息。现在，信息丰富了，如何加工更为重要。”另一方面，有些人认为，数据新闻和计算机辅助报道没有实质上的差异。哪怕是在最近期的媒体实践中，也有历史和创新，这是一个常识。把数据新闻看作传统中的一部分，但应对的是新的情况和条件，比辩论它是否是完全新型的更有成果。即使可能两者在目标和技术上没有区别，但是在本世纪初出现的“数据新闻”的标签标志着一个新的阶段的诞生。在这个新阶段中，网上免费提供庞大的数据量，并结合了先进的以用户为中心的如自媒体发行和众包等工具，使更多的人比以往任何时候都更轻松地获得更多的数据。数据新闻关乎大数据（Massdata）素养数字技术和网络从根本上改变了信息发布的方式。数据新闻业是围绕数据站点和服务展开的生态系统工具和实践的一部分。引用和共享源素材是网站超链接结构的本质，也是我们今天所习惯的浏览信息的方式中的一部分。回溯到更早时期，网页超链接结构的基础原则是用于学术著作的引用。引用和共享源材料和数据背后的故事是数据新闻提高新闻的基本途径之一，维基解密创始人朱利安·阿桑奇把它称为“科学新闻学”。数据新闻使任何人能深入到数据源当中，找到与他们相关的信息，去验证推断并挑战被普遍接受的假设，它有效地代表了大规模民主化进程，其使用资源、工具、技术和方法等，在过去仅限于专家使用，如调查记者，社会科学家，统计学家，分析师或其他专家。虽然目前引用和连接到数据源主要是数据新闻领域的，但我们正努力创造一个世界，在这个世界中，数据无缝地融入到媒体内。数据记者在帮助降低了解和查询数据的壁垒，大规模地增加读者的数据知识水平等方面起到了重要作用。目前，这些新兴的自称为数据记者的社群与更成熟的CAR的社群是非常不同的。希望在未来，我们将看到这两个社群的关系变得更紧密，就像我们看到了新的非政府组织和公民媒体组织，比如ProPublica和新闻调查局，携手与传统新闻媒体一起参与调查。虽然数据新闻社群可能有更创新的提供数据和和展现故事的方式，CAR社群中深入分析与批判的方法是数据新闻所应必须学习的。—莉莉安娜·博内格鲁（LilianaBounegru），欧洲新闻中心第二章新闻编辑室的运作一、ABC的数据新闻实践二、数据新闻在BBC三、新闻应用团队在芝加哥论坛报是如何工作的四、卫报数据博客的幕后五、数据新闻在Zeit在线六、如何雇佣一个黑客？七、通过黑客马拉松聚集外部专家八、追踪赃款：数据新闻与跨国境协作九、我们的新闻以代码呈现十、Kaas&Mulvad：组织机构的半成品内容提供商十一、数据新闻的商业模式第一节ABC的数据新闻实践如今已有70年历史的澳大利亚广播公司是澳大利亚全国性的公共广播。每年有10亿澳大利亚元左右的资金用于7个广播网络、60家当地的广播站、3个数字电视服务商、1个新的互联网电视服务商和1个网络平台去推送不断扩充的数字的和用户产生的内容。据最新统计有超过4500名的全职员工，其中近70%的人生产内容。作为一家国家级广播公司，我们对自身的独立性感到非常自豪——尽管由政府资助，我们却因由法律的保护与政府保持“一臂之距”。我们传承的是独立、公共、服务的新闻理念。ABC被认为是澳大利亚国内最值得信任的新闻机构。现在正是辉煌的时期：在前任报纸主管马克·斯科特（MarkScott）的管理和指导下，ABC的内容生产者们正如公司准则描述的一样——变得“敏捷”。当然，说得容易做得难。但是，最近有一个旨在激励内容生产者的创举——为了培育创新跨平台项目而举办的资金竞标会。这也促成了ABC第一个数据新闻项目的诞生。在2010年的早些时候，我在竞标会现场闲逛了一圈，带着我的提案与三个资深“创意”人士碰面。关于这件事情我反复琢磨了一段时间。我浸泡在卫报数据新闻博客学习其提供的数据新闻教程，这也是为初学者准备的。我个人的观点是，不出5年，ABC将毫无疑问地拥有自己的数据新闻部门。这是不可避免的。但问题在于如何实现，以及由谁开始。对于那些不太熟悉ABC的受众来说，想想一家拥有超过70年历史的庞大机构吧。它最初提供的大多是广播和电视节目。随着过去十多年间网络的崛起，内容的提供方式逐渐延伸至文本，同时还加入前所未有的互动元素。网络空间迫使ABC重新思考该如何切蛋糕（资金）以及该做怎样的蛋糕（内容）。这自然是一项具有进步意义的工作。与此同时，还有其他与数据新闻相关的事情正在发生。在国内广受关注的政府2.0已经开始运用新的方式讲故事，而迄今为止这些方式都离不开电脑代码。以上就是我在资金竞标会上的发言。我还提出，我们需要引入新的技术设备，训练记者使用新的器材。我们需要一个项目来正式加入这个领域。然后，他们就把钱给了我。2011年11月24日，ABC的跨平台媒体项目、也即ABC在线新闻网正式上线，首个推出的专题是“数字上的煤层气”。Figure1.数字上的煤层气（ABC新闻在线）这个专题由5个页面的互动式地图、可视化数据和文本组成。这称不上纯粹的数据新闻团队，只是混合了一群来自不同团队的人，把时下澳大利亚国内的热点话题表现出来。整个专题的亮点是一份澳大利亚煤层气气井分布及租赁情况的交互地图。读者可以按地理位置搜索，以及在租赁情况和气井分布两种模式之间自由切换。读者还可以通过放大地图，查看某个气井的开发商名称、开发状态以及钻井日期。另外一份地图则是澳大利亚的煤层气活跃区域与地下水系统区域之间的对比。Figure2.澳大利亚煤层气气井分布及租赁情况交互地图（ABC在线新闻）此外，我们结合煤层气的发展现状，专门分析可能带来的废盐和废水问题，并将数据以可视化的方式呈现。专题的另一部分调查了流入当地河流系统的化学物质排放情况。我们的团队：一位网页开发及设计人员一位主编记者一位兼职研究员，专长于数据采集、分析与整理一位兼职初级记者一位制作人顾问一位学术顾问，专长于数据挖掘、图形可视化以及其他先进的研究技巧一位项目经理，以及ABC跨媒体平台部门的行政支持尤为重要的是，我们还有一支由记者及相关人员构成的顾问团队，以备不时之需我们的数据来源？互动地图的数据出自政府网站下载的shapefiles（一种常见的地理数据 格式 pdf格式笔记格式下载页码格式下载公文格式下载简报格式下载 ）。关于盐和水的数据出自大量的报告文件。化学物质的排放数据则出自由政府颁发的环境许可证。我们的收获？“数字上的煤层气”专题体现了我们在内容和规模上的野心。但眼下我最为关注的，是我们从中获得了什么启示，以及下一次要如何做出新意？数据新闻项目把很多之前从未碰面的ABC同事聚集在一起。用时髦的话来说，就是黑客和骇客。我们中不少人说着不同的语言，甚至拥有不同的价值观。数据新闻就是这么分裂！经验之谈：共同的办公地点至关重要。我们的开发和设计人员只有开会时才出现，这显然不是最理想的状态！他们应该和记者们在同一屋檐下工作。我们的制作人顾问和我们也不在同一层楼。最好可以离得更近，以便随时沟通。选择一个完全由数据主导的话题。对全局的几个观点：大型的媒体机构必须具备应对数据新闻挑战的能力。我的直觉告诉我，大批的极客和黑客正隐藏在媒体的技术部门里摩拳擦掌。所以我们有必要举办主题为“黑客与骇客”的研讨会，让那些深藏不露的极客、年轻的记者、网页开发和设计人员与资深的新闻工作者有更多的交流机会，从后者身上汲取更多的经验和技能。任务：下载本书，行动吧！真正的数据新闻应是跨领域的。数据新闻的团队由过去从未共事过的人员组成。可以说，网络空间使得彼此之间的界限日渐模糊。我们生存在一个断裂的、不值得信任的政治体制下。过去以专业、独立的新闻产品为核心的商业模式——事实上并不完美——正濒临瓦解边缘。如今，我们应该不断地扪心自问：如果没了充满活力的第四权力（即新闻业），这个世界将会变成什么样子？美国记者及学者沃尔特·李普曼（WalterLippman）在20世纪20年代曾说过：“必须承认的是，良好的公众舆论是离不开新闻的。”这一观点至今仍然正确。进入21世纪，人们沉迷于博客的世界。很难将骗子、造谣人、伪君子和特定利益团体与真正的专业新闻人区分开来。任何网页或消息来源都极有可能包装得可靠、稳重、诚实。而那些值得信赖的的报纸正逐渐被人们遗弃在角落。在这个充斥着垃圾新闻的新空间中，超链接技术引领读者无止境地通向更多毫无意义但外观闪亮的页面。有个描述这种情形的专用术语是：大脑积水。在数字世界里，人人都是新闻人，对吗？不是的。然而，假如专业新闻——我指的是尊重伦理、适度均衡、勇敢真实的事实性叙述——想要继续生存的话，必须重新以适应于数字时代的技能武装自己。数据新闻正是我们在数字海洋中航行的又一新工具。我们会在无数的0和1之中定位、挑选、分类、过滤、提取并分析出有用的信息。接下来的日子，我们将与电脑黑客、开发设计师、编程人员并肩作战。眼下正是过渡时期，需要认真做好能力重塑。我们需要能够有效“发掘”技术与新闻之间联结的项目管理者来实现这一过程。—温蒂·卡利斯勒（WendyCarlisle），澳大利亚广播公司第二节数据新闻在BBC“数据新闻”一词涵盖了一系列的学科，并被广泛应用于各大新闻机构，了解这一点对我们理解“数据新闻”在BBC是大有裨益的。大体说来，“数据新闻”是指通过使用数据来实现以下一个或多个目标：帮助读者找到对个人有重要意义的信息报道一些重大却鲜为人知的新闻帮助读者更好地理解一些复杂的问题以上三方面可能会有所重复，而如果在线使用的话，不同层面的数据可视化则有益于这些目标的实现。个性化以上三方面可能会有所重复，而如果在线使用的话，数据的视觉化则有益于这些目标的实现。最典型的例子是我们在1999年首次推出的学校排行榜，榜单所使用的是每年由政府公布的数据。读者只要输入邮政编码，就能找到当地的学校，并根据一系列的指标进行对比。跑教育新闻的记者为了先于出版物拿到数据做报道，常常和开发团队的人一起合作。我们刚开始做这件事时，还没有一家政府网站能为市民提供数据查询，但现在，英国的教育部已经有了类似的服务，而我们的工作重心也转向以挖掘数据中的新闻为主。现在，这一领域所面临的一大挑战是，如何让市民能够查询到那些与公共利益明确相关的数据。最近的一个例子是，我们推出了一个通常不为公众所知的庞大数据库“每条道路上的的每例死亡”，用户通过使用邮编进行搜索，就能找到过去十年中每场道路事故发生的具体位置。通常，我们会根据警方提供的数据，把每场交通事故的主要事实和特点相关数据进行可视化。为使该项目更加动态化和人性化，我们和伦敦急救协会以及BBC伦敦电台和电视台进行合作，即时追踪城中发生的每场车祸。这些报道都会进行在线直播，还会在Twitter上冠以#crash24的标签进行报道，同时会在地图上标出车祸发生的具体地点。简便的工具除了为用户提供大型数据库的搜索渠道外，我们还成功创建了一批简便的工具，为用户提供他们所需要的信息。这些工具大大赢得了那些诸事缠身者的喜爱，因为他们通常没有时间去做冗长的分析和搜索。此外，个人信息分享的便利性也开始成为我们开发新工具的标准之一。在这方面，一个极为轻松愉快的尝试是我们做的一个专题“70亿人口的世界：你是第几个出生的人？”该应用程序的发布日期与世界人口达七亿的官方日期刚巧一致，用户只要输入自己的出生年月日，就可以立即计算出自己是全球第几个出生的人，并通过Twitter和Facebook分享自己在全球的出生排名。该应用使用了联合国人口发展基金提供的数据，并大受欢迎，成为英国2011年Facebook上人气最旺的分享链接。Figure3.70亿人口的世界（英国广播公司）另一个新近的案例是BBC推出的预算计算器。用户通过使用该计算器，可以预见财政大臣的预算一旦生效后可能产生的更好或更坏的的影响，然后分享计算结果。我们与全球四大会计师事务所之一的毕马威建立了合作，他们根据年度财政预算为我们提供计算器，而我们则致力于创建一个抓人眼球的界面，以鼓励用户完成任务。挖掘数据然而，在这一切中“新闻”又在哪里呢？对于数据新闻，一个相对传统的定义是报道数据中的新闻故事。作为一名借助数据或电脑做报道的记者，面对数据，你首先得问问自己，这些数据中是否潜藏着某条独家新闻？数据是否精确？是否证明或反正了某个问题？不过要想在一个庞大的数据库中发现有价值的新闻，就必须花大量的时间对数据进行筛选。而在这方面，我们已经找到了最快捷有效的方法，那便是与一些调查性团队或项目进行合作，他们在新闻调查方面十分在行，而且时间充足。比如，BBC的时事节目《全景》与新闻调查中心合作，花费数月时间，收集了有关公共部门薪酬的数据，不仅制作出了一部电视纪录片，还在网上推出了一个“公共部门薪酬：一些数字”的特别报道，并从行业分析的角度，对所有已公布的数据进行了可视化处理。除了与调查记者合作外，拥有具备专业知识和数学头脑的记者也是至关重要的。当政府提出削减开支审查的数据时，团队中的工商记者在经过分析后能得出这样的结论：实际上的削减数字并没有他们所宣称的那么大。就是这条充分理解数据，加以清晰的可视化呈现辅助的独家新闻"Makesenseofthedata"，赢得了英国皇家统计学会奖。理解问题不过，数据新闻不必成为那种不能被别人报道的独家新闻。数据可视化团队的工作就是将一些很棒的设计和编辑叙述结合起来，从而为用户提供引人入胜的体验。对一些准确的数据进行可视化处理有助于用户更好的理解某一问题或报道，这一招儿在BBC的新闻报道中屡试不爽。热力图数据技术的运用，就能够清晰地追踪英国救济金领取随时间的变化。我们在欧元区债务网上的专题报道，探讨了欧元区各国错综复杂的国内贷款，我们运用颜色和比例箭头，并辅之以简明易懂的文字，以视觉化的方式来阐释复杂的问题。其中极为重要的一个考量是，如何鼓励用户去关注这样的网站，阅读其中的报道，并不会被这些数字吓到。团队概况我们的团队由20人组成，包括记者、设计师和研发人员，负责为BBC的新闻网站制作数据新闻。除了承担数据项目和视觉效果的制作外，团队还包揽了新闻网站所有的信息图表和多媒体专题的制作。这些综合起来催生了一种新的新闻报道模式，即所谓的视觉新闻。虽然，团队中并没有哪个记者专门司职处理数据