本文是《极简大数据》系列第二篇。

不管出于什么目的，假设你要利用一批数据。那么你期望数据是什么样的？

答案很简单：全、快、对。

当然也可以换三个词：全域数据、实时数据、高质量数据。

我个人还是喜欢上面接地气的词。

如果你关注大数据，或者是做数据产品经理，应该了解数据集成和数据治理。

它们都是手段，最终为数据的使用而服务。

经过集成和治理后的数据，我们期望是能高效使用的、高质量的、高价值的数据。

实现高价值，前提条件是数据要全和快，这是对数据集成能力的要求。

数据的主要来源有三种，一是业务发生后系统产生的数据，存放在关系型数据库或 NoSQL 数据库中，比如在淘宝剁手下单，就会产生一条订单记录，谁什么时间在哪个店铺购买了一件什么商品，付款多少钱等。

第二类是系统服务环境产生的日志文件，如 Nginx、Apache 等对于 HTTP 请求和响应生成的记录文件，在浏览器里输入淘宝网址回车，淘宝的服务器就记下哪个 IP 在什么时间访问了淘宝，打开了哪几个页面，停留了多长时间，客户端有什么特性（如分辨率大小、浏览器版本、操作系统版本等）。

第三类是从客户端（浏览器、APP）采集到的用户行为日志文件，称为埋点日志，是程序员开发出来的一小段程序，可以采集到你做了什么动作，如点击商品加入购物车、切换到评论页面等，便于运营人员更好地分析用户如何使用应用。

当然数据还有更多的来源和格式，如传感器采集到的数据等，可以看这一篇。

这三类数据都要能从源服务器上采集过来。有的数据是结构化的，如关系型数据库，有的是半结构化的，如 NoSQL 数据库、日志文件。更大的范围来说，图片、音频、视频等非结构化数据，也要能够支持采集。

这是对所能采集的数据类型的要求。在采集方式上，还要能支持全量、增量采集。

全量采集就是每次都完整拉一遍。缺点很明显，需要带宽流量和时间，不符合对快的要求；增量采集，程序要记得每次采到了哪里，采过的数据如果某些发生了变化，也要能感知，在下一次采集时把变化的数据带回来。

传统上，增量采集可以用时间戳、标志位、触发器等方式搞定，这需要数据源的配合，有时候，我们没有条件干涉数据源。

大数据技术下，对于关系型数据库，可以采集数据库的日志，再解析日志还原数据，实现增量的流式采集。如 MySQL 配置好 Binlog 日志，通过 Kafka 把日志实时发送过来。其它数据库也都有类似的方法。

对于关系型数据库，Apache 社区有开源组件 Sqoop，它主要用于在关系数据库和Hadoop之间传输数据。对于日志文件的采集，开源组件有 Flume、Logstash 等。

不仅多种类型的数据能够采集，还要速度快，讲究实时、准实时，达到秒级的同步。

数据时效性的价值不言而喻。数据一旦产生，就能感知和传输过来，与之前采集的数据增量合并形成最新最完整的数据。

只有足够快，才能不错过一些重要的分析和监控，许多实时的数据业务对此都有要求，如风控、推荐等。

数据量大，要求采集吞吐率高，而吞吐率和延迟（快慢）又是一对矛盾体，意思是说，大数据规模下，想要实时，是很有挑战的，例如天猫双 11 活动的大屏，看着只是几个数字在变，这背后的技术是相当硬核的。

再来说数据的质量问题。

高质量，代表数据不多、不少、不错、一致。

展开来说就是不重复冗余，没有其它数据混杂在内造成干扰；数据不残缺，行列记录都是完整的；标准一致，代表相同意义的数据字段类型、格式最好都能统一。

这些都是数据治理功能所要解决的问题，对已经是结构化的数据从库、表、字段不同级别进行标准和质量的监控、基于规则模型去校验和纠错等。

对应的就是数据标准管理和数据质量管理。

治理的另一个范围是数据安全，包含敏感和隐私数据不能泄露，数据不能被非法访问，对数据访问进行监控和审计。涉及到脱敏、数据权限和监控审计等功能。

在 DAMA（国际数据管理协会）中，对数据治理定义了九个方面的内容。

元数据也是很重要的一部分，元数据是指「关于数据的数据。」就是全方位、多角度地描述一份数据所形成的数据。就像简历之于人的关系，如果简历内容十分丰富，那我们就可以全面地了解这个人。

对于数据也是一样，从技术（数据格式、存储大小、更新时间……）、业务（描述什么业务的数据，属于哪个信息系统等……）、管理（谁在负责该数据、安全等级……）多个角度充分地描述数据，那我们就能对这个数据有清晰的了解和认识。

我们可以通过元数据快速查找和定位数据，也可以通过分析元数据，看清数据的来龙去脉，它产生的过程，以及它对别的数据的影响，这就是所谓的数据血缘。

总结来说，数据集成和数据治理的功能范围，就是为实现上述目标所框定的。

首先确保可用性和性能，真正能把多源异构的数据接入进来，保证传输的可靠性。

原始数据落地之后，需要对它进行有效的治理，通过元数据、数据标准、数据质量、数据安全等多种手段，确保数据是精确、完整、有效的，以便于下一步数据能更好地利用。

关于数据集成和治理，我们先明确目标和架构，以后的篇幅我会细讲里面每个小的模块。

关耳爷

微信号wei-talk

— 你也可能感兴趣 —

• 别被时代抛弃，读完这 6 点，你就明白大数据
  

「大数据」这个热词，我们都有所耳闻。但究竟什么是大数据？大数据有什么特点？大数据能用来干什么？大家又语焉不详。

从技术角度讲，大数据当然很高深，但对于我们普通人来说，了解大数据的常识和原理其实很容易，读完以下 6 点，你就能明白大数据到底是什么。从而——不再只是被技术支配，还能在理解的情况下被支配：）

数据不只是数值

一提到数据，你是不是首先想到了「数字」或「数值」？那些存放在 Excel 表格中的，用于统计、分析的数字。

大数据中所说的数据，可不止是数字和数值这么简单，它包含电脑上所能存储的全部文件类型。如数据库、文本（文档）、图片、音频、视频等。

也就是说，所有能数字化的内容，全都是大数据存储、处理的对象。

什么样的数据才能称为大数据？

普通的数据肯定不能称得上大数据。几个硬盘就能装下，几台电脑短时间就能处理完的数据都不是大数据。

无法用一般技术存储、处理的数据，就称为大数据。

存储需要硬盘资源，处理需要 CPU 计算资源。单台计算机无论硬件性能有多强悍，总归是有限的，人类自古以来搞社会工程的经验非常丰富，如数万人、数百万人修建长城和金字塔，自然就想到了解决思路。

像搞人海战术一样搞「机海战术」，问题不就解决了吗？

「分布式」就是「机海战术」，蚂蚁咬大象。思路是有了，但技术实现方案相当有难度。

就拿存储来说，联合多台计算机去存储一份数据，该以什么格式存储，谁去指挥存储，谁去执行存储，任务如何分配，有的计算机存得快、有的存的慢，有的硬盘可能有故障，或存的过程正好断电了，该如何保障数据完整、没有错误、效率最高，又如何从多台电脑上读取文件……全都是问题。计算任务也面临类似问题。

Google 公司发表了三篇论文，出发点是如何利用大量廉价的低配置电脑（而非昂贵的服务器）去做海量数据的存储和运算，率先解决了分布式存储和计算的技术难题，奠定了大数据技术的基础，从此以后，大数据行业就开始发展了。

总结：大量联网的计算机，以某种协同算法，将硬盘和 CPU 联合起来，共同对多样化的数据进行存储和处理，称为大数据技术。

想想看什么情况会产生上面这种场景？

很简单，一种是周期性产生的数据量特别庞大，如 Facebook 2013 年时全球用户每天发布的照片数量达 3 亿 5 千万张，YouTube 2018 年时每分钟用户上传的视频时长达 400 小时；另一种是数据短时间内爆炸式地产生，像天猫 2016 年 双 11 大促活动，每秒钟产生 17.5 万笔订单数据。

这样规模的数据，称为海量数据，远远超过了单台设备存储和处理的物理极限。

数据从哪里产生？

目前世界上计算机存储的海量数据，都是来自于哪儿呢？大体上说，来自人的活动和机器的记录。细分为五类：

第一类是人在互联网上主动发布的数据，称为 Web 和社交媒体数据，如各种微博、博客、社交网站、电商网站中的评论内容。

第二类是机器对机器的数据，比如 RFID 数据、GPS 数据、智能仪表、监控记录数据以及其他各种传感器、监控器的数据。

第三类是系统的交易记录和行为日志数据，比如电信运营商的上网记录、信令数据，金融行业的交易记录、理财记录等，还有用户访问网站、使用 APP 系统所产生的各种行为日志。

第四类是生物计量学数据，指的是和人体识别相关的生物识别信息，如指纹、DNA、虹膜、视网膜、人脸、声音模式、笔迹等。

第五类是人工生成的数据：比如各种统计调查问卷、电子邮件、工作文档、纸质文件、扫描件、录音、摄像和电子病历等。

存储成本下降，硬件性能和网速提升，促成了大数据的繁荣。

以前存储大数据是成本和负担，现在能保留的数据尽量保留，数据成了企业、个人重要的资源和资产。

大数据有什么特点？

大数据著名的 4V 特征来了，这属于基础知识。海量（Volume ）、多样（Variety）、高速（Velocity）、价值密度低（Value）。

海量和高速（实时）不细说。

多样，指的是数据类型和结构多样。数据类型在上文提到了，你能想到的所有格式的文件，都属于大数据的范畴。

结构，是指的数据的组织方式，有没有一定的规律。最有规律的，称为结构化数据，人类比较容易理解数据结构和关系，计算机也很容易读写和处理分析，像关系型数据库（MySQL、Oracle、PostgreSQL……），就是典型的结构化数据。数据有序地存储在「单元格」中，每一列都有固定的格式标准并代表相同的业务含义。

| 用户 | 商品 | 商品评价 | 物流评价 |

| —- | —————– | ——– | ——– |

| 李某 | iPhone 11 Pro Max | 好评 | 好评 |

结构化数据

结构性比结构化数据稍弱一些，但仍然保持有一定的结构的，我们称为半结构化数据。如 xml 文件和用于传输和交换数据的 json 文件等。一般是文本文件。

半结构化数据

结构化更弱的文件，如图片、视频等，以及自然语言，称为非结构化数据。但理论上非结构化数据是不存在的。

一上市我就下单了，到手后和想象的一样，屏幕贼细腻，面容识别更快了。物流小哥骑着火箭送到的。

非结构化数据

价值密度低，有点反直觉。但也容易理解，这是一个相对说法，数据量越大，无效数据也会越多，有价值的数据会稀释到整个数据池里。数据量级每上升一个等级，挖掘出的价值等比都有衰减。所以称为价值密度低。比如摄像头监控视频，连续录制，但关键的事件可能只需要其中的几分钟。

理论层面，还有一个对大数据特点的总结：那就是「全面而非抽样、效率而非精确、相关而非因果」。

传统统计学理论都是基于抽样数据建立的，这是成本所限。样本的质和量决定结果好坏。大数据利用分布式技术，可以采集和分析全量数据。这就可以比抽样数据揭示出更多的信息。

精确也是抽样数据分析所必须的，如果不够精确，放到全量数据中，偏差就会更大。而大数据是尽可能全量和实时分析，不追求个例的精确，更注重全量分析的效率。比如搜索引擎，能很快发现某时间段某地区的用户，搜索和「流感」相关关键词的趋势上升，可得出一个可能性的结论：某地区爆发了流感。

同样是由于更全面的数据，我们能发现【更多】的「因」导致的「果」，这就是所谓的相关。以往我们发现了一个现象，会假设有限的原因，再用数据验证，验证通过，因果链条就建立起来了。而大数据全量的分析，可能会找出更多影响结果的要素，它们和结果是相关的关系。

大数据能用来干什么？

你能想到最常用的一个大数据应用是什么？

答案是搜索引擎，像百度。它爬取全互联网的网页，将快照存储在服务器（相当于复制了网页内容，想象看数据量有多大），建立关键词和网页的索引关系，并排序，把排序结果也存储起来，在你输入关键词的时候，毫秒级地把相关网页排序结果展示出来。

大数据的第一个应用，就是搜索。

第二，大数据可以做画像，对一切实体做标签，最常见的是用户画像。原理是根据用户搜索的关键词、手机安装的 APP 清单、操作某应用的时段频次、手机的定位轨迹、历史的消费记录……融合起来清晰地描绘出用户的属性和行为特征，如年龄、性别、兴趣爱好、经济能力……贴上全方位的标签。这就是所谓的大数据比你自己更了解你。

第三，大数据还用来做推荐。像今日头条、抖音，根据你的行为，判断你的喜好，推荐相关信息流。电商购物，根据你的浏览、收藏和添加购物车记录，以及和你相同标签的人的购物记录，向你推荐可能感兴趣的商品。广告系统的核心也是推荐，你刚查了：「牙痛怎么办？」接下来在很多网站和应用中，你可能都会收到医院和药品广告。

第四个应用方向是风控。常见的有身份伪造、垃圾广告、虚假交易、黄牛秒杀、活动套利、数据泄露、垃圾注册、推广作弊、信用套现、账号盗用、盗卡交易、信息爬取等。互联网公司以多种方式补贴用户的推广费用，经常被黑客、羊毛党利用技术手段和专业设备套取。如何从大量正常的业务中识别这类非法操作，是大数据风控的重点。

另外比较传统的应用是分析和查询。共同之处是对延迟有较低的容忍度。传统小规模关系型数据库的查询响应一般会很快，也有比较成熟的优化方式，比如索引、缓存、读写分离、分库分表等。但大数据有非常大的不同，为了更快在海量数据中根据查询条件获得某值，可以把数据放入内存中，内存比硬盘读写更快，这就是内存计算。还设计了列式存储，预聚合等多种方法加快分析和查询的速度。预聚合就是提前把分析和查询结果处理好，等待被调用。

对于分析和查询，在本系列文章里，后面会介绍 OLAP 和交互式查询，感兴趣的同学请关注微信公众号「关耳爷」。

以上应用中，风控和推荐，属于实时计算的领域，数据连续地接入、处理、计算，像水流一样，不间断，也叫做流计算，保证业务的即时性。其它应用属于离线计算，所谓离线计算，就是可以分批次，周期性地处理历史数据，如当天处理前一天的数据，所以又称为批处理。在分析应用里，有实时也有离线。有的大数据厂商和产品，也把批流结合作为技术突破点或宣传卖点。

大数据和云计算、物联网、人工智能有什么关系？

云计算，核心是虚拟化技术。卖的是存储、计算和网络，你不知道按配置购买的主机是来自一台物理服务器分割出来的一部分，还是由多台服务器组合而来。云计算最大的优点是可以灵活地调整配置，就是所谓的弹性扩展。这是大数据所需要的一项重要功能，因为大数据技术的基础是分布式，所需要的内存、CPU、硬盘资源根据需求扩展，两者具有天然的亲密性。

云计算平台作为基础设施，对大数据平台起支撑作用，大数据平台利用资源管理的组件去请求和释放云计算平台的资源，完成数据处理。

物联网的智能设备、传感器，会产生很多数据，这类数据和业务系统的数据有不同的特征，比如写多读少，一般不会更新，存储频率较稳定，每条记录一般都带时间戳，对应的有专用的时序数据库的支持。物联网产生的数据存储在大数据平台中，大数据平台完成清洗、处理，经过离线计算供分析和数据可视化使用，也有实时计算，用于监测和预测设备的异常。

大数据平台为物联网提供数据功能服务和支撑。

人工智能重点是算法平台，在机器学习的编程框架支撑下，大数据平台中的数据样本供给各个算法做训练，不断调整算法，最后选出最优算法，以达到人类一些智能活动的标准，比如图像识别，能像人一样分出猫猫狗狗，识别出图片的文字；自然语言的语义分析，能像人一样听懂人类的语言，达到较准确的程度，这是人工智能的目标。

大数据像食物一样喂养人工智能的算法。使算法越来越精确、高效和低功耗。

最近阿里云安全中心提示 ECS 操作系统 Ubuntu 18.04 存在内核漏洞。如下图：

解决 Linux 内核漏洞，最简单的方式就是升级内核。方法如下：

一、检查可安裝的 Kernel 版本

apt-cache search linux-image-\*
apt-cache search linux-headers-\*

二、安装新 Kernel

apt-get install linux-image-X.X.X.X-generic
apt-get install linux-headers-X.X.X.X-generic

注意要安装相同版本的内核。

三、更新 initramfs image

update-initramfs -u -k all 

或

update-initramfs -u -k `uname -r`

四、更新 Grub

update-grub

更新后重启系统：

reboot

重启之后检查新内核是否生效：

uname -a

按以上步骤操作后，重新检查系统漏洞，均已消失。