床长人工智能教程免费文档——Apache Spark 初

.

声明：本人只是分享一些床长人工智能教程相关的免费pdf文档而已，并非床长人工智能网校的收费文章。尊重版权，支持原创！

同时更新在个人博客

楔子楔子

了解一项新技术的最好方式就是看官网源码文档

它是一种快速通用的大数据分析引擎。

是集批处理实时流处理交互式查询计算于一体的。

是一个基本引擎，用于大规模并行和分布式数据处理。

它主要负责

内存管理和故障恢复

在集群上安排分布和监控作业

和存储系统进行交互

引入了一个称为弹性分布式数据集，的概念，它是一个不可变的容错的分布式对象集合，我们可以并行的操作这个集合。

可以包含任何类型的对象，它在加载外部数据集或者从驱动应用程序分发集合时创建。

支持两种操作类型

转换是一种操作例如映射过滤联接联合等等，它在一个上执行操作，然后创建一个新的来保存结果。

行动是一种操作例如归并计数第一等等，它在一个上执行某种计算，然后将结果返回。

在中，转换是懒惰的，也就是说它们不会立刻计算出结果。

相反，它们只是记住要执行的操作以及要操作的数据集例如文件。

只有当行为被调用时，转换才会真正的进行计算，并将结果返回给驱动器程序。

这种设计让运行得更有效率。

例如，如果一个大文件要通过各种方式进行转换操作，并且文件被传递给第一个行为，那么只会处理文件的第一行内容并将结果返回，而不会处理整个文件。

默认情况下，当你在经过转换的上运行一个行为时，这个有可能会被重新计算。

然而，你也可以通过使用持久化或者缓存的方法，将一个持久化从在尽可能多地在内存中而然后才往磁盘中去写，这样，就会在集群上保留这些元素，当你下一次查询它时，查询速度会快很多。

启动后

或者从中读入数据表

将下所有文件读入形成的格式

可以通过将数据集暴露出去，而且还可以用传统的和可视化工具在数据上执行类似的查询比如。

也可以从外部，文件，上读入文件，进行语句的查询。

关于的使用会在后面几篇文章中重点介绍。

支持对流数据的实时处理，例如产品环境服务器的日志文件例如和诸如的社交媒体以及像那样的各种各样的消息队列。

在这背后，会接收输入数据，然后将其分为不同的批次，接下来引擎来处理这些批次，并根据批次中的结果，生成最终的流。

整个过程如下所示。

是一个机器学习库，它提供了各种各样的算法，这些算法用来在集群上针对分类回归聚类协同过滤等可以在上查看的文章，来获取更过的信息。

其中一些算法也可以应用到流数据上，例如使用普通最小二乘法或者均值聚类还有更多来计算线性回归。

一个针对的机器学习库已经脱离，转而加入。

是一个库，用来处理，执行基于的并行操作。

它针对探索性分析和迭代计算提供了统一的工具。

除了针对处理的内置操作，还提供了一个库，用于通用的算法，例如。

特性特性

通过在数据处理过程中成本更低的洗牌方式，将提升到一个更高的层次。

利用内存数据存储和接近实时的处理能力，比其他的大数据处理技术的性能要快很多倍。

还支持大数据查询的延迟计算，这可以帮助优化大数据处理流程中的处理步骤。

还提供高级的以提升开发者的生产力，除此之外还为大数据解决方案提供一致的体系架构模型。

将中间结果保存在内存中而不是将其写入磁盘，当需要多次处理同一数据集时，这一点特别实用。

的设计初衷就是既可以在内存中又可以在磁盘上工作的执行引擎。

当内存中的数据不适用时，操作符就会执行外部操作。

可以用于处理大于集群内存容量总和的数据集。

会尝试在内存中存储尽可能多的数据然后将其写入磁盘。

它可以将某个数据集的一部分存入内存而剩余部分存入磁盘。

开发者需要根据数据和用例评估对内存的需求。

的性能优势得益于这种内存中的数据存储。

的其他特性包括的其他特性包括

支持比和更多的函数。

优化任意操作算子。

可以帮助优化整体数据处理流程的大数据查询的延迟计算。

提供简明一致的，和。

支持语言

提供交互式和。

目前暂不支持。

体系架构体系架构

大体系

数据存储数据存储

支持从存储框架里的任何读入包括，，，。

同时也可支持本地文件，输入

通过开发者可以制定任何基于的应用。

的文档在官方网站中

资源调度资源调度

可以安装在单机下，也支持部署在这样的分布式计算框架下

用进行大数据处理

入门简介

源码剖析。。。