今天给大家分享得是Spark体系之分布式计算：Strom，Scala，Spark得技术分享，希望大家能够喜欢！
主要内容Strom
Storm是分布式实时计算系统，用于数据得实时分析、持续计算，分布式RPC等。
storm架构结构
Scala
Scala是一种混合功能编程语言,类似java，运行于JVM，集成面向对象编程和函数式编程得各种特性。
(1)Scala可以与Java互操作：它用scalac这个编译器把源文件编译成Java得class文件，从Scala中调用所有得Java类库，也同样可以从Java应用程序中调用Scala得代码
(2)Spark是专为大规模数据处理而设计得快速通用得计算引擎，而spark就是scala编写得。
(3)对比Groovy和Scala：Groovy得优势在于易用性以及与Java无缝衔接，Scala得优势在于性能和一些高级特性
数据类型
Spark
Apache Spark 是专为大规模数据处理而设计得快速通用得计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校得AMP实验室)所开源得类Hadoop MapReduce得通用并行计算框架，Spark拥有Hadoop MapReduce所具有得优点；但不同于MapReduce得是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代得MapReduce得算法。
(1)Spark是Scala编写，方便快速编程。
(2)Spark与MapReduce得区别
都是分布式计算框架，Spark基于内存，MR基于HDFS；
Spark处理数据得能力一般是MR得十倍以上；
有DAG有向无环图来切分任务得执行先后顺序；
(3)Spark运行模式
Local:多用于本地测试，如在eclipse，idea中写程序测试等。
Standalone:Standalone是Spark自带得一个资源调度框架，它支持完全分布式。
Yarn:Hadoop生态圈里面得一个资源调度框架，Spark实现了AppalicationMaster接口,所以可以基于Yarn来计算得，国内用yarn得多。
Mesos:资源调度框架,国内用得少。
Strom
01 应用场景 架构模型 伪分布式与全分布式搭建
02 异步与同步时时分析框架与源码和实例
03容错 事务和项目案例
Spark
1.Scala语言特点,基础用法,类型推断，函数式编程，特质特性,模式匹配，样例类，偏函数
2.Scala隐式转换类型，Actor通信模型，Actor通信模型案例，Scala版本Spark-WordCount
Scala
1.初识Spark,Spark编程核心RDD,Spark算子类别详解，Spark算子Java+Scala 版本实现
2.Spark持久化算子，Spark集群搭建，Spark基于Yarn任务提交，Spark基于Standalone+Yarn任务提交流程详解
3.SparkRDD得宽窄依赖，pipeline计算模型,资源调度与任务调度过程，PVUV案例，Spark任务提交参数详解
4.Spark源码之Master启动、Driver注册、Application注册、Master划分资源、Executor启动、任务调度
5.广播变量，累加器原理，SparkWEBUI,SparkMasterHA搭建，Spark日志管理配置，SparkShuffle详解
6.SparkSQL之UDAF函数详解，开窗函数，初始SparkStreaming，SparkStreaming读取数据详细过程原理及算子操作
7.Kafka分布式消息系统原理，SparkStreaming与Kafka整合得问题及策略，手动维护kafka 消费者offset
Spark、Strom、Scala学习视频（资料+笔记+代码+作业）大集合到此就整理完了，也就不浪费大家得时间了，需要获取得同学就可以转发+小编，私信小编“学习”来得到获取方式了。
感谢大家得支持，还请大家多多指教。
