零基础入门Spark

共 39 讲。

目录

• 零基础入门Spark
• 开篇词 - 入门Spark，你需要学会“三步走”
• 01-Spark：从“大数据的Hello World”开始
• 02 - RDD与编程模型：延迟计算是怎么回事？
• 03 - RDD常用算子（一）：RDD内部的数据转换
• 04 - 进程模型与分布式部署：分布式计算是怎么回事？
• 05 - 调度系统：如何把握分布式计算的精髓？
• 06 - Shuffle管理：为什么Shuffle是性能瓶颈？
• 07 - RDD常用算子（二）：Spark如何实现数据聚合？
• 08 - 内存管理：Spark如何使用内存？
• 09 - RDD常用算子（三）：数据的准备、重分布与持久化
• 10 - 广播变量 & 累加器：共享变量是用来做什么的？
• 11 - 存储系统：数据到底都存哪儿了？
• 12 - 基础配置详解：哪些参数会影响应用程序稳定性？
• 13 - Spark SQL：让我们从“小汽车摇号分析”开始
• 14 - 台前幕后：DataFrame与Spark SQL的由来
• 15 - 数据源与数据格式：DataFrame从何而来？
• 16 - 数据转换：如何在DataFrame之上做数据处理？
• 17 - 数据关联：不同的关联形式与实现机制该怎么选？
• 18 - 数据关联优化：都有哪些Join策略，开发者该如何取舍？
• 19 - 配置项详解：哪些参数会影响应用程序执行性能？
• 20 - Hive + Spark强强联合：分布式数仓的不二之选
• 21-Spark UI（上）：如何高效地定位性能问题？
• 22-Spark UI（下）：如何高效地定位性能问题？
• 23 - Spark MLlib：从“房价预测”开始
• 24 - 特征工程（上）：有哪些常用的特征处理函数？
• 25 - 特征工程（下）：有哪些常用的特征处理函数？
• 26 - 模型训练（上）：决策树系列算法详解
• 27 - 模型训练（中）：回归、分类和聚类算法详解
• 28 - 模型训练（下）：协同过滤与频繁项集算法详解
• 29 - Spark MLlib Pipeline：高效开发机器学习应用
• 30-Structured Streaming：从“流动的Word Count”开始
• 31-新一代流处理框架：Batch mode和Continuous mode哪家强？
• 32-Window操作&Watermark：流处理引擎提供了哪些优秀机制？
• 33-流计算中的数据关联：流与流、流与批
• 34-Spark + Kafka：流计算中的“万金油”
• 用户故事 - 小王：保持空杯心态，不做井底之蛙
• 结束语 - 进入时间裂缝，持续学习
• 期末测试-来赴一场100分之约！