监控应用程序
减少批数据的执行时间
Spark 编程指南简体中文版
性能调优
集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置,提高Spark Streaming应用程序的性能。你需要考虑两件事情:
高效地利用集群资源减少批数据的处理时间
设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度
减少批数据的执行时间
设置正确的批容量
内存调优
书籍推荐
Openstack用户指南(简体中文版)
tzivanmoe
•
spark
•
47页
•
2018年7月1日
0
Databricks Spark 知识库简体中文版
tzivanmoe
•
spark
•
15页
•
2018年7月1日
1
Rust 程序设计语言 中文版
hltj
•
rust
•
71页
•
2018年6月5日
1
《快学Scala》读书笔记
xuexingdong
•
scala
•
7页
•
2018年6月29日
1
What the f*ck Python中文版
leisurelicht
•
python
•
70页
•
2019年5月26日
7300
移动前端开发收藏夹
hoosin
•
html5
•
1页
•
2019年3月3日
1405
小字
大字
宋体
黑体
白天
护眼
夜晚
封面
简介
Introduction
快速上手
Spark Shell
独立应用程序
开始翻滚吧!
编程指南
引入 Spark
初始化 Spark
Spark RDDs
并行集合
外部数据集
RDD 操作
传递函数到 Spark
使用键值对
Transformations
Actions
RDD持久化
共享变量
从这里开始
Spark Streaming
一个快速的例子
基本概念
关联
初始化StreamingContext
离散流
输入DStreams
DStream中的转换
DStream的输出操作
缓存或持久化
Checkpointing
部署应用程序
监控应用程序
性能调优
减少批数据的执行时间
设置正确的批容量
内存调优
容错语义
Spark SQL
开始
数据源
RDDs
parquet文件
JSON数据集
Hive表
性能调优
其它SQL接口
编写语言集成(Language-Integrated)的相关查询
Spark SQL数据类型
GraphX编程指南
开始
属性图
图操作符
Pregel API
图构造者
顶点和边RDDs
图算法
例子
提交应用程序
独立运行Spark
在yarn上运行Spark
Spark配置
RDD 持久化