Spark源码编译实践

发表于 2020-03-02 | 更新于 2022-10-25 | 分类于 spark |

本文字数： 4.9k | 阅读时长 ≈ 4 分钟

目录背景第一部分 Receiver接口模式第二部分 Direct接口模式第三部分 PySpark和Kafka交互第四部分任务提交参考文献及资料背景编译spark2.X源码这里我们使用源码包中自带的make-distribution.sh文件进行编译。当然在编译 ...

Python系列文章-Pandas使用碎碎念

发表于 2020-03-02 | 更新于 2022-10-25 | 分类于 spark |

本文字数： 1k | 阅读时长 ≈ 1 分钟

目录背景第一部分变量说明第二部分总结参考文献及资料背景第一部分数据过滤1.1 按照字段值过滤df1 = df[df['A']==1] 第二部分数据合并第三部分数据替换参考文献及资料1、变量官网介绍：

发表于 2020-03-02 | 更新于 2022-10-25 | 分类于 pyspark |

本文字数： 1.1k | 阅读时长 ≈ 1 分钟

目录背景第一部分 Receiver接口模式第二部分 Direct接口模式第三部分 PySpark和Kafka交互第四部分任务提交参考文献及资料背景第一部分安装toree# pip install toree 安装 # jupyter toree instal ...

发表于 2020-03-02 | 更新于 2022-10-25 | 分类于 pyspark |

本文字数： 56k | 阅读时长 ≈ 51 分钟

目录背景第一部分 Receiver接口模式第二部分 Direct接口模式第三部分 PySpark和Kafka交互第四部分任务提交参考文献及资料背景Apache Kafka项目是大数据处理中重要的消息引擎。Spark Streaming作为重要的流处理计算框架通 ...

发表于 2020-03-02 | 更新于 2022-10-25 | 分类于 pyspark |

本文字数： 1.1k | 阅读时长 ≈ 1 分钟

发表于 2020-03-02 | 更新于 2022-10-25 | 分类于 spark |

本文字数： 5.1k | 阅读时长 ≈ 5 分钟

目录背景第一部分变量说明第二部分总结参考文献及资料背景环境说明：Python 3.7.3 使用下面的命令显示相关版本的说明信息： # python --help# ......Other environment variables:PYTHONSTARTUP: file ...

发表于 2020-03-02 | 更新于 2022-10-25 | 分类于 Kafka |

本文字数： 106k | 阅读时长 ≈ 1:37

目录背景第一部分 Kafka集群加密传输第二部分 Kafka集群权限认证第三部分加密认证集群的客户端第四部分加密认证集群的性能压测第五部分总结参考文献及资料背景Kafka在0.9.0.0版本前没有安全机制功能。Kafka Client程序可以直接获取到Kaf ...

发表于 2020-01-31 | 更新于 2022-10-25 | 分类于 Go |

本文字数： 11k | 阅读时长 ≈ 10 分钟

目录背景第一部分 windows下安装第二部分配置环境变量第三部分 IDE配置第四部分 HelloWorld案例参考文献及资料背景Go语言的官方网站：https://golang.org/ 由于防火墙原因，请大家在这个网站下载：https://stud ...

发表于 2020-01-27 | 更新于 2022-10-25 | 分类于 ElasticSearch |

本文字数： 610 | 阅读时长 ≈ 1 分钟

目录背景第一部分温热集群整体架构第二部分架构配置第三部分架构维护相关第四部分基于hot-warm架构的读写分离实现总结参考文献及资料背景https://towardsdatascience.com/watermarking-in-spark-structured ...

发表于 2020-01-27 | 更新于 2022-10-25 | 分类于 ElasticSearch |

本文字数： 581 | 阅读时长 ≈ 1 分钟

目录背景第一部分温热集群整体架构第二部分架构配置第三部分架构维护相关第四部分基于hot-warm架构的读写分离实现总结参考文献及资料背景参考文献和资料1、Elasticsearch 主节点和暖热节点 https://dongbo0737.github.io/20 ...