关于运维未来发展的展望

发表于 2022-01-20 | 更新于 2022-10-25 | 分类于 Hadoop |

本文字数： 2.5k | 阅读时长 ≈ 2 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景https://www.6aiq.com/article/1635205226188 我们认为数据中台是企业级大数据通过系统化的方式实现统一、标 ...

阅读全文 »

运维大数据平台建设总结

发表于 2022-01-20 | 更新于 2022-10-25 | 分类于 Hadoop |

本文字数： 2.7k | 阅读时长 ≈ 2 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景https://www.infoq.cn/article/jqr7zoiucoqi0skgiagb https://www.6aiq.com/a ...

阅读全文 »

Yarn集群资源调度策略总结

发表于 2022-01-20 | 更新于 2022-10-25 | 分类于 Hadoop |

本文字数： 1.5k | 阅读时长 ≈ 1 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景对于分布式大数据资源管理器，必然要运行大量的大数据处理任务。在面对多租户，任务服务水平优先级差异、集群资源有限的复杂业务场景下，就需要处理好：多 ...

阅读全文 »

数据湖系列-Iceberg实践总结

发表于 2022-01-20 | 更新于 2022-10-25 | 分类于 Iceberg |

本文字数： 27k | 阅读时长 ≈ 24 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景数据湖技术实现上，有开源三剑客（Hudi，Delta Lake，Iceberg），本篇文章主要介绍其中一员：Iceberg。Iceberg官网产 ...

阅读全文 »

Elasticsearch 8.0正式版发布介绍

发表于 2022-01-20 | 更新于 2022-10-25 | 分类于 Hadoop |

本文字数： 11k | 阅读时长 ≈ 10 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景2022年2月11日Elasticsearch官方正式发布了Elasticsearch 8.0.0版本。官网博客也对新版本进行了功能介绍。本文作 ...

阅读全文 »

数据库的范式总结

发表于 2022-01-20 | 更新于 2022-10-25 | 分类于 Hadoop |

本文字数： 1.6k | 阅读时长 ≈ 1 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景传统的关系型数据库中数据通常是通过库（表的集合）、表（字段的集合）、字段（数据的集合）进行组织的。在使用过程中，人们逐渐对各种最佳实践进行总结归 ...

阅读全文 »

大数据工程师技术自测题库

发表于 2022-01-19 | 更新于 2022-10-25 | 分类于 Spring |

本文字数： 829 | 阅读时长 ≈ 1 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景第一部分https://book.itheima.net/study/1269935677353533441/12702540185720668 ...

阅读全文 »

Hadoop HDFS高可用机制

发表于 2022-01-16 | 更新于 2022-10-25 | 分类于 Spring |

本文字数： 11k | 阅读时长 ≈ 10 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景先从一个生产线上问题说起。生产线上我们使用的华为封装的Hadoop大数据平台，使用开源版本Flink 1.11作为Flink客户端提交任务到平台 ...

阅读全文 »

数据库架构设计模式总结

发表于 2021-11-16 | 更新于 2022-10-25 | 分类于 Spring |

本文字数： 3.6k | 阅读时长 ≈ 3 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景数据库构架设计中主要有Shared Everything、Shared Disk、Share Memory和Shared Nothing等。第 ...

阅读全文 »

Spark中类型推断

发表于 2021-11-16 | 更新于 2022-10-25 | 分类于 Spring |

本文字数： 953 | 阅读时长 ≈ 1 分钟

目录背景第一部分 Spark内存管理详解第二部分 Spark参数说明第三部分 Spark内存优化第四部分常见线上问题解决参考文献及资料背景请注意，会自动推断分区列的数据类型。目前，支持数字数据类型和字符串类型。有些用户可能不想自动推断分区列的数据类型。对于这些用例，自动类型推断可以 ...

阅读全文 »