Fork me on GitHub

发表于 | 更新于 | 分类于 |
本文字数： 28k | 阅读时长 ≈ 25 分钟

目录 背景 第一部分 Spark内存管理详解 第二部分 Spark内存优化 第三部分 总结 参考文献及资料 背景当前企业各类业务应用场景，对于大数据处理的速度追求是越来越”卷”了，特别是互联网行业。回头看，MapReduce这种基于磁盘的大数据计算框架早已过时。一方面，内存IO的速度和磁盘不是一个 ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 14k | 阅读时长 ≈ 12 分钟

目录 背景 第一部分 环境准备 第二部分 原理解析 第三部分 案例运行 第四部分 线上架构设计 参考文献及资料 背景目前Flink逐步成为企业级大数据平台的使用最广泛的实时计算框架，特别在构建TB级别的实时数仓场景。Flink经历大量企业级线上环境的业务考验。 那么Flink的强大实时计算能力能否 ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 3.2k | 阅读时长 ≈ 3 分钟

目录 背景 第一部分 开发环境准备 第二部分 使用Maven构建项目 第三部分 项目目录结构 第四部分 编写HelloWorld项目 参考文献及资料 背景Feign是Netflix公司开源的轻量级rest客户端，使用Feign可以非常方便的实现Http 客户端。Spring Cloud引入Fei ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 972 | 阅读时长 ≈ 1 分钟

目录 术语说明 背景 第一部分 常见深度学习计算框架在Hadoop集群运行 第一部分 Spark on Yarn 第二部分 Pyspark Application原理 第三部分 业务侧调优 第四部分 总结 参考文献及资料 背景人类为什么选择10进制位进制作为日常计数，而计算机科 ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 12k | 阅读时长 ≈ 11 分钟

目录 术语说明 背景 第一部分 常见深度学习计算框架在Hadoop集群运行 第一部分 Spark on Yarn 第二部分 Pyspark Application原理 第三部分 业务侧调优 第四部分 总结 参考文献及资料 背景企业级大数据平台通常将大量历史数据存储在Hadoop ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 885 | 阅读时长 ≈ 1 分钟

目录 术语说明 背景 第一部分 常见深度学习计算框架在Hadoop集群运行 第一部分 Spark on Yarn 第二部分 Pyspark Application原理 第三部分 业务侧调优 第四部分 总结 参考文献及资料 背景https://www.cnblogs.com/ji ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 605 | 阅读时长 ≈ 1 分钟

目录 术语说明 背景 第一部分 常见深度学习计算框架在Hadoop集群运行 第一部分 Spark on Yarn 第二部分 Pyspark Application原理 第三部分 业务侧调优 第四部分 总结 参考文献及资料 背景参考文献1、Tensorflow on YARN N ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 2k | 阅读时长 ≈ 2 分钟

背景目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 第一部分 kubectl get - 获取资源列表1.1 获取集群所有pods信息kubectl get pods 1.2 查看当前所有servicekubectl get services 第二部分 k ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 1.3k | 阅读时长 ≈ 1 分钟

目录 背景 第一部分 开发、测试环境项目部署 第二部分 项目打包 第三部分 生产环境部署 第四部分 总结 参考文献及资料 背景而 Nacos 作为微服务核心的服务注册与发现中心，让大家在 Eureka 和 Consule 之外有了新的选择，开箱即用，上手简洁，暂时也没发现有太大的坑。 第一部分 ...

阅读全文 »

发表于 | 更新于 | 分类于 |
本文字数： 14k | 阅读时长 ≈ 13 分钟

目录 背景 第一部分 开发、测试环境项目部署 第二部分 项目打包 第三部分 生产环境部署 第四部分 总结 参考文献及资料 背景第一部分 第一个案例<!DOCTYPE html><html lang="en"><head> <meta charset=" ...

阅读全文 »
0%