目录 背景 第一部分 GPU环境 第二部分 Tensorflow-GPU环境部署 第三部分 Pytorch-GPU环境部署 参考文献及资料 背景本文环境：Ubuntu 16.04 GPU：Nvidia GTX 1080 第一部分 GPU环境1.1 种类目前市场上商用GPU主要是N卡（Nvidia ...
机器学习系列文章-异常检测算法（VAE）
目录 背景 第一部分 Spark内存管理详解 第二部分 Spark参数说明 第三部分 Spark内存优化 第四部分 常见线上问题解决 参考文献及资料 背景对于学习一个知识，例如画画临摹，如何顶一个度量来检验学习效果呢？现实中我们会让学习者去实际画一幅相同的画作，然后和原画进行对比。其中的哲学原理就 ...
Spark中RDD的宽窄依赖
目录 背景 第一部分 Spark内存管理详解 第二部分 Spark参数说明 第三部分 Spark内存优化 第四部分 常见线上问题解决 参考文献及资料 背景我们知道Spark计算框架中RDD（Resilient Distributed Dataset）是他的核心概念，RDD是一个只读数据模型，计算中 ...
Github中黑话总结
目录 背景 参考文献及资料 背景初入Github这个坑，发现交流中有大量缩写，简称码农之间的黑话。收集并长期更新如下： PR: Pull Request的缩写，把自己分支的代码合并到主项目的请求。 LGTM: Looks Good To Me SGTM: Sounds Good To Me ...
如何共享开源（github）学习
目录 背景 第一部分 环境准备 第二部分 具体步骤 参考文献及资料 背景GitHub 上就有一个现成的教程项目 first-contributions，为初学者带来一个简单的方法来学习及参与开源项目。项目地址： https://github.com/firstcontributions/fi ...
Python系列文章-Python中语法知识积存
目录 背景 第一部分 Python中的__all__ 第二部分 第三部分 第四部分 第五部分 参考文献及资料 背景第一部分 Python中的__all__1.1 介绍Python语言没有Java语言中有public，private关键字控制可见性，所以可见性需要制定统一的约定 ...
数据仓库学习系列-大数据数仓综述
目录 背景 第一部分 数据仓库缘起 第二部分 数据仓库概述 第三部分 数据仓库技术实现 第四部分 常见数据仓库产品 第五部分 数据仓库的架构设计 第六部分 建模方法 第七部分 最佳实践 参考文献及资料 背景第一部分 数据仓库缘起1.1 历史数据的积存历史数据使用频率低，堆积在业务库中，导致性能降低 ...
大数据调度产品对比（海豚调度和天融信神灯）
目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景随着数字化转型的趋势，各行业都在建设自身的大数据中台，实现数字化运营。在大数据中台建设中，必然涉及到大量大数据任务、机器学习任务以及各类脚本任务的运行。随着业务量的增长就会自然需要建设一个集中式的任务调度 ...
数据仓库学习系列--主题
目录 背景 第一部分 Spark内存管理详解 第二部分 Spark参数说明 第三部分 Spark内存优化 第四部分 常见线上问题解决 参考文献及资料 背景从上面的引言里面，我们其实可以知道主题在数仓建设里面绝对是很重要的一环，这的确是的。数仓在建设过程中，对数据的组织管理上，不仅仅要进行横向的分层 ...
运维大数据仓库建设主题设计规划
目录 背景 第一部分 Spark内存管理详解 第二部分 Spark参数说明 第三部分 Spark内存优化 第四部分 常见线上问题解决 参考文献及资料 背景运维类大数据仓库中通常有两类数据： 1、设备运行产生的数据。主要有：服务器（服务器、网络设备、安全防护设备等）产生的性能容量数据、日志数据（系统 ...