目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景第一部分 环境准备配置和启动jupyter notebook。 1.1 生成配置root@hadoop01:/opt# jupyter notebook --generate-configWriting ...

目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景使用head命令看一下。 第一步 创建库和hive表使用下面的命令进入hive shell交互模式。 root@hadoop01:/opt/hive/bin/#hive 创建库： CREATE datab ...

目录 背景 第一部分 回车和换行 第二部分 兼容性问题解决 参考文献及资料 背景或许你遇到过这样的坑。当你信心满满将自己编写的程序文件或配置文件上传到生产环境（linux），却发现无法运行或者生效。但是明明在本地（Windows）测试运行没有问题。那么很大几率遇到文本行末结束符的坑。 Unix和 ...

目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景http://dongxicheng.org/mapreduce/hdfs-federation-introduction/ 参考文献及资料1、 Apache Spark support，链接：http: ...

目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景https://github.com/marsishandsome/marsishandsome.github.io/blob/master/slides/HadoopSecurity/Index.md ...

目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景https://cloud.tencent.com/developer/article/1350441 参考文献及资料1、 Apache Spark support，链接

目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景\4. hive 从非分区表插入数据到分区表时出错： Cannot insert into target table because column number/types are different ‘ ...

目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景Hive将表划分为分区(partition)表和分桶(bucket)表。分区表在加载数据的时候可以指定加载某一部分数据，并不是全量的数据，可以让数据的部分查询变得更快。分桶表通常是在原始数据中加入一些额外 ...

目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景https://issues.apache.org/jira/browse/SPARK-10909 Spark SPARK-10909 Spark sql jdbc fails for Oracle ...

目录 背景 第一部分 环境依赖 第二部分 交互接口 第三部分 任务提交 参考文献及资料 背景第一部分 环境部署笔者购买了腾讯云的云主机，操作系统环境为：Ubuntu 18.04.4 LTS (GNU/Linux 4.15.0-88-generic x86_64)。主机具有互联网环境，所以依赖组件 ...