目录
- 背景
- 第一部分 环境依赖
- 第二部分 交互接口
- 第三部分 任务提交
- 参考文献及资料
背景
Hive Metastore,也称为HCatalog,是一个关系数据库存储库,其中包含有关您在Hive中创建的对象的元数据。创建Hive表时,表定义(列名,数据类型,注释等)存储在Hive Metastore中。这是自动的,只是Hive架构的一部分。Hive Metastore之所以如此重要,是因为它充当中央架构存储库,可供其他访问工具(如Spark和Pig)使用。此外,通过Hiveserver2,您可以使用ODBC和JDBC连接访问Hive Metastore。这将为可视化工具(如PowerBi或Tableau)打开架构。
https://www.infoq.cn/article/uM7TSwszJlsvv7veixga
https://bbs.huaweicloud.com/forum/viewthreaduni-66881-filter-reply-orderby-lastpost-page-7-1.html
https://blog.csdn.net/lalaguozhe/article/details/9070203
https://www.infoq.cn/article/lXJisUVTgOjgHzRMSIBW
Hive Metastore Federation 在滴滴的实践
https://blog.didiyun.com/index.php/2019/03/25/hive-metastore-federation/
网易杭研大数据实践:Apache Hive稳定性测试
https://dun.163.com/news/p/83abc4931c1349b086c73dfbad0fb57f
如何使用带有大量SPARK分区的HIVE表
参考文献及资料
1、 Apache Spark support,链接:https://www.elastic.co/guide/en/elasticsearch/hadoop/master/spark.html
2、elasticsearch-hadoop项目,链接:https://github.com/elastic/elasticsearch-hadoop