Fork me on GitHub
RongXiang

我的烂笔头


  • 首页

  • 关于

  • 标签

  • 分类

  • 归档

  • 日程表

  • 搜索

logstash、Flume、filebeat文件解析如何实现exactly once语义

发表于 2022-05-13 | 更新于 2022-10-25 | 分类于 logstash Flume filebeat |
本文字数: 175 | 阅读时长 ≈ 1 分钟

背景参考文献及资料

阅读全文 »

impala使用总结

发表于 2022-05-05 | 更新于 2022-10-25 | 分类于 Python |
本文字数: 1.2k | 阅读时长 ≈ 1 分钟

背景参考文献及资料 官网:http://impala.apache.org/ 使用手册:http://impala.apache.org/docs/build/html/index.html Sql:http://impala.apache.org/docs/build/html/topics/im ...

阅读全文 »

Python中日志框架(Logging库)

发表于 2022-05-05 | 更新于 2022-10-25 | 分类于 Python |
本文字数: 63k | 阅读时长 ≈ 57 分钟

[TOC] 背景https://murphypei.github.io/blog/2019/09/python-logging Python版本为Python 3.8.8 第一部分 内置Logging包1.1 日志级别 等级 数值 CRITICAL 严重;导致应用无法运行的重大错误; ...

阅读全文 »

Maven使用总结

发表于 2022-05-05 | 更新于 2022-10-25 | 分类于 Maven |
本文字数: 22k | 阅读时长 ≈ 20 分钟

目录 背景 第一部分 scope标签作用 第二部分 打包 参考文献及资料 背景https://segmentfault.com/a/1190000021609439 https://www.cnblogs.com/lenve/p/12047793.html Maven 安装部署构建项目的主要环节 ...

阅读全文 »

JDBC使用小结

发表于 2022-05-05 | 更新于 2022-10-25 | 分类于 Maven |
本文字数: 11k | 阅读时长 ≈ 10 分钟

目录 背景 第一部分 scope标签作用 第二部分 打包 参考文献及资料 背景Java 数据库连接( JDBC ) 是Java编程语言的)应用程序编程接口(API) ,它定义了客户端如何访问数据库。它是一种基于 Java 的数据访问技术,用于 Java 数据库连接。它是Oracle Corpora ...

阅读全文 »

Maven中scope标签使用总结

发表于 2022-04-28 | 更新于 2022-10-25 | 分类于 Maven |
本文字数: 16k | 阅读时长 ≈ 14 分钟

目录 背景 第一部分 scope标签作用 第二部分 打包 参考文献及资料 背景我们在使用Maven管理包依赖的时候,经常看到下面的配置(一个Flink Java项目的pom文件片段): <dependency> <groupId>org.apache.flink</ ...

阅读全文 »

Flink 中的API

发表于 2022-04-26 | 更新于 2022-10-25 | 分类于 Flink |
本文字数: 3.3k | 阅读时长 ≈ 3 分钟

目录 背景 第一部分 Spark内存管理详解 第二部分 Spark参数说明 第三部分 Spark内存优化 第四部分 常见线上问题解决 参考文献及资料 背景第一部分 Flink 中的 APIFlink 为流式/批式处理应用程序的开发提供了不同级别的抽象。 Flink API 最底层的抽象为有状态 ...

阅读全文 »

CDC总结

发表于 2022-04-26 | 更新于 2022-10-25 | 分类于 Flink |
本文字数: 756 | 阅读时长 ≈ 1 分钟

目录 背景 第一部分 Spark内存管理详解 第二部分 Spark参数说明 第三部分 Spark内存优化 第四部分 常见线上问题解决 参考文献及资料 背景第一部分 概述https://www.striim.com/blog/change-data-capture-cdc-what-it-is-an ...

阅读全文 »

Flink CDC实现实时数仓

发表于 2022-04-26 | 更新于 2022-10-25 | 分类于 Flink |
本文字数: 13k | 阅读时长 ≈ 12 分钟

目录 背景 第一部分 Spark内存管理详解 第二部分 Spark参数说明 第三部分 Spark内存优化 第四部分 常见线上问题解决 参考文献及资料 背景Flink 1.11 引入了 Flink SQL CDC,由阿里巴巴技术专家伍翀 (云邪)个人兴趣项目孵化而来。从最开始支持Mysql到现在支持 ...

阅读全文 »

数据仓库学习系列-血缘关系

发表于 2022-04-20 | 更新于 2022-10-25 | 分类于 Hadoop |
本文字数: 3.2k | 阅读时长 ≈ 3 分钟

目录 背景 第一部分 Spark内存管理详解 第二部分 Spark参数说明 第三部分 Spark内存优化 第四部分 常见线上问题解决 参考文献及资料 背景血缘分析是一种技术手段,用于对数据处理过程的全面追踪,从而找到某个数据对象为起点的所有相关元数据对象以及这些元数据对象之间的关系。元数据对象之间 ...

阅读全文 »
1…456…32
rong xiang

rong xiang

Keep a Pure Curiosity

311 日志
80 分类
21 标签
RSS
GitHub E-Mail Weibo
Link
  • 爱生活爱可可
© 2014 – 2022 rong xiang | 940k | 14:15
|
0%