个人博文总结

开发工具

• IntelliJ IDEA 日常使用介绍
• Hadoop 之 winutils
• Typora最后的免费版本
• CSDN中MarkDown编辑器使用说明

开发随笔

• hive中多表full join主键重复问题
• FlinkSQL+HDFS+Hive+SparkSQL实现业务数据增量进入数据仓库
• 业务数据准实时增量进入数据仓库并保留历史所有变更记录
• 基于Hikari连接池的对数据库进行增删查改的通用工具类
• 使用ntpd配置集群时间同步
• Hive中选出最新一个分区中新增和变化的数据
• Hive中使用sort_array函数解决collet_list列表排序混乱问题

开发语言

Java

• Java（1）：Java语言概述
• Java（2）：Java语言中的基本语法
• Java（3）：Java语言中的数组
• Java（4）：Java语言中的面向对象-上
• Java（5）：Java语言中的面向对象-下
• JavaSE日常笔记汇总

Python

• 未完待续......

开发环境

Linux

• Linux（一）：Linux中的基础操作
• Linux（二）：Linux中的常用命令
• Linux（三）：Linux中的软件包管理
• XShell和XFTP家庭版下载和安装
• XShell常用配置
• SecureCRT常用配置
• CentOS7 原生 yum 源修改为阿里 yum 源

Docker

• 未完待续......

大数据

大数据环境搭建

各组件安装文章汇总

• 基于Centos7的SSH无密登录配置
• 基于Centos7的集群分发脚本xsync
• Maven的下载安装和使用
• Centos7安装和配置JDK1.8版本
• Centos7安装和配置Scala2.12版本
• Centos7安装MySQL5.7版本
• Apache Zookeeper的安装和配置
• Apache Hadoop 3.x 版本的安装和配置
• Apache Hadoop 3.x 版本的HA高可用配置和部署
• Apache Hive 3.x 版本的配置和部署
• Apache Hive 3.x 版本中集成Tez执行引擎
• 集群所有机器同步执行脚本

CentOS7安装CDH文章汇总

• CentOS7安装CDH（一）：CentOS7系统安装
• CentOS7安装CDH（二）：CentOS7各个软件安装和启动
• CentOS7安装CDH（三）：CDH中的问题和解决方法
• CentOS7安装CDH（四）：CDH的版本选择和安装方式
• CentOS7安装CDH（五）：CDH的安装和部署-CDH5.7.0
• CentOS7安装CDH（六）：CDH的管理-CDH5.12
• CentOS7安装CDH（七）：CDH集群Hadoop的HA配置
• CentOS7安装CDH（八）：CDH中对服务和机器的添加与删除操作
• CentOS7安装CDH（九）：CDH中安装Kafka
• CentOS7安装CDH（十）：CDH中安装Spark2
• CentOS7安装CDH（十一）：离线升级CDH版本
• CentOS7安装CDH（十二）：YARN的资源调优
• CentOS7安装CDH（十三）：CDH资源池配置
• CentOS7安装CDH（十四）：CDH的优化

CentOS6安装大数据软件文章汇总

• CentOS6安装大数据软件（一）：Linux基础软件的安装
• CentOS6安装大数据软件（二）：Hadoop分布式集群配置
• CentOS6安装大数据软件（三）：Kafka集群的配置
• CentOS6安装大数据软件（四）：HBase分布式集群的配置
• CentOS6安装大数据软件（五）：Flume安装与配置
• CentOS6安装大数据软件（六）：Hive安装和配置
• CentOS6安装大数据软件（七）：Hue大数据可视化工具安装和配置
• CentOS6安装大数据软件（八）：Spark集群安装和部署
• CentOS6安装大数据软件（九）：大数据及相关软件启动等命令

Zookeeper

• Zookeeper（1）：什么是Zookeeper
• Zookeeper（2）：Zookeeper的安装和部署
• Zookeeper（3）：Zookeeper的客户端命令行操作
• Zookeeper（4）：Zookeeper的监听器原理
• Zookeeper（5）：Zookeeper的客户端 API 操作
• Zookeeper（6）：基于Zookeeper的服务器动态上下线监听案例
• Zookeeper（7）：ZooKeeper的分布式锁案例
• Zookeeper（8）：Zookeeper的其他知识点

Hadoop

• Hadoop（1）：Hadoop概述
• Hadoop（2）：Hadoop的安装和部署
• Hadoop（3）：Hadoop安装和部署过程中的常见问题
• Hadoop（4）：HDFS概述
• Hadoop（5）：HDFS的Shell操作
• Hadoop（6）：HDFS的API操作
• Hadoop（7）：HDFS读写流程
• Hadoop（8）：HDFS之NameNode和SecondaryNameNode
• Hadoop（9）：HDFS之DataNode
• Hadoop（10）：MapReduce概述
• Hadoop（11）：Hadoop序列化
• Hadoop（12）：MapReduce框架原理之InputFormat数据输入
• Hadoop（13）：MapReduce框架原理之MapReduce工作流程
• Hadoop（14）：MapReduce框架原理之Shuffle机制
• Hadoop（15）：MapReduce框架原理之OutputFormat数据输出
• Hadoop（16）：MapReduce框架原理之MapReduce内核源码解析
• Hadoop（17）：MapReduce框架原理之Join应用
• Hadoop（18）：MapReduce框架原理之数据清洗（ETL）
• Hadoop（19）：MapReduce框架原理之MapReduce开发总结
• Hadoop（20）：Hadoop数据压缩
• Hadoop（21）：MapReduce开发过程中常见错误及解决方案
• Hadoop（22）：Yarn概述
• Hadoop（23）：Yarn调度器和调度算法
• Hadoop（24）：Yarn的常用命令
• Hadoop（25）：Yarn核心参数配置案例
• Hadoop（26）：Yarn中容量调度器多队列提交
• Hadoop（27）：Yarn中公平调度器多队列提交
• Hadoop（28）：Yarn的Tool接口案例
• Hadoop（29）：Hadoop调优之HDFS核心参数
• Hadoop（30）：Hadoop调优之HDFS集群压测
• Hadoop（31）：Hadoop调优之HDFS多目录
• Hadoop（32）：Hadoop调优之HDFS集群扩容及缩容
• Hadoop（33）：Hadoop调优之HDFS存储优化
• Hadoop（34）：Hadoop调优之HDFS故障排除
• Hadoop（35）：Hadoop调优之HDFS集群迁移
• Hadoop（36）：Hadoop调优之MapReduce生产经验
• Hadoop（37）：Hadoop调优之Yarn生产经验
• Hadoop（38）：Hadoop调优之综合调优

Hive

• Hive（1）：Hive的基本概念
• Hive（2）：Hive的安装和部署
• Hive（3）：Hive的数据类型
• Hive（4）：Hive的DDL数据定义
• Hive（5）：Hive的DML数据操作
• Hive（6）：Hive查询之基本查询

Kafka

• 未完待续......

HBase

• 未完待续......

Spark

• 未完待续......

Flink

Flink基础知识点博文汇总

• Flink（1）：Flink概述
• Flink（2）：为什么选择Flink
• Flink（3）：Flink安装部署之Local本地模式
• Flink（4）：Flink安装部署之Standalone独立集群模式
• Flink（5）：Flink安装部署之Standalone-HA高可用集群模式
• Flink（6）：Flink安装部署之Flink On Yarn模式
• Flink（7）：Flink提交命令之参数总结
• Flink（8）：Flink的API说明和pom文件汇总
• Flink（9）：Flink的各种创建执行环境的方法
• Flink（10）：Flink原理初探
• Flink（11）：Flink之流批一体架构
• Flink（12）：Flink之Source数据源
• Flink（13）：Flink之Transformation算子（上）
• Flink（14）：Flink之Transformation算子（下）
• Flink（15）：Flink之Sink数据输出
• Flink（16）：Flink之Connect Kafka API
• Flink（17）：Flink之Connect API
• Flink（18）：Flink之累加器
• Flink（19）：Flink之广播变量
• Flink（20）：Flink之分布式缓存
• Flink（21）：Flink之Window
• Flink（22）：Flink之Window案例一（基于时间的滚动和滑动窗口）
• Flink（23）：Flink之Window案例二（基于数量的滚动和滑动窗口）
• Flink（24）：Flink之Window案例三（会话窗口）
• Flink（25）：Flink之WindowFunction的使用
• Flink（26）：Flink中的时间语议
• Flink（27）：Flink中的Watermark
• Flink（28）：Flink之Watermark案例演示
• Flink（29）：Flink中对迟到数据的处理（Allowed Lateness 和 SideOutput）
• Flink（30）：Flink中的状态管理（上）
• Flink（31）：Flink中的状态管理（下）
• Flink（32）：Flink之Checkpoint
• Flink（33）：Flink之状态恢复和重启策略
• Flink（34）：Flink之Savepoint
• Flink（35）：Flink之并行度详解
• Flink（36）：Flink之TableAPI和FlinkSQL的整体介绍
• Flink（37）：Flink之TableAPI和FlinkSQL的API调用（上）
• Flink（38）：Flink之TableAPI和FlinkSQL的API调用（中）
• Flink（39）：Flink之TableAPI和FlinkSQL的API调用（下）
• Flink（40）：Flink之TableAPI和FlinkSQL的流处理中的特殊概念
• Flink（41）：Flink之TableAPI和FlinkSQL的窗口（Windows）
• Flink（42）：Flink之TableAPI和FlinkSQL中的函数（Functions）
• Flink（43）：Flink之TableAPI和FlinkSQL中的案例准备
• Flink（44）：Flink之TableAPI和FlinkSQL的案例一
• Flink（45）：Flink之TableAPI和FlinkSQL的案例二
• Flink（46）：Flink之TableAPI和FlinkSQL的案例三
• Flink（47）：Flink之TableAPI和FlinkSQL的案例四
• Flink（48）：Flink之TableAPI和FlinkSQL中的常用算子
• Flink（49）：Flink之综合练习（一）
• Flink（50）：Flink之综合练习（二）
• Flink（51）：Flink高级特性之广播状态（BroadcastState）
• Flink（52）：Flink高级特性之双流Join
• Flink（53）：Flink高级特性之端到端精确一次消费（End-to-End Exactly-Once）
• Flink（54）：Flink高级特性之异步IO（Async I/O）
• Flink（55）：Flink高级特性之流式文件写入（Streaming File Sink）
• Flink（56）：Flink高级特性之文件写入（File Sink）
• Flink（57）：Flink高级特性之FlinkSQL整合Hive
• Flink（58）：Flink之FlinkCDC（上）
• Flink（59）：Flink之FlinkCDC（下）
• Flink（60）：Flink中通用ModelUtil工具类
• Flink（61）：Flink中通用KafkaUtil工具类

StreamX

• StreamX（1）：StreamX概述
• StreamX（2）：StreamX架构
• StreamX（3）：StreamX的安装部署
• StreamX（4）：部署 flink stream 应用
• StreamX（5）：部署 flink sql 应用

Hudi

• 数据湖之Hudi（1）：什么是数据湖
• 数据湖之Hudi（2）：数据湖框架
• 数据湖之Hudi（3）：Apache Hudi 基本介绍
• 数据湖之Hudi（4）：Apache Hudi 快速发展
• 数据湖之Hudi（5）：Apache Hudi 的编译
• 数据湖之Hudi（6）：Hudi与Spark和HDFS的集成安装使用
• 数据湖之Hudi（7）：使用docker进行Hudi的快速体验和使用
• 数据湖之Hudi（8）：数据湖Hudi的数据管理
• 数据湖之Hudi（9）：使用Spark向Hudi中插入数据
• 数据湖之Hudi（10）：使用Spark查询Hudi中的数据
• 数据湖之Hudi（11）：使用Spark更新Hudi中的数据
• 数据湖之Hudi（12）：使用Spark对Hudi中的数据进行增量查询（Incremental query）
• 数据湖之Hudi（13）：使用Spark删除Hudi中的数据
• 数据湖之Hudi（14）：Apache Hudi 基本概念
• 数据湖之Hudi（15）：Apache Hudi 中表的存储类型
• 数据湖之Hudi（16）：Apache Hudi 中数据写操作流程
• 数据湖之Hudi（17）：在云服务器上部署和调试Hudi的踩坑之旅

数据库

• 各类型数据库介绍对比

MySQL

• MySQL（1）：MySQL概述

Doris

• MPP数据库之Doris（1）：Doris编译
• MPP数据库之Doris（2）：Doris之Broker编译
• MPP数据库之Doris（3）：Doris安装部署之软硬件需求
• MPP数据库之Doris（4）：Doris安装部署之集群部署
• MPP数据库之Doris（5）：Doris安装部署之Broker部署
• MPP数据库之Doris（6）：Doris安装部署之扩容缩容
• MPP数据库之Doris（7）：Doris安装部署之常见问题

Artificial Intelligence

机器学习

• 机器学习：基础介绍
• 机器学习：基础介绍（补充）
• 机器学习：Mahout协同过滤算法
• 机器学习：欧氏距离（Euclidean Distance）
• 机器学习：余弦距离（Cosine Dsitance）
• 机器学习：特征选择之向量选择（SparkMLlib中的VectorSlicer）
• 机器学习：特征选择之RFormula（SparkMLlib中的RFormula）
• 机器学习：特征选择之ChiSqSelector（SparkMLlib中的ChiSqSelector）

Alink

• Alink（1）：Alink概述
• Alink（2）：Alink使用指南
• Alink（3）：Alink的pom文件中相关依赖汇总
• Alink（4）：Alink中流组件的数据导入

用户画像

用户画像·方法论与工程化解决方案 一书读后笔记

• 用户画像基础之用户画像是什么
• 用户画像基础之数据架构
• 用户画像基础之主要覆盖模块
• 用户画像基础之开发阶段流程
• 用户画像基础之应用落地和案例展示
• 用户画像基础之定性类画像

• 用户画像数据指标体系之用户属性维度
• 用户画像数据指标体系之用户行为维度
• 用户画像数据指标体系之用户消费维度
• 用户画像数据指标体系之风险控制维度
• 用户画像数据指标体系之社交属性维度
• 用户画像数据指标体系之其他常见标签划分
• 用户画像数据指标体系之标签命名方式

• 用户画像标签数据存储之Hive存储
• 用户画像标签数据存储之MySQL存储
• 用户画像标签数据存储之HBase存储
• 用户画像标签数据存储之Elasticsearch存储

• 用户画像标签数据开发之各种用户标签开发
• 用户画像标签数据开发之用户特征库开发
• 用户画像标签数据开发之标签权重计算
• 用户画像标签数据开发之标签相似度计算
• 用户画像标签数据开发之组合标签计算

用户画像博文总结

• 用户画像之ID-Mapping
• 用户画像之概述

推荐系统

推荐系统概述

• 推荐系统（1）：推荐系统概述
• 推荐系统（2）：利用用户行为数据
• 推荐系统（3）：相似性度量
• 推荐系统（4）：推荐系统分类
• 推荐系统（5）：推荐算法之基于人口学的统计推荐算法
• 推荐系统（6）：推荐算法之基于内容的推荐算法
• 推荐系统（7）：推荐算法之基于协同过滤推荐算法
• 推荐系统（8）：推荐算法之混合推荐
• 推荐系统（9）：推荐系统评测之评测方法
• 推荐系统（10）：推荐系统评测之评测指标
• 推荐系统（11）：推荐系统评测之精确率和召回率

基于协同过滤的电商推荐系统

• 基于协同过滤的电商推荐系统（1）：名词解释
• 基于协同过滤的电商推荐系统（2）：用户对商品的偏好得分

未完待续......