【ML】cheatsheet

1.机器学习
1.1 探索性数据分析 数据缺失检查/数据类型检查/数据分布查看/预测值分布/不同类型下的数据分布/heatmap相关矩阵
data.info()
data.describe()
#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv(‘titanic.csv’), explorative=True)

#Saving results to a HTML file
profile.to_file(“output.html”)
1.2 数据清洗 OpenRefine或Trifacta Wrangle 主要内容outlier(box-plot)/基于规则的清洗(不符给定的要求可以删掉或改正)/
1.3 数据变形 normalization/log(很多数据预测要注意不同级别Y关注的误差不一样 比如100w 1k误差可以忽略不计 但对1w 1k误差很重要)
1.4 特征工程 TPOT自动抽取 业务经验/手动处理(bin/one-hot/时间年月日抽取/)/
1.5 特征选择
3. LR 原理与面试题目
4. DT, Adaboost, GBDT, xgboost 原理 细节 与 例子
https://www.cnblogs.com/createMoMo/p/12635709.html
xgboost挺详细的算法原理与例子
https://zhuanlan.zhihu.com/p/660468945
着重lightgbm就xgboost的改善方向
https://zhuanlan.zhihu.com/p/366952043
5. 机器学习总体概括 不太detail
https://github.com/fengdu78/WZU-machine-learning-course.git
6. ShusenWang 从RNN LSTM到transformer, bert
https://github.com/wangshusen/DeepLearning
https://www.bilibili.com/video/BV1dq4y1f7ep/?spm_id_from=333.788
7. 李沐论文解读 transformer
transformer：Attention is all your need
transformer笔记
8. 李沐机器学习总结
https://zh-v2.d2l.ai/chapter_recurrent-modern/lstm.html

From https://zhuanlan.zhihu.com/p/660468945