岗位分类:
- 数据分析师
- 算法工程师(数据挖掘工程师)
- 数据治理工程师
数据分析师所具备的大体能力
- 数据思维
- 分析工具

1. 数据分析思维
1. 1 互联网行业
1.1.1 互联网行业认知
-
互联网行业最重要的是“用户”
-
获得和留住用户的关键是“用户体验”
-
所有的盈利模式都要建立在“用户体量”的基础上
-
互联网行业的产品可以“免费”(通过其他的盈利模式获利)
-
互联网行业要记录用户的“使用痕迹”(很重要!获得用户行为数据,列如打车软件)
-
互联网行业的企业要在“信息开放”的环境里竞争
总结: 互联网行业流量红利见顶,用户专注稀缺,获客成本会越来越高,留住客户会更加困难;最主要的就是关注用户留存,获取用户行为数据时很重要的,了解客户的各方面才能抓住痛点,留住客户。所以很多品牌都有自己的APP和小程序,就是为了能让用户行为数据掌控在自己手里。传统行业在这方面很欠缺,因为缺乏互联网的支撑,导致数据断层,判断不准确导致营业不理想。
1.1.2 互联网公司组织
- 架构(仅供参考)
图一:

图二:

那么在上图中我们数据分析师在哪个位置呢?
在数据运营部,偏业务的数据分析师

给大家看点行业中好玩的:
- 行业之间的鄙视链

- 职位之间的鄙视链

1.1.3 互联网产品认知
1.1.3.1 什么是互联网产品
- 互联网产品是从传统意义的“产品”延伸而来的,是在互联网领域中产出二用于经营的商品,它是满足互联网用户需求和欲望的无形载体。
- 互联网产品就是指某种为满足用户需求而创建的用于运营的功能及服务,它是网站功能与服务的集成。
- 互联网产品可以理解为一个黑盒子,而通过这个黑盒子,用户可以苦脸变笑脸,同时又可以产生一部分钱。
1.1.3.2 变现和商业化
互联网产品有着从解决痛点、触发痒点、激活爽点的递进演变,满足用户需求是基本盘,拉近留旧是过程流量变现和商业化,这是最终归宿。
- 面对同一类用户提供相同的功能,通过功能点的重复利用,提高单个功能点价值。
- 增量时代中,通过提高用户基数,实现更高的商业价值。
- 存量时代中,通过增强用户粘性,提升用户客单价和LTV(用户生命周期价值),实现更高的商业价值。
1.1.3.3 互联网产品的商业模式
- To - C:赚取用户的钱,典型案例如腾讯,约70%收入来源于腾讯游戏、会员、增值服务。
- To - B:赚取企业的钱,典型案例如百度,约90%收入来源于企业投放广告、竞价排名等。
- To - p:作为平台方,赚取用户与企业产生交易的佣金或者平台会员费用,典型案例如阿里巴巴,为平台关联用户提供全方位优质服务,促使参与者和衍生物越来越多,当平台承载的用户和功能越来越丰富时,就形成了一个“生态系统”。
思考:好的商业模式是怎么样的?
卖什么产品,卖给谁,以什么方式卖出去,如何定价
- 市场要足够大;
- 要有针对痛点的问题,有犀利的解决方案
- 能重复获利
- 能适应时代变化
1.1.3.4 互联网产品盈利模式
- B端业务:广告模式(开屏广告、横幅广告、公告、插屏广告、信息流广告、引流广告、视频广告、竞价排名、下拉刷新、私信通知)、入口模式、提成模式等。
- C端业务:付费下载、产品售卖、点播扣费、增值服务(套饕、皮肤、高级功能)、手续抽成、虚拟物品、虚拟货币等。
1.1.3.5 产品周期
萌芽期 —— 成长期 —— 成熟期 —— 衰退期


2. 关注一个互联网产品
2.1 首先是看这个产品的盈利模式
推导出日常工作的重点在哪
2.2 用户流转地图 - 核心交易路径 - 漏斗分析
了解平台 - 浏览 - 详情页 - 下单 - 支付 - 复购 - 分享
2.3 吐槽点 - 业务痛点
如何解决痛点,解决之后会发生哪些利好的变化,如何评价业务的变更是否会带来更好的效果 —— 灰度发布 —— AB测试 —— 统计学方法(假设检验、z检验、t检验)
3. 数据分析师的职责和技能栈
3.1 职责
HR在发布招聘需求时,通常将数据工程、数据分析、数据挖掘等岗位都统称为数据分析岗位,但是根据工作性质的不同,又可以分为偏工程的数据治理方向、偏业务的数据分析方向、偏算法的数据挖掘方向,偏开发的数据开发方向、偏产品的数据产品经理。我们通常所说的数据分析师主要是指业务数据分析师,很多数据分析师的职业生涯都是从这个岗位开始的,而旦这个岗位也是招聘数量最多的岗位。业务数据分析师在公司通常不属于研发部门而属运营部门,所以这个岗位也称为数据运营或商业分析,这类人员通常也被称“BI工程师“。通常招聘信息对这个岗位的描述(JD)是:
- 负责相关报表的输出(监控公司的数据,输出各类需要的统计指标)
- 建立和优化指标体系(有些公司的数字化运营刚刚起步,还没有完善的指标体系)
- 监控数据波动和异常,找出问题(找出数据异常的原因:细分分析法、漏斗分析法、对比分析法)
- 优化和驱动业务,推动数字化运营
- 找出潜在的市场和产品的上升空间
总结:监控数据 —— 发现异常 —— 揪出原因 —— 提供建议
3.2 技能栈
3.2.1 从宏微观来看
1. 中观能力:
2. 微观能力:
3. 宏观能力:
3.2.2 具体能力
- 计算机科学(数据分析工具、编程语言、数据库)
- 数字和统计学(数据思维、统计思维)
- 人工智能(机器学习中的数据挖掘算法)
- 业务理解能力(沟通、表达、经验)
- 总计和表述能力(商业PPT、文字总结)
- 业务洞察和决策支持(真真正能体现自身价值的地方))
3.2.3 价值输出
当一个数据分析师做分析报告的时候,以下为输出等级:
青铜:(给公司看源数据,人事部去一下)

白银:(数据太低级,人事部还是去一下)

钻石:(在行外人看起来很有逼格,暂且留下)

星耀:(这业务能力不错!)
业务洞察能力,数据里面反应的业务问题,我给到工资的价值是什么

王者:(这业务能力一绝,可不能被挖走!)
哪怕是到这一步,数据分析的工作是滞后的。我们真正需要的是前瞻性的数据,数据分析师需要建模预测的能力。

4. 数据和指标
4.1 数据理解
- 数据业务分类
- 数据业务数据分类
- 用户数据:他是谁
- 行为数据:他做了什么
- 产品数据:他消费了什么
4.2 数据的来源
4.2.1 业务系统
APP / Web —— 后台系统 —— 微服务架构 —— 数百个业务系统(数据割裂)

4.2.2 数据埋点
网页中有我们看不到感受不到的代码,比如用户在该页面停留了多久,进入网站的路线是什么,点击浏览了哪些内容来抓取用户的行为数据,以此分析客户,这些代码就是数据埋点。

埋点过程:

4.2.3 日志系统
Web服务器、应用服务器在运行时产生的日志来记录信息

4.2.4 数据接口/网络爬虫
Open API / 付费接口 / 免费接口
4.2.5 外部设备/传感器
物联网网关 - 设备采集到的数据
4.2.6 三方数据
文件系统
4.3 数据存储
- 数据库(database)
- 数据仓库(data warehouse)
- 数据湖(data lake)
- 云存储系统(cloud services)

4.3.1 数据库
类型:OLTP / OLAP

4.3.2 数据仓库

4.3.3 数据湖



4.4 指标理解
- 具备业务含义,能够反映业务特征的统计数据,会动态变化。
- 指标必须是数值,不能是文本、日期等,我们可以从数值的变化中去洞察业务运营的问题和机会。
- 指标都是汇总算出来的,明细数据不是指标,因为它们不具备任何意义。

4.4.1 有关指标
我们常见的指标有:




这些指标都是能为企业带来价值和增加利益的观测点
4.4.2 有关留存率


4.4.3 产品运营指标

4.4.4 指标的维度

4.4.5 辛普森悖论


4.4.6 北极星指标

4.4.7 虚荣指标
北极星指标的对立面


4.5 指标体系
4.5.1 指标体系的作用

当老板问到你关于指标的时候,下面有两种回答:这又决定了你在公司的地位了哈哈
回答一:

回答二:

4.5.2 如何做指标体系
如果去到的公司有一套完善的指标体系,那可就太幸运了
那如果没有指标体系,我们如何建立指标体系呢?
- 大方向
- 找北极星指标,再细化



指标需要更新迭代,并不是一成不变的,公司内部的指标体系需要达成一致。

4.5.3 如何理出指标体系

OSM模型
“OSM模型就是将公司的北极星指标进行逐一拆解,到各业务部门可落地,可度量的行为上,从而保证执行计划没有偏离公司大方向。

4.5.4 用户流转地图

每一步都有业务痛点,解决痛点,找到机会点和增长点

4.5.5 指标的分级

4.5.6 数据分析的流程

