基础知识 / 数据基础
数据基础：从原始记录到可信指标
数据基础的核心不是记概念，而是能判断一份数据是否能支持决策：字段是否清楚、口径是否一致、质量是否可靠、粒度是否正确。
学习目标
掌握字段字典、数据粒度、数据质量、指标口径和数据治理的基本方法，并能把开放数据整理为可分析数据集。
字段字典数据粒度质量检查指标口径治理记录
字段字典
每个字段都要能回答：它表示什么、单位是什么、取值范围是什么、是否允许为空、由哪个系统产生。
数据粒度
先判断一行代表什么。是一次服务请求、一笔订单、一栋建筑、一天汇总，还是一个设备采样点。
质量规则
检查缺失值、重复值、异常值、格式不一致、分类写法不统一和时间字段错误。
指标口径
指标必须包含公式、统计范围、时间窗口、去重逻辑、排除规则和更新频率。
案例分析
纽约 311：城市服务请求数据如何变成管理指标
NYC 311 把居民非紧急服务请求沉淀为开放数据。它适合用来学习字段字典、数据质量和城市运营指标，因为同一类投诉会涉及时间、地点、部门、状态和处理结果。
业务问题
| 问题 | 需要字段 |
|---|---|
| 哪个区域投诉最多 | borough, complaint_type |
| 处理是否及时 | created_date, closed_date |
| 哪个部门压力最大 | agency, status |
| 问题是否季节性 | created_date, descriptor |
分析设计
1. 统一时间格式
2. 去除明显重复记录
3. 把 complaint_type 映射为管理主题
4. 计算关闭时长 = closed_date - created_date
5. 按区域、类型、月份生成指标表输出结果
| 指标 | 管理含义 |
|---|---|
| 请求量 | 城市问题热度 |
| 关闭率 | 处理完成度 |
| 中位处理时长 | 服务效率 |
| 重复投诉率 | 问题是否根因未解决 |
动手练习
- 下载一份开放数据，写出 10 个字段的数据字典。
- 为一个指标补齐公式、时间范围、排除规则和更新频率。
- 用 Excel 或 Python 找出缺失值最多的字段。
- 判断一张表的粒度，并说明它适合回答哪些问题。