基础知识 / Python
Python：从开放数据到自动化分析
Python 适合把数据获取、清洗、分析、可视化和报告输出串成可重复流程，是数据分析自动化的核心工具。
学习目标
掌握 Pandas 清洗、API 数据获取、分组统计、可视化和自动化报告的基础流程。
读取数据清洗字段分组统计画图展示自动输出
Pandas 表格处理
读取 CSV、Excel、JSON 和 API 数据，完成筛选、分组、合并和透视。
API 获取
对开放数据平台，Python 可以定时调用 API，自动生成最新分析结果。
可视化
用 Matplotlib、Plotly 或 Seaborn 生成趋势图、柱状图、地图前处理数据。
自动化
用脚本把固定分析流程每日或每周运行，输出 Excel、图片或 HTML 报告。
案例分析
用 Python 分析开放数据 API
开放数据平台通常提供下载和 API。Python 可以把 API 数据转成 DataFrame，再按时间、区域、类型做统计。
业务问题
| 任务 | Python 动作 |
|---|---|
| 获取数据 | requests 调用 API |
| 整理字段 | pandas 转换日期和类型 |
| 统计指标 | groupby 聚合 |
| 输出结果 | 保存 CSV 或图表 |
分析设计
import pandas as pd
url = "开放数据 API 地址"
df = pd.read_json(url)
df["created_date"] = pd.to_datetime(df["created_date"])
summary = (
df.groupby(["borough", "complaint_type"])
.size()
.reset_index(name="requests")
.sort_values("requests", ascending=False)
)
print(summary.head(10))输出结果
| 输出 | 用途 |
|---|---|
| Top 10 问题类型 | 确定治理重点 |
| 区域问题矩阵 | 定位资源需求 |
| 月度趋势 | 识别季节性 |
| 自动 CSV | 供 PowerBI 或 Excel 使用 |
动手练习
- 用 Pandas 读取一个 CSV 并查看字段类型。
- 把日期字段转换为 datetime。
- 按月份和类别做 groupby 汇总。
- 把结果保存为 Excel 文件供业务人员查看。