博客

Python 获取原始数据的完整攻略主要包括以下步骤：

1. 确定数据源：首先要明确从哪里获取数据，数据源可以是文件、数据库、API等等。

2. 导入必要的库：根据数据源的类型，需要导入相应的库，比如使用 requests 库访问API数据，使用 pandas 库读取CSV文件等。

3. 获取数据：根据数据源的类型，使用相应的方法获取数据，比如使用 requests 库的 get 方法访问API数据，使用 pandas 库的 read_csv 方法读取CSV文件等。

4. 数据清洗：获取到的原始数据可能存在错误、缺失值等问题，需要进行数据清洗。数据清洗的具体方式会因数据的类型和数据本身的特征而不同，常见的数据清洗包括去重、填充缺失值、处理异常值等。

5. 数据存储：获取到的数据可以存储到本地文件、数据库中等，具体方式根据实际情况而定，常见的数据存储方式包括CSV文件、Excel文件、MySQL数据库、MongoDB数据库等。

下面分别给出两个Python获取原始数据的示例：

1. 使用 requests 库获取API数据

import requests
import json

# 访问API接口获取数据
url = "https://api.example.com/data"
response = requests.get(url)

# 解析json数据
data = json.loads(response.text)

# 对数据进行清洗
# ...

# 存储数据到本地文件
with open('data.json', 'w') as f:
    json.dump(data, f)

1. 使用 pandas 库读取CSV文件

import pandas as pd

# 读取CSV文件
data = pd.read_csv('data.csv')

# 对数据进行清洗
# ...

# 存储数据到MySQL数据库
from sqlalchemy import create_engine
engine = create_engine('mysql://user:password@localhost/dbname')
data.to_sql('data', con=engine, if_exists='replace', index=False)

注意：以上代码仅供参考，具体实现方式需要根据实际情况进行调整。