第二节 数据预处理

1.2.1 读取数据集

创建简易的数据集

import os
os.makedirs(os.path.join('..', 'Chapter1', 'data'), exist_ok=True)
data_file = os.path.join('..', 'Chapter1', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n') # 列名
    f.write('NA,Pave,127500\n') # 每⾏表⽰⼀个数据样本
    f.write('2,FUCK,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

读取数据集

import pandas as pd

data = pd.read_csv(data_file)
print(data)

   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0  FUCK  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

1.2.2 处理缺失值

#pandas对于数据的位置索引iloc，相当于python中的直接对多维数组的循秩访问
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean()) #用同一列中的均值替换Nan，只对连续的值有效
print(inputs)

   NumRooms Alley
0       3.0  Pave
1       2.0  FUCK
2       4.0   NaN
3       3.0   NaN

#对于离散的值，将Nan和每一种数据都当成一个独立的列表示
#dummy：仿制品
inputs = pd.get_dummies(inputs, dummy_na = True)
print(inputs)

   NumRooms  Alley_FUCK  Alley_Pave  Alley_nan
0       3.0           0           1          0
1       2.0           1           0          0
2       4.0           0           0          1
3       3.0           0           0          1

1.2.3 转换成张量格式

from mxnet import np
X, y = np.array(inputs.values), np.array(outputs.values)
X, y

(array([[3., 0., 1., 0.],
        [2., 1., 0., 0.],
        [4., 0., 0., 1.],
        [3., 0., 0., 1.]], dtype=float64),
 array([127500, 106000, 178100, 140000], dtype=int64))