Numpy关于数据

Numpy读取保存数据

​ 数据一般都被记录在存储当中,我们常见的小规模数据大多是 Excel 的 xlsx,csv, json, 或 txt,log 等等格式。 当我们要处理数据,特别是运算数据的时候,我们都能拿 Python 读取出来。而在大数据这种情况下,数据是存储在 MySQL,Mongodb 等这种数据库中的, 同样,Python 也提供了很多接口来读取这些数据。

​ 今天我们想聊聊其中的一部分,用 Numpy 来直接读取数据(通常是纯数值形式的数据),并加以运算的流程。而且看看我们可以如何保存 Numpy 里的数据。

python机器学习基础

Numpy练习_数据清洗

​ Numpy 的一切都是和数据打交道,那么在大数据时代,数据其实是不完整,不完美的。比如下面这张图里面, 你会发现,这份数据显然有些不完整的地方,city有数据缺失,duration 虽然是时间上的数据,但是时间单位不统一,时间格式不统一, 这都给后面我们让机器使用这份数据增加难度。

python机器学习基础