其他
介绍一款进阶版的 Pandas 数据分析神器:Polars
The following article is from 关于数据分析与可视化 Author 俊欣
Pandas
以及SQL
这两种工具,Pandas
不但能够对数据集进行清理与分析,并且还能够绘制各种各样的炫酷的图表,但是遇到数据集很大的时候要是还使用Pandas
来处理显然有点力不从心。Polars
,它在数据处理的速度上更快,当然里面还包括两种API,一种是Eager API
,另一种则是Lazy API
,其中Eager API
和Pandas
的使用类似,语法类似差不太多,立即执行就能产生结果。Lazy API
和Spark
很相似,会有并行以及对查询逻辑优化的操作。模块的安装与导入
pip
命令Pandas
和Polars
来读取数据,看一下各自性能上的差异,我们导入会要用到的模块import polars as pl
import matplotlib.pyplot as plt
%matplotlib inline
用Pandas
读取文件
Pandas
模块来读取该csv
文件df = pd.read_csv("users.csv")
df.head()
Pandas
读取CSV
文件总共花费了12秒的时间,数据集总共有两列,一列是用户名称,以及用户名称重复的次数“n”,我们来对数据集进行排序,调用的是sort_values()
方法,代码如下df.sort_values("n", ascending=False).head()
用Polars
来读取操作文件
Polars
模块来读取并操作文件,看看所需要的多久的时间,代码如下data = pl.read_csv("users.csv")
data.head()
polars
模块来读取数据仅仅只花费了730毫秒的时间,可以说是快了不少的,我们根据“n”这一列来对数据集进行排序,代码如下data.sort(by="n", reverse=True).head()
df_titanic.columns
'Survived',
'Pclass',
'Name',
'Sex',
'Age',
......]
Pandas
一样输出列名调用的是columns
方法,然后我们来看一下数据集总共是有几行几列的,polars.datatypes.Int64,
polars.datatypes.Int64,
polars.datatypes.Utf8,
polars.datatypes.Utf8,
polars.datatypes.Float64,
......]
填充空值与数据的统计分析
null_count()
方法mean()
方法即可,那么中位数、最大/最小值的计算也是同样的道理,代码如下print(f'Average Age: {df_titanic["Age"].mean()}')
print(f'Maximum Age: {df_titanic["Age"].max()}')
print(f'Minimum Age: {df_titanic["Age"].min()}')
Average Age: 29.699117647058817
Maximum Age: 80.0
Minimum Age: 0.42
数据的筛选与可视化
ax.boxplot(df_titanic["Age"])
plt.xticks(rotation=90)
plt.xlabel('Age Column')
plt.ylabel('Age')
plt.show()
polars
在数据分析与处理上面和Pandas
模块有很多相似的地方,其中会有一部分的API存在着差异,感兴趣的童鞋可以参考其官网:https://www.pola.rs/技术技术
分享
点收藏
点点赞
点在看