Pandas中Apply函数加速百倍的技巧

[ 引言 ] 虽然目前dask,cudf等包的出现，使得我们的数据处理大大得到了加速，但是并不是每个人都有比较好的gpu，非常多的朋友仍然还在使用pandas工具包，但有时候真的很无奈。

成都创新互联公司服务项目包括广汉网站建设、广汉网站制作、广汉网页制作以及广汉网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，广汉网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到广汉省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

实验对比

1. Apply(Baseline)

我们以Apply为例，原始的Apply函数处理下面这个问题，需要18.4s的时间。

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=('a','b','c','d','e'))
def func(a,b,c,d,e):
    if e == 10:
        return c*d
    elif (e < 10) and (e>=5):
        return c+d
    elif e < 5:
        return a+b
%%time
df['new'] = df.apply(lambda x: func(x['a'], x['b'], x['c'], x['d'], x['e']), axis=1)
CPU times: user 17.9 s, sys: 301 ms, total: 18.2 s
Wall time: 18.4 s

2. Swift加速

因为处理是并行的，所以我们可以使用Swift进行加速，在使用Swift之后，相同的操作在我的机器上可以提升到7.67s。

%%time
# !pip install swifter
import swifter
df['new'] = df.swifter.apply(lambda x : func(x['a'],x['b'],x['c'],x['d'],x['e']),axis=1)
HBox(children=(HTML(value='Dask Apply'), FloatProgress(value=0.0, max=16.0), HTML(value='')))
CPU times: user 329 ms, sys: 240 ms, total: 569 ms
Wall time: 7.67 s

3. 向量化

使用Pandas和Numpy的最快方法是将函数向量化。如果我们的操作是可以直接向量化的话，那么我们就尽可能的避免使用：

• for循环；
• 列表处理；
• apply等操作

在将上面的问题转化为下面的处理之后，我们的时间缩短为：421 ms。

%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 134 ms, sys: 149 ms, total: 283 ms
Wall time: 421 ms

4. 类别转化+向量化

我们先将上面的类别转化为int16型，再进行相同的向量化操作，发现时间缩短为：116 ms。

for col in ('a','b','c','d'):
    df[col] = df[col].astype(np.int16)  
%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 ms
Wall time: 116 ms

5. 转化为values处理

在能转化为.values的地方尽可能转化为.values，再进行操作。

• 此处先转化为.values等价于转化为numpy，这样我们的向量化操作会更加快捷。

于是，上面的操作时间又被缩短为：74.9ms。

%%time
df['new'] = df['c'].values * df['d'].values #default case e = =10
mask = df['e'].values < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'].values < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 ms
Wall time: 74.9 ms

实验汇总

通过上面的一些小的技巧，我们将简单的Apply函数加速了几百倍，具体的：

• Apply: 18.4 s
• Apply + Swifter: 7.67 s
• Pandas vectorizatoin: 421 ms
• Pandas vectorization + data types: 116 ms
• Pandas vectorization + values + data types: 74.9ms

分享标题：Pandas中Apply函数加速百倍的技巧
路径分享：http://www.mswzjz.com/qtweb/news18/166568.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联