Skip to main content
 首页 » 编程设计

python之优化 Pandas 数据框列的四分位数

2024年11月24日8落叶

我在数据框中有多个包含数字数据的列。我想对每一列进行四分位数,将每个值更改为 q1、q2、q3 或 q4。

我目前循环遍历每一列并使用 pandas qcut 函数更改它们:

for column_name in df.columns: 
    df[column_name] = pd.qcut(df[column_name].astype('float'), 4, ['q1','q2','q3','q4']) 

这很慢!有更快的方法吗?

请您参考如下方法:

稍微尝试一下以下示例。看起来从字符串转换为 float 正在增加时间。虽然没有提供工作示例,但无法知道原始类型。 df[column].astype(copy=) 无论是否复制,似乎都是高效的。没什么可追求的。

import pandas as pd 
import numpy as np 
import random 
import time 
 
random.seed(2) 
 
indexes = [i for i in range(1,10000) for _ in range(10)] 
df = pd.DataFrame({'A': indexes, 'B': [str(random.randint(1,99)) for e in indexes], 'C':[str(random.randint(1,99)) for e in indexes], 'D':[str(random.randint(1,99)) for e in indexes]}) 
#df = pd.DataFrame({'A': indexes, 'B': [random.randint(1,99) for e in indexes], 'C':[random.randint(1,99) for e in indexes], 'D':[random.randint(1,99) for e in indexes]}) 
 
df_result = pd.DataFrame({'A': indexes, 'B': [random.randint(1,99) for e in indexes], 'C':[random.randint(1,99) for e in indexes], 'D':[random.randint(1,99) for e in indexes]}) 
 
def qcut(copy, x): 
    for i, column_name in enumerate(df.columns): 
        s = pd.qcut(df[column_name].astype('float', copy=copy), 4, ['q1','q2','q3','q4']) 
        df_result["col %d %d"%(x, i)] = s.values 
 
times = [] 
for x in range(0,10): 
    a = time.clock() 
    qcut(True, x) 
    b = time.clock() 
    times.append(b-a) 
 
print np.mean(times) 
 
for x in range(10, 20): 
    a = time.clock() 
    qcut(False, x) 
    b = time.clock() 
    times.append(b-a) 
print np.mean(times)