我在 pandas 中有一个很大的 DataFrame 三列:'col1' 是字符串,'col2' 和 'col3 ' 是 numpy.int64。我需要执行 groupby,然后使用 apply 应用自定义聚合函数,如下所示:
pd = pandas.read_csv(...)
groups = pd.groupby('col1').apply(my_custom_function)
每个组都可以看作是一个带有两个整数列 'col2' 和 'col3' 的 numpy 数组。要理解我在做什么,您可以将每一行 ('col2','col3') 视为一个时间间隔;我正在检查是否没有相交的间隔。我首先按第一列对数组进行排序,然后测试索引 i 处的第二列值是否小于 index i + 1 处的第一列值。
第一个问题:我的想法是使用 Cython 来定义自定义聚合函数。这是个好主意吗?
我在 .pyx 文件中尝试了以下定义:
cimport nump as c_np
def c_my_custom_function(my_group_df):
cdef Py_ssize_t l = len(my_group_df.index)
if l < 2:
return False
cdef c_np.int64_t[:, :] temp_array
temp_array = my_group_df[['col2','col3']].sort(columns='col2').values
cdef Py_ssize_t i
for i in range(l - 1):
if temp_array[i, 1] > temp_array[i + 1, 0]:
return True
return False
我还用纯 Python/pandas 定义了一个版本:
def my_custom_function(my_group_df):
l = len(my_group_df.index)
if l < 2:
return False
temp_array = my_group_df[['col2', 'col3']].sort(columns='col2').values
for i in range(l - 1):
if temp_array[i, 1] > temp_array[i + 1, 0]:
return True
return False
第二个问题:我对两个版本进行了计时,两者所用的时间完全相同。 Cython 版本似乎没有加快任何速度。发生了什么事?
红利问题:您是否发现了实现此算法的更好方法?
请您参考如下方法:
向量 numpy 测试可以是:
np.any(temp_array[:-1,1]>temp_array[1:,0])
它是否比 python 或 cython 迭代做得更好取决于 True 出现的位置(如果有的话)。如果返回处于迭代的早期步骤,则迭代显然更好。而 cython 版本不会有太多优势。此外,测试步骤将比排序步骤更快。
但是如果迭代通常是一路走下去,那么向量测试会比 Python 迭代快,也比排序快。它可能比正确编码的 cython 迭代慢。
