我的问题需要将行增量添加到排序的 DataFrame(使用 DateTimeIndex),但我目前无法找到一种有效的方法来执行此操作。似乎没有任何“排序”的概念。
我试过追加行并就地求助,我也试过使用 searchsorted 获取插入点并切片和连接以创建新的 DataFrame .两者都“太慢”。
Pandas 是否不适合不能同时拥有所有数据而是增量获取数据的工作?
我尝试过的解决方案:
串联
def insert_data(df, data, index):
insertion_index = df.index.searchsorted(index)
new_df = pandas.concat([df[:insertion_index], pandas.DataFrame(data, index=[index]), df[insertion_index:]])
return new_df, insertion_index
度假村
def insert_data(df, data, index):
new_df = df.append(pandas.DataFrame(data, index=[index]))
new_df.sort_index(inplace=True)
return new_df
请您参考如下方法:
pandas 构建于 numpy 之上。 numpy 数组是固定大小的对象。虽然有 numpy 的追加和插入函数,但实际上它们会根据新旧数据构造新数组。
有两种实用的方法可以增量定义这些数组:
初始化一个大的空数组,并增量填充值
逐步创建一个 Python 列表(或字典),并从完成的列表创建数组。
追加到 Python 列表是一项常见且快速的任务。还有一个列表插入,但速度较慢。对于排序插入,有专门的 Python 结构(例如 bisect)。
Pandas 可能已经增加了处理常见创建场景的功能。但是除非它用 C 编写了一些特殊的代码,否则它不太可能比更基本的 Python 结构更快。
即使您必须在增量构建过程中的不同点使用 Pandas 功能,最好从底层 Python 结构动态创建一个新的 DataFrame。
