Skip to main content
 首页 » 编程设计

python之有没有更快的方法来遍历和删除 Pandas 数据框中的特定行

2025年01月19日8zhwl

我目前正在使用 Bat ( https://github.com/Kitware/bat ) 读取 Bro ( https://www.bro.org/ ) 日志文件并将它们转换为 Pandas 数据帧。

我正在做的事情之一是对 DNS 查找进行一些频率分析。此输出显示来 self 的一台主机的一小时 Bro dns 数据的大小,因此您可能了解我正在处理的数据量。

bro_df.info() 
 
<class 'bat.log_to_dataframe.LogToDataFrame'> 
DatetimeIndex: 1013219 entries, 2018-01-03 08:59:53.250328 to 2018-01-03 09:59:51.672011 
Data columns (total 23 columns): 
AA             1013219 non-null bool 
RA             1013219 non-null bool 
RD             1013219 non-null bool 
TC             1013219 non-null bool 
TTLs           1013219 non-null object 
Z              1013219 non-null int64 
answers        1013219 non-null object 
id.orig_h      1013219 non-null object 
id.orig_p      1013219 non-null int64 
id.resp_h      1013219 non-null object 
id.resp_p      1013219 non-null int64 
proto          1013219 non-null object 
qclass         1013219 non-null int64 
qclass_name    1013219 non-null object 
qtype          1013219 non-null int64 
qtype_name     1013219 non-null object 
query          1013219 non-null object 
rcode          1013219 non-null int64 
rcode_name     1013219 non-null object 
rejected       1013219 non-null bool 
rtt            1013219 non-null timedelta64[ns] 
trans_id       1013219 non-null int64 
uid            1013219 non-null object 
dtypes: bool(5), int64(7), object(10), timedelta64[ns](1) 
memory usage: 151.7+ MB 

我做了一些快速简单的事情,比如删除不必要的列等,但这仍然是一个相当大的数据框。

为了对查找进行适当的频率分析,我还尝试从数据帧中删除“已知良好”或列入白名单的域,这就是事情变得真正缓慢的地方。由于我是 Pandas 的新手,我担心我可能会以一种不太理想的方式来礼貌地说。

我的删除白名单内容的方法如下 - 我删除了一些内部 DNS 信息以保护无辜者:

whitelist = ['-', '(empty)', 'in-addr.arpa', '.google.com', '.akamai.net',  
             '.akamaiedge.net', '.apple.com', '.contoso.msft'] 
 
for idx, row in bro_df.iterrows(): 
    for item in whitelist: 
        if row['query'].endswith(item): 
            bro_df.drop(idx, inplace=True) 

即使在我将数据清理到比上面显示的原始 bro_df.info() 输出少很多之后,这也需要很长时间才能完成。这个日志文件反射(reflect)了一个小时捕获的 DNS 查询的值(value),但删除白名单的内容需要一个多小时的时间,所以我在这里打一场失败的战斗。

如有任何帮助,我们将不胜感激。

干杯,迈克

请您参考如下方法:

我相信你需要str.contains , 要匹配字符串结尾,请使用 $ 并按 boolean indexing 过滤:

df = pd.DataFrame({'query':['-','dsds -','- sdsd']}) 
print (df) 
    query 
0       - 
1  dsds - 
2  - sdsd 
 
#() are escaped for remove warning  
whitelist = ['-', '\(empty\)', 'in-addr.arpa', '.google.com', '.akamai.net',  
             '.akamaiedge.net', '.apple.com', '.contoso.msft'] 
 
 
pat = '|'.join([x + '$' for x in whitelist]) 
 
df = df[~df['query'].str.contains(pat)] 
print (df) 
    query 
2  - sdsd