背景:我有在制造后的设备测试期间生成的日志。每个设备都有一个序列号和一个包含所有数据的相应 csv 日志文件。像这样。
DATE,TESTSTEP,READING,LIMIT,RESULT
01/01/2019 07:37:17.432 AM,1,23,10,FAIL
01/01/2019 07:37:23.661 AM,2,3,3,PASS
所以有很多这样的日志文件。各有测试数据。 我有现场失败的设备序列号。我想使用这些日志文件创建一个模型。然后根据其日志文件使用它来预测给定设备是否有可能在现场发生故障。
到目前为止,作为学习的一部分,我一直在处理房价等数据。每一行都是完整的。根据面积、房间数量等,很容易定义预期售价的模型。
在这里,我希望找到一种方法,以某种方式将所有日志展平成一行。我正在考虑拥有类似的东西:
DATE_1,TESTSTEP_1,READING_1,LIMIT_1,RESULT_1,DATE_2,TESTSTEP_2,READING_2,LIMIT_2,RESULT_2
1/1/2019 07:37:17.432 AM,1,23,10,FAIL,01/01/2019 07:37:23.661 AM,2,3,3,PASS
这是处理此类数据的正确方法吗?
如果是这样,那么 Pandas 是否对此有任何内置支持?
我将使用 scikit-learn创建模型。
请您参考如下方法:
首先将列转换为有序 CategoricalIndex对于输出中相同顺序的列,将 DATE 列转换为 to_datetime并通过 Series.dt.date 将日期时间转换为日期与 cumcount对于计数器,通过 set_index 创建 MultiIndex , 通过 unstack reshape 并按 sort_index 对 MultiIndex in columns 的第二级进行排序.最后通过 list comprehension 使用 reset_index 将其展平:
df['DATE'] = pd.to_datetime(df['DATE'])
dates = df['DATE'].dt.date
df.columns = pd.CategoricalIndex(df.columns,categories=df.columns, ordered=True)
g = df.groupby(dates).cumcount().add(1)
df = df.set_index([dates, g]).unstack().sort_index(axis=1, level=1)
df.columns = [f'{a}_{b}' for a, b in df.columns]
df = df.reset_index(drop=True)
print (df)
DATE_1 TESTSTEP_1 READING_1 LIMIT_1 RESULT_1 \
0 2019-01-01 07:37:17.432 1 23 10 FAIL
DATE_2 TESTSTEP_2 READING_2 LIMIT_2 RESULT_2
0 2019-01-01 07:37:23.661 2 3 3 PASS
如果还需要在单独的第一列中显示日期:
df['DATE'] = pd.to_datetime(df['DATE'])
dates = df['DATE'].dt.date
df.columns = pd.CategoricalIndex(df.columns,categories=df.columns, ordered=True)
g = df.groupby(dates).cumcount().add(1)
df = df.set_index([dates.rename('DAT'), g]).unstack().sort_index(axis=1, level=1)
df.columns = [f'{a}_{b}' for a, b in df.columns]
df = df.reset_index()
print (df)
DAT DATE_1 TESTSTEP_1 READING_1 LIMIT_1 RESULT_1 \
0 2019-01-01 2019-01-01 07:37:17.432 1 23 10 FAIL
DATE_2 TESTSTEP_2 READING_2 LIMIT_2 RESULT_2
0 2019-01-01 07:37:23.661 2 3 3 PASS
