我想提取最不相关的列。 Excel范例如下:
数据被读入列表。
可以在您的机器上进行复制和粘贴。
data = [[1.0, 0.753392, 3.0, 0.725201], [2.0, 0.041109837, 6.0, 0.062877178], [3.0, 0.423832988, 9.0, 0.866027735], [4.0, 0.434915355, 12.0, 0.192467473], [5.0, 0.654428813, 15.0, 0.108341448], [6.0, 0.324773769, 18.0, 0.844229809], [7.0, 0.967524725, 21.0, 0.934810338], [8.0, 0.793547241, 24.0, 0.990572248], [9.0, 0.741736506, 27.0, 0.74011758], [10.0, 0.187684226, 30.0, 0.41631089], [11.0, 0.206195617, 33.0, 0.819677047], [12.0, 0.025064815, 36.0, 0.688291108], [13.0, 0.534330027, 39.0, 0.032694883], [14.0, 0.018739144, 42.0, 0.354950289], [15.0, 0.091988505, 45.0, 0.491944161], [16.0, 0.030296596, 48.0, 0.269117609], [17.0, 0.498798595, 51.0, 0.524733097], [18.0, 0.099476344, 54.0, 0.845788803], [19.0, 0.070866294, 57.0, 0.997247157], [20.0, 0.464518871, 60.0, 0.172750938], [21.0, 0.733827466, 63.0, 0.822552104], [22.0, 0.354165581, 66.0, 0.214911818]]
df = pd.DataFrame(data)
print df
0 1 2 3
0 2.0 0.041110 6.0 0.062877
1 3.0 0.423833 9.0 0.866028
2 4.0 0.434915 12.0 0.192467
3 5.0 0.654429 15.0 0.108341
4 6.0 0.324774 18.0 0.844230
5 7.0 0.967525 21.0 0.934810
6 8.0 0.793547 24.0 0.990572
7 9.0 0.741737 27.0 0.740118
8 10.0 0.187684 30.0 0.416311
9 11.0 0.206196 33.0 0.819677
10 12.0 0.025065 36.0 0.688291
11 13.0 0.534330 39.0 0.032695
12 14.0 0.018739 42.0 0.354950
13 15.0 0.091989 45.0 0.491944
14 16.0 0.030297 48.0 0.269118
15 17.0 0.498799 51.0 0.524733
16 18.0 0.099476 54.0 0.845789
17 19.0 0.070866 57.0 0.997247
18 20.0 0.464519 60.0 0.172751
19 21.0 0.733827 63.0 0.822552
20 22.0 0.354166 66.0 0.214912
r2 = df.corr()**2
print r2
0 1 2 3
0 1.000000 0.033327 1.000000 0.000218
1 0.033327 1.000000 0.033327 0.037813
2 1.000000 0.033327 1.000000 0.000218
3 0.000218 0.037813 0.000218 1.000000
result = np.argwhere(np.triu(np.abs(r2.values) <= 0.047))
print result
[[0 3]
[2 3]]
但是,不是预期的结果,[0,1,3]。
欢迎任何解决此类问题的最佳实践。
编辑: 预期结果,最不相关的数据有 3 列(A、B、D)
1 0.753391901 0.725201405
2 0.041109837 0.062877178
3 0.423832988 0.866027735
4 0.434915355 0.192467473
5 0.654428813 0.108341448
6 0.324773769 0.844229809
7 0.967524725 0.934810338
8 0.793547241 0.990572248
9 0.741736506 0.74011758
10 0.187684226 0.41631089
11 0.206195617 0.819677047
12 0.025064815 0.688291108
13 0.534330027 0.032694883
14 0.018739144 0.354950289
15 0.091988505 0.491944161
16 0.030296596 0.269117609
17 0.498798595 0.524733097
18 0.099476344 0.845788803
19 0.070866294 0.997247157
20 0.464518871 0.172750938
21 0.733827466 0.822552104
22 0.354165581 0.214911818
请您参考如下方法:
因为你有多对,所以我认为这是最好的方法:
rs = r2.stack()
rs_min = rs[rs <= rs.min() + 1e-4] # I added some tolerance here
cols = rs_min.index.values
有了你的数据,这给了我
>>> rs_min.index.values
array([(0, 3), (2, 3), (3, 0), (3, 2)], dtype=object)
如果你想要一个扁平的唯一值列表,你可以转换数组:
vals = list(set(item[1] for item in vals))
(您可以使用 item[0] 或 item[1],因为这些对无论如何都是对称的) 这给
>>> list(set(item[1] for item in vals))
[0, 2, 3]
根据您的表格,请注意 Excel 和 Pandas 确实给出了不同的相关结果。此代码假定 Pandas 给出了正确的结果。
编辑:
如果你想找回原来的结果数据,那么你可以这样做
print(data[:, vals])
这应该会给你结果。
