Skip to main content
 首页 » 编程设计

python之如何在 Tensorboard 中加载选定范围的样本

2024年11月01日9langtianya

我有一个包含 500 万个样本的 Tensorboard 日志文件。 Tensorboard 在加载时对其进行降采样,这样我就不会耗尽内存,但可以使用 --samples_per_plugin 覆盖此行为并加载所有这些行为。如果我这样做,我将耗尽内存。假设我想加载前 1000 个样本而不进行下采样(例如,如果我对训练开始时我的网络发生的事情的细节感兴趣)。

有没有办法让 Tensorboard 只加载指定的样本子集?我认为截至目前还没有命令行参数,但也许有办法编辑日志文件还是 Tensorboard 代码或其他一些解决方法?

请您参考如下方法:

我不认为有任何方法可以让 TensorBoard 做到这一点,但可以“切片”事件文件。这些文件原来是记录文件(只有事件数据而不是示例),因此您可以将它们阅读为 TFRecordDataset .显然,有第一条记录指示文件版本号,但除此之外它应该是直截了当的。假设您只有要切片的事件,您可以使用这样的函数(TF 1.x,尽管它在 2.x 中大致相同):

import tensorflow as tf 
 
def slice_events(input_path, output_path, skip, take): 
    with tf.Graph().as_default(): 
        ds = tf.data.TFRecordDataset([str(input_path)]) 
        rec_first = ds.take(1).make_one_shot_iterator().get_next() 
        ds_data = ds.skip(skip + 1).take(take) 
        rec_data = ds_data.batch(1000).make_one_shot_iterator().get_next() 
        with tf.io.TFRecordWriter(str(output_path)) as writer, tf.Session() as sess: 
            writer.write(sess.run(rec_first)) 
            while True: 
                try: 
                    for ev in sess.run(rec_data): 
                        writer.write(ev) 
                except tf.errors.OutOfRangeError: break 

这会根据现有文件创建一个新的事件文件,其中丢弃第一个 skip 事件,然后保存 take 事件。您可以使用其他 Dataset操作来选择要保留的数据。例如,下采样可以按以下方式完成:

ds_data = ds.skip(1).window(1, 5).unbatch()  # Takes one in five events 

你可以制作一个脚本,将一个目录下的所有事件文件切片,然后将它们保存到另一个具有相同结构的文件中,例如:

#!/usr/bin/env python3 
# -*- coding: utf-8 -*- 
 
# slice_events.py 
 
import sys 
import os 
from pathlib import Path 
os.environ['CUDA_VISIBLE_DEVICES'] = '-1'  # Not necessary to use GPU 
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'  # Avoid log messages 
 
def slice_events(input_path, output_path, skip, take): 
    # Import here to avoid loading on error 
    import tensorflow as tf 
    # Code from before... 
 
def slice_events_dir(input_dir, output_dir, skip, take): 
    input_dir = Path(input_dir) 
    output_dir = Path(output_dir) 
    output_dir.mkdir(parents=True, exist_ok=True) 
    for ev_file in input_dir.glob('**/*.tfevents*'): 
        out_file = Path(output_dir, ev_file.relative_to(input_dir)) 
        out_file.parent.mkdir(parents=True, exist_ok=True) 
        slice_events(ev_file, out_file, skip, take) 
 
if __name__ == '__main__': 
    if len(sys.argv) != 5: 
        print(f'{sys.argv[0]} <input dir> <output dir> <skip> <take>', file=sys.stderr) 
        sys.exit(1) 
    input_dir, output_dir, skip, take = sys.argv[1:] 
    skip = int(skip) 
    take = int(take) 
    slice_events_dir(input_dir, output_dir, skip, take) 

然后你会用它作为

$ python slice_events.py log log_sliced 100 1000 

请注意,这假设了一个简单的情况,即您只有一系列相似的事件需要切片。如果您有其他类型的事件(例如图表本身),或者同一文件中有多种类型的交错事件,或者其他情况,那么您需要根据需要调整逻辑。