我正在使用 python 开发一个简单的网络爬虫，我不想制作一个简单的队列类，但我不太确定最好的开始方式。我想要一些只包含要处理的唯一项目的东西，这样爬虫在每次脚本运行时只会抓取每个页面一次(只是为了避免无限循环)。任何人都可以给我或指出一个我可以运行的简单队列示例吗？
请您参考如下方法:
我只使用集合，它不保持顺序但会帮助您保持唯一性:
>>> q = set([9, 8, 7, 7, 8, 5, 4, 1])
>>> q.pop()
1
>>> q.pop()
4
>>> q.pop()
5
>>> q.add(3)
>>> q.add(3)
>>> q.add(3)
>>> q.add(3)
>>> q
set([3, 7, 8, 9]
