制作一个基本的 python 抓取器...不知道如何将我制作的模块包含到另一个模块中。获取:“无模块错误”。这是文件结构:
indeed_spider.py 代码:
from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.loader import XPathItemLoader
from scrapy.loader.processors import Join, MapCompose
from ..scraper_app import items
class IndeedSpider(BaseSpider):
name = "indeed"
allowed_domains = ["indeed.com"]
start_urls = ["http://www.indeed.com/jobs?q=security&l="]
deals_list_xpath = '//div[@class="row result"]/td[@class="snip"]'
item_fields = {
'title': '',
'location': '',
'blurb': '',
'pay': '',
'description': ''
}
当我运行 python indeed_spider.py 时发生错误...我确信我缺少对 python 的一些基本理解,我对这门语言还很陌生。谢谢! :)
请您参考如下方法:
当使用 Scrapy 时,你运行你的蜘蛛运行 scrapy crawl <spider name>来自根文件夹(包含 scrapy.cfg 文件的文件夹)。
如果您使用 scrapy startproject 生成蜘蛛项目, 你应该已经得到一个 items.py您可以在其中定义 Item子类。
