Skip to main content
 首页 » 编程设计

Python 包含自定义模块

2025年04月02日9youxin

制作一个基本的 python 抓取器...不知道如何将我制作的模块包含到另一个模块中。获取:“无模块错误”。这是文件结构:

indeed_spider.py 代码:

from scrapy.spiders import BaseSpider 
from scrapy.selector import HtmlXPathSelector 
from scrapy.loader import XPathItemLoader 
from scrapy.loader.processors import Join, MapCompose 
from ..scraper_app import items 
 
class IndeedSpider(BaseSpider): 
    name = "indeed" 
    allowed_domains = ["indeed.com"] 
    start_urls = ["http://www.indeed.com/jobs?q=security&l="] 
 
    deals_list_xpath = '//div[@class="row result"]/td[@class="snip"]' 
    item_fields = { 
        'title': '', 
        'location': '', 
        'blurb': '', 
        'pay': '', 
        'description': '' 
    } 

当我运行 python indeed_spider.py 时发生错误...我确信我缺少对 python 的一些基本理解,我对这门语言还很陌生。谢谢! :)

请您参考如下方法:

当使用 Scrapy 时,你运行你的蜘蛛运行 scrapy crawl <spider name>来自根文件夹(包含 scrapy.cfg 文件的文件夹)。

如果您使用 scrapy startproject 生成蜘蛛项目, 你应该已经得到一个 items.py您可以在其中定义 Item子类。