Skip to main content
 首页 » 编程设计

python之使用 scrapy 发出 POST 请求

2025年05月04日1498°冷暖

我正在尝试废弃 http://www.ncbi.nlm.nih.gov/pubmed 的搜索结果.我在第一页上收集了所有有用的信息,但我在第二页的导航中遇到问题(第二页没有任何结果,请求中的某些参数丢失或错误)。

我的代码是:

 class PubmedSpider(Spider): 
    name = "pubmed" 
    cur_page = 1 
    max_page = 3 
    start_urls = [ 
            "http://www.ncbi.nlm.nih.gov/pubmed/?term=cancer+toxic+drug" 
    ] 
 
    def parse(self, response): 
        sel = Selector(response) 
        pubmed_results = sel.xpath('//div[@class="rslt"]') 
        #next_page_url = sel.xpath('//div[@id="gs_n"]//td[@align="left"]/a/@    href').extract()[0] 
        self.cur_page = self.cur_page + 1 
        print 'cur_page ','*' * 30, self.cur_page 
 
        form_data = {'term':'cancer+drug+toxic+', 
                    'EntrezSystem2.PEntrez.PubMed.Pubmed_ResultsPanel.Entrez_Pager.Page':'results', 
                    'email_subj':'cancer+drug+toxic+-+PubMed', 
                    'EntrezSystem2.PEntrez.PubMed.Pubmed_ResultsPanel.Entrez_Pager.CurrPage':str(self.cur_page), 
                    'email_subj2':'cancer+drug+toxic+-+PubMed', 
                    'EntrezSystem2.PEntrez.DbConnector.LastQueryKey':'2', 
                    'EntrezSystem2.PEntrez.DbConnector.Cmd':'PageChanged', 
                    'p%24a':'EntrezSystem2.PEntrez.PubMed.Pubmed_ResultsPanel.Entrez_Pager.Page', 
                    'p%24l':'EntrezSystem2', 
                    'p%24':'pubmed', 
                    } 
 
        for pubmed_result in pubmed_results: 
            item = PubmedItem() 
 
            item['title'] = lxml.html.fromstring(pubmed_result.xpath('.//a')[0].extract()).text_content() 
            item['link'] = pubmed_result.xpath('.//p[@class="title"]/a/@href').extract()[0] 
 
            #modify following lines 
            if self.cur_page < self.max_page: 
                yield FormRequest("http://www.ncbi.nlm.nih.gov/pubmed/?term=cancer+toxic+drug",formdata = form_data, 
                callback = self.parse2, method="POST") 
 
            yield item 
 
    def parse2(self, response): 
        with open('response_html', 'w')as f: 
            f.write(response.body) 

cookie 在 settings.py 中启用

请您参考如下方法:

如果您在 NCBI 中搜索信息,为什么不使用专为此类研究设计的 E-Utilities?这将避免从网站返回滥用通知(也许这也发生在您的抓取工具上)。

我知道这个问题很老了,但是有人可能会偶然发现同一个问题......

您的基本网址为:http://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi?db=pubmed&term=cancer+toxic+drug

您可以在此处找到查询参数的说明:http://www.ncbi.nlm.nih.gov/books/NBK25499/#chapter4.ESearch (有关每个查询的更多结果以及如何推进)

使用此 API 还可以使用其他一些工具和更新的 Python 3。