javascript之每日交易聚合器如何从不同的交易网站获取数据

我想知道每日交易聚合器如何从不同的交易网站中提取数据？我见过许多不提供 API 和 RSS 提要的交易网站，但这个聚合器仍然从中提取数据。 这是我指的一些网站

http://www.thedealmap.com/

http://www.dealmandi.com/

请您参考如下方法:

如果站点不提供任何 API 或 RSS 提要，仍然可以通过查询信息所在的页面并从返回的 HTML 中提取数据来“以老派方式”从中提取数据。

在 Python 中，这可以使用 urllib2 来完成或 requests用于查询页面和 lxml或 BeautifulSoup从 HTML 中提取数据。对于更大的项目，请尝试使用 scrapy框架，它提供了编写复杂蜘蛛代码的一切。