python之我想使用 GAE 抓取网站并将结果发布到 Google 实体中

我想抓取这个 URL:https://www.xstreetsl.com/modules.php?searchSubmitImage_x=0&searchSubmitImage_y=0&SearchLocale=0&name=Marketplace&SearchKeyword=business&searchSubmitImage.x=0&searchSubmitImage.y=0&SearchLocale=0&SearchPriceMin=&SearchPriceMax=&SearchRatingMin=&SearchRatingMax=&sort=&dir=asc

进入每个链接并提取各种信息，例如权限、prims 等，然后将结果发布到谷歌应用引擎上的实体中。

我想知道最好的方法是什么？

克里斯

请您参考如下方法:

对于使用纯 Python 库规范化 HTML，我对 html5lib 有更好的体验比 BeautifulSoup。

然而，您只想提取简单的结构化信息，这实际上并不需要规范化 HTML。我在 Google App Engine 上有一些使用 my own xpath library 的抓取应用程序适用于原始 HTML。 或者您可以将正则表达式用于一次性作业。