python爬虫招投标信息（python爬虫项目代码）

本文目录一览：

• 1、用python写爬虫有哪些框架?

用python写爬虫有哪些框架?

1、Scrapy：Python的爬虫框架Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。

2、BeautifulSoup：BeautifulSoup是一个功能强大的爬取HTML和XML数据的Python库。它可以轻松解析网页，并提供了一些方法，包括用CSS选择器访问不同元素、查找元素以及使用正则表达式匹配。Scrapy：Scrapy是一个Python框架，让您可以轻松地创建和部署爬虫。

3、（4）反屏蔽：请求头/代理服务器/cookie在爬取网页的时候有时会失败，因为别人网站设置了反爬虫措施了，这个时候就需要我们去伪装自己的行为，让对方网站察觉不到我们就是爬虫方。请求头设置，主要是模拟成浏览器的行为；IP被屏蔽了，就需要使用代理服务器来破解；而cookie是模拟成登录的行为进入网站。