Python Language Modifier l'agent utilisateur Scrapy


Exemple

Parfois, l'agent utilisateur Scrapy par défaut ( "Scrapy/VERSION (+http://scrapy.org)" ) est bloqué par l'hôte. Pour modifier l'agent utilisateur par défaut, ouvrez settings.py , décommentez et modifiez la ligne suivante selon vos souhaits.

#USER_AGENT = 'projectName (+http://www.yourdomain.com)'

Par exemple

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'