Python
Python kun je hier downloaden. Zorg ervoor dat je tijdens de installatie aanvinkt dat Python aan je path toegevoegd wordt.
pip Updaten
Om pip te updaten gebruik je “python -m pip install -U pip” in een command-box.
Commando’s pip:
pip list pip help
pip Packages updaten
Verouderde packages opsporen:
pip list --outdated
vervolgens elk package updaten met
pip install -U packagename
pip details about a package
Details van een package bekijken doe je met
pip show packagename
setuptools Updaten
Om setuptools te updaten gebruik je:
pip install -U setuptools
pypiwin32 219
Python for Window Extensions
Python extensions for Microsoft Windows Provides access to much of the Win32 API, the ability to create and use COM objects, and the Pythonwin environment.
Deze kun je hier downloaden.
MySQL
Deze kun je hier downloaden.
Connector/Python 2.1.3
Deze kun je hier downloaden.
Microsoft Visual C++ Compiler for Python 2.7
Deze kun je hier downloaden.
lxml
Deze kun je hier downloaden (lxml-3.5.0.win-amd64-py2.7.exe (md5)).
beautifulsoup4
Om beautifulsoup4 te installeren gebruik je “pip install beautifulsoup4“.
scrapy
Om scrapy te installeren gebruik je “pip install scrapy”
Global commands
- startproject: scrapy startproject myproject
- settings
- runspider
- shell: scrapy shell <url>
- fetch: scrapy fetch
- view: scrapy view <url>
- version
Project-only commands
- crawl: scrapy crawl myspider
- check
- list: scrapy list
- edit
- parse
- genspider: scrapy genspider mydomain mydomain.com
- bench
Handig om bij Scrapy te gebruiken is scrapy-fake-useragent.
pip install fake-useragent pip install scrapy-fake-useragent
Configuration
Turn off the built-in UserAgentMiddleware and add RandomUserAgentMiddleware:
DOWNLOADER_MIDDLEWARES = { 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None, 'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400, }
Grab Framework installeren
Prerequisites:
- Install lxml. Deze hadden we al eerder geinstalleerd, nu dus niet nodig om te doen.
- Install pycurl. Deze eerst met “pip install pycurl -U” gedaan, dat lukte niet, met “easy_install –upgrade pycurl” lukt het echter wel.
Installeer Grab met “pip install grab”.
tld
Om tld te installeren gebruik je “pip install tld“.
Het bericht Python en MySQL op Windows 10 in een virtuele omgeving installeren verscheen eerst op blog.dnx.nl.