python爬虫(1)

工欲善其事,必先利其器。开发python爬虫,最基本的当然是要有python的开发环境,python分为python2和python3。官方表示将会停止python2的更新,所以未来是属于python3的。所以我们也就面向未来,使用python3开发爬虫吧。这里将会介绍python3在Windows/Linux/Mac三大平台下的安装。

Windows下的安装

在windows下安装Python3的方式有以下两种:

  1. 通过Anaconda安装,它提供了Python的科学计算环境,自带Python以及常用的库,后续配置将会十分便捷。可从官方下载地址下载最新版Anaconda,也可从第三方镜像源下载全部版本的Anaconda。下载完成后,直接安装即可。
  2. 通过Python官网下载安装包进行安装。最新的版本是3.7.3。按照自己的开发环境下载相应的版本。笔者选择的是3.6.8,若无特别说明,后续均使用该版本。下载完成后,安装时记得配置python的环境变量,这样就可以在命令行中直接执行python相关命令,如python、pip等。安装完成后,可以通过命令行测试一下安装是否成功。打开cmd,输入python,测试能否成功调用python命令。成功输出结果如下:
1
2
3
4
C:\WINDOWS\system32>python
Python 3.6.8 (tags/v3.6.8:3c6b436a57, Dec 24 2018, 00:16:47) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>

Linux下的安装

在Linux下有安装python的方式有以下三种:

  1. 命令行安装

不同的Linux发行版本安装软件的方式不同。主要分为两大类:

  • CentOS/RedHat

使用yum命令安装:

1
2
3
sudo yum install -y https://centos7.iuscommunity.org/ius-release.rpm
sudo yum update
sudo yum install -y python36u python36u-libs python36u-devel python36u-pip

  • Ubuntu/Debian/Deepin

使用apt-get命令安装:

1
2
3
sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-dev
sudo apt-get install -y python3
sudo apt-get install -y python3-pip

  1. python源码安装

如果命令行的方式安装有问题,可以下载python3源码进行安装。源码地址为:https://www.python.org/ftp/python/
首先创建安装目录,如下:

1
sudo mkdir /usr/local/python3

然后下载安装包并解压,编译安装,创建python3链接,如下:

1
2
3
4
5
6
7
wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz
tar -xzvf Python-3.6.2.tgz
cd Python-3.6.2
sudo ./configure --prefix=/usr/local/python3
sudo make
sudo make install
sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3

最后下载pip安装包并解压安装,创建pip3链接, 如下:

1
2
3
4
5
wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gz
tar -xzvf 9.0.1.tar.gz
cd pip-9.0.1
python3 setup.py install
sudo ln -s /usr/local/python3/bin/pip /usr/bin/pip3

  1. Anaconda安装

Anaconda同样支持Linux,选择相应的版本安装即可。

Mac下的安装

在Mac下安装python的方式有以下三种:

  1. Homebrew安装

Homebrew是Mac平台下强大的包管理工具。执行以下命令安装Homebrew:

1
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安装完成后,使用brew命令安装python3和pip3。

1
brew install python3

  1. 安装包安装

可以到python官网下载对应版本的python3安装包。

  1. Anaconda安装

Anaconda同样支持Mac,选择对应版本的python3安装包下载安装即可。

至此,三大平台的python3安装方式已介绍完毕。