得意淡然,失意坦然;喜而不狂,忧而不伤。

安装Scrapy常用出错解决方法

Linux/Unix admin 2161次浏览 已收录 0个评论 扫描二维码

scrapy要求python2.7+ 的环境,ubuntu的很久之前就已经是python2.7+了,安装也比较简单。centos7.x上默认使用的是python2.7+ 。这里以这两个主流发行版为例说下安装。

1、ubuntu下

ubuntu下的安装非常容易 ,直接可以通过apt-get命令搞定(不过默认ubuntu源里的scrapy版本会有些老旧):

sudo apt-get update && sudo apt-get install scrapy-VERSION  
上面VERSION换成你要安装版本号。

这里可以导入scrapy的官方源,并导入key和scray.list,如下:

sudo apt-key adv –keyserver hkp://keyserver.ubuntu.com:80 –recv 627220E7
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list 
当然也可以使用pip进行安装,命令如下:

pip install scrapy
2、centos7下

由于centos6下需要升级python版本,这里简单起见直接使用centos7 ,默认centos7使用的python包管理器是easy_install ---当然也可以通过easy_install安装pip。所以使用如下命令搞定scrapy的安装:

easy_install  scrapy
不过安装过程可能不会像上面那么顺利,就为其还依赖一些rpm包,所以在安装前需要安装如下包:

yum install libxslt-devel  libffi libffi-devel  python-devel gcc  openssl openssl-devel
如果不事先安装以上包,可能会遇到如下的相关报错和问题

报错1:

ERROR: /bin/sh: xslt-config: command not found
** make sure the development packages of libxml2 and libxslt are installed **
解决方法yum -y install libxslt-devel 。

报错2:

Using build configuration of libxslt 1.1.28
Building against libxml2/libxslt in the following directory: /usr/lib64
src/lxml/lxml.etree.c:85:20: fatal error: Python.h: No such file or directory
 #include "Python.h"
                    ^
compilation terminated.
Compile failed: command 'gcc' failed with exit status 1
error: Setup script exited with error: command 'gcc' failed with exit status 1
缺少python-devel包,因为Python.h文件是在python-devel包中的。直接yum安装该包即可。

报错3:

removing: _configtest.c _configtest.o
c/_cffi_backend.c:13:17: fatal error: ffi.h: No such file or directory
 #include <ffi.h>
                 ^
compilation terminated.
error: Setup script exited with error: command 'gcc' failed with exit status 
centos下的报错示还是很好的,yum list|grep ffi相关的包,发现执行如下安装yum -y install libffi libffi-devel 。


pitata技术乐园 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明安装Scrapy常用出错解决方法
喜欢 (0)
[103531948@qq.com]
分享 (0)
发表我的评论
取消评论
表情 斜体

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址