This website requires JavaScript.

CDH :安装ANACONDA并使用IPython

本文环境 CDH 5.7.0  CentOS 6.5

一、安装Anaconda

根据Anaconda官方文档进行安装

二、配置IPython

Anaconda 最新版为4.0  其Python版本为2.7 ,CentOS 6.5 为2.6,因此需要替换CentOS自带的Python。

ln -s /opt/cloudera/parcels/Anaconda/bin/python /user/bin/python
在driver host 设置以下环境
$ export PYSPARK_DRIVER_PYTHON=/opt/cloudera/parcels/Anaconda/bin/ipython
$ export PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.open_browser=False --NotebookApp.ip='*' --NotebookApp.port=8880"
在所有host上设置以下环境
$ export PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda/bin/python
启动
pyspark
在浏览器中打开[http://notebook_host:8880/](http://notebook_host:8880/)

image

三、参考

在CentOS 6.X 上面安装 Python 2.7.X

0条评论
avatar