This website requires JavaScript.

CDH :安装ANACONDA并使用IPython

本文环境 CDH 5.7.0  CentOS 6.5

一、安装Anaconda

根据Anaconda官方文档进行安装

二、配置IPython

Anaco

Read more

Hadoop 性能优调

本文为Cloudera CDH 官方性能管理系列文章的翻译

Optimizing Performance in CDH

本节提供了一些性能问题的解决方案,并描述了配置的最佳实践。

重要:与您的网络管理员和硬件供应商联系以确保你有适当的网卡固件,驱动程序。并且进行恰当配置。Clo

Read more

Hadoop: HUE安装配置记录

安装教程

下载及安装方法

https://github.com/cloudera/hue

启动

默认监听本地127.0.0.1 , 其他机器无法访问,因此改为0.0.0.0

cd /usr/local/hue ./build/env/bin/hue runserver 0.0.0.0:8000

配置

官方配置文档

[http://ge

Read more

Hadoop 单机/伪分布式安装

本文安装过程参考 Hadoop – The Definitive Guide,4th Edition 附录Installing Apache Hadoop.  对其进行了翻译并增加了部署细节及修正部分小坑.

准备

装一个适当版本的Java ,可以访问Hadoop wiki 参考,看了一下最新可用的是1.7版本

yum sear

Read more

Hadoop:编译并执行MapReduce程序

本以Hadoop – The Definitive Guide,4th Edition 中第二章的 MaxTemperature为例进行讲解.

环境Hadoop 2.6.3 ,伪分布式。

一、添加Hadoop类路径

使用hadoop classpath命令可以获取Hadoop相关全部类路径。把他们添加到我们的系统变量中,这样编译java程序的时候就不需要指定类路径了。

export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLA
Read more