This website requires JavaScript.

重新编译Cloudera Apache Spark并加入官方未支持的模块

都说开源的软件坑多,事实上的确如此,折腾了好几天才编译出来=。= ,给大家伙儿分享下过程,本文采用Vagrant导入一个预配置好的CentOS 7编译环境进行CDH Spark的源码编译。

总体可以按照https://github.com/teamclairvoyant/vagrant-sparkbuilder的说明进行操作,注意事项如下:

Vagr

Read more

Spark交互式开发平台Zeppelin部署

搭建Zeppelin主要还是为了使用SparkR,过程如下,供各位参考。

安装过程

安装编译环境

yum install git
yum install java-1.8.0-openjdk-devel
yum install nodejs npm

安装Maven Ensure node is installed by running node --version Ensure maven is running versi

Read more

Visual Studio Code 使用插件及设置

VS Code的使用记录

插件

Regex Previewer

markdownlint 如果要屏蔽某个规则,可以在项目根目录下创建`.ma

Read more

AWK 技巧

过滤记录

比较运算符 ==,!=, >, <, >=, <=

# 下面过滤条件为:第三列的值为0 && 第6列的值为LISTEN
awk '$3==0 && $6=="LISTEN" ' netstat.txt
awk ' $3>0 {print $0}' netstat.txt
# 引入的内建变量
awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt
# 格式化输出,跟 C 语言一样
awk '$3==0 && $6=="LISTE
Read more

[译]SSRS 报表版本控制

问题

如今商务智能应用广泛,对我们的商业愈加重要. 对新报表和的各种需求不断攀升. 自 SQL Server 2008 R2的 Reporting Services (SSRS) 开始,微软视图为减轻IT团队的工作量,推出了报表工具 Report Builder 3.0.  在此之前建立复杂的报表必须用BIDS (就是 Visual Studio ,2012以后叫SSDT).现在报表都可以用 BIDS或者Report Builder建立. 因为可以使用两个工具创建修改的关系. 报表的版本控制愈

Read more