在使用Spark开发的过程中，DataFrame是经常使用的一个数据类型，它比RDD有了更加高级的API，更高的执行效率。     然而，某些情况下，经需要将一个RDD转换为DataFrame，这一步经常需要生成一个StructType来生成DataFrame的schema。直接生成StructTyp…

    Spark常用Scala语言进行开发，Spark中的RDD处理过程中，经常会与Scala集合进行互相转换。 首先，盗一张图来说明Scala集合类的继承关系 Scala集合类的继承关系 由上图可知，Scala中集合主要分为三大类： 1. Seq，是一组有序的元素。  2. Set，是一组没有重复元素的集合。  3. Map，是一组k-v对。 …

    Spark程序的开发，难免会迁涉到Kafka的有关内容，而Kafka的运行又依赖于Zookeeper。 Zookeeper的安装与部署     官网下载的Kafka程序包里面已经包含的一个Zookeeper程序，在这些文章中，我们没有使用它，而是使用了独立的Zookeeper程序。 先去官网下载Zoo…

    工作快两个月了，已经大半年没有更新了，决定继续更新博客。续更的第一个系列将会是与目前工作相关Spark系列。第一篇就从Spark的安装与配置开始。 集群的准备 要搭建Spark集群环境，首先要准备集群。笔者这里使用了三台机器，都为debian8系统。 三台机的信息如下： 172.30.232.140 master 172…

笔者用的系统是win10，所以这里介绍的方法是基于win10的，至于其它系统配置方法类似。下载安装OpenCV首先，我们先到OpenCV官网http://opencv.org/downloads.html 下载3.1版本的安装包。然后双击安装包，进行安装，其实也就是解压。选定目录为我们要解压到的目录，之后点Extract.配置OpenCV…

shell中也可以在一个文件中包含另一个文件，将其中的内容合并到当前文件。用法如下：. file或者使用sourse file注意，第一个命令.之后有空格。被包含的文件可以不需在执行权限。使用如下：第一个文件为url.shurl=" https://182.254.208.137"第二个文件为main.sh：#!/bi…

在shell中调用函数时，可以向其传递有关参数。传递的参数在函数中，通过$n来调用，即第1个参数为$1，第2个为$2，依此类推。函数的声明和不带参数的函数定义相同。如：func() {  echo ${1}  echo ${2}  ... }注意，最好使用标准的变量表示法，否则$10不能获取第10个…

函数可以让我们将一个复杂功能划分成若干模块，让程序结构更加清晰，代码重复利用率更高。像其他编程语言一样，Shell 也支持函数。Shell 函数必须先定义后使用。一般定义格式如下：fun() {  commands  return value }上述语句定义一个名为fun的函数，它的作用是执行里面的命令。也可以在函数名…

在循环过程中，有时候需要在未达到循环结束条件时强制跳出循环，像大多数编程语言一样，Shell也使用 break 和 continue 来跳出循环。 break命令break命令允许跳出所有循环（终止执行后面的所有循环）。 下面的例子中，脚本进入死循环直至用户输入数字大于5。要跳出这个循环，返回到shell提示符下，就要使用break命令。#!/bi…

和while非常相似，也是判断一个条件，然后决定是否执行循环体。不过，until和while不同，until是如果成立则跳出循环体。一般格式如下：until <条件> do  command done此程序会一直执行，直到条件成立。如：#!/bin/bash var=0 until [ !&nbs…