致敬我的2021
2021年,似乎比往常消逝的快一些。 这年,是步入社会的第三年,时间真的很快,还没做好准备,它便从指缝中流走。 2021年的春节,见证了姐姐订婚。同时也在2021年的年末,见证了姐姐的婚礼。 转眼,离家已经有七年了,从开始的寒暑假回家,到现在的春节、国庆才回家,感觉那个家是这么近,却也那么远。 也就是在今年,迎来了职业生涯的第一次晋升成为科长。虽然…
FastDFS 安装部署
安装相关工具 (以 CentOS为例) # 安装编译环境 yum install -y gcc-c++ perl libfastcommon (FastDFS使用的依赖库) 下载源码 # 使用 git clone 下载 git clone https://github.com/happyfish100/libfastcommon.git # 或者使…
[Ambari] 使用Ambari2.7.4.0安装HDP3.1.4大数据集群
虚拟机环境准备 笔者这里使用了三台虚拟机用于安装大数据集群,系统是CentOS 7.5,三台虚拟机未接入互联网。配置机的安装配置过程这里就不多作解释了。 三台虚拟机配置: cpu: 各6个虚拟核 内存: 各8G 磁盘: 系统盘30G,未分配数据盘(调试任务用,无大批量数据存储需求) hostname ip ambari01 192.168.100.…
Maven混合编译scala和java语言,可以同时相互调用
最近项目遇到scala和java混合编译的问题,项目中同时有java调用scala和scala调用java,编译时出问题,网上找了好多教程,很多都不能同时相互调用,而且还不能使用通用的 mvn clean compile进行编译。 无意中发现了一个可以混合调用并且使用mvn clean compile编译的配置方法,只需在pom的build中添加如…
2019,希望你依旧能够真诚待我
2018的最后一个小时即将走到尽头,2019年即将到来。 2018这一年里,有高兴的事,难过的事,快乐的事,伤心的事。 为了迎接新的一年,也应朋友的提议,给博客换了一个主题,也有点不舍,毕竟前一个主题也是用心修改过的。 博客也迁移到了百度云的服务上,之前的腾讯学生服务器因毕业也不能用了,寄居在香港服务器上,又嫌速度大慢。 细数2018年发生的事情中…
为WordPress添加MarkDown语法支持
最近挺喜欢MarkDown语法,发再WordPress原生不支持MarkDown语法。 WordPress从来就不缺插件,于是开始找插件,一个一个试试,最终决定用WP Editor.md这个插件. 插件说明 设置页面简单展示 编辑界面 使用MarkDown的优点 让你专注于文字内容,而不是排版和样式问题,而且样式非常美观 大部分Markdown工具…
[Spark] 从字符串创建StructType
    在使用Spark开发的过程中,DataFrame是经常使用的一个数据类型,它比RDD有了更加高级的API,更高的执行效率。     然而,某些情况下,经需要将一个RDD转换为DataFrame,这一步经常需要生成一个StructType来生成DataFrame的schema。直接生成StructTyp…
[Spark] Scala集合类详解
    Spark常用Scala语言进行开发,Spark中的RDD处理过程中,经常会与Scala集合进行互相转换。 首先,盗一张图来说明Scala集合类的继承关系 Scala集合类的继承关系 由上图可知,Scala中集合主要分为三大类: 1. Seq,是一组有序的元素。  2. Set,是一组没有重复元素的集合。  3. Map,是一组k-v对。 …
[Spark]Zookeeper3.4.12和Kafka1.0.0的安装及配置
    Spark程序的开发,难免会迁涉到Kafka的有关内容,而Kafka的运行又依赖于Zookeeper。 Zookeeper的安装与部署     官网下载的Kafka程序包里面已经包含的一个Zookeeper程序,在这些文章中,我们没有使用它,而是使用了独立的Zookeeper程序。 先去官网下载Zoo…
[Spark]Spark2.1.0与Hadoop2.7.5的集群安装及配置
    工作快两个月了,已经大半年没有更新了,决定继续更新博客。续更的第一个系列将会是与目前工作相关Spark系列。第一篇就从Spark的安装与配置开始。 集群的准备 要搭建Spark集群环境,首先要准备集群。笔者这里使用了三台机器,都为debian8系统。 三台机的信息如下: 172.30.232.140 master 172…