摘要: 我是一个MySQL小白 第一回早起装扮 “mysql,Oracle,SQL-SERVER你们三个 起床没?”,清晨七点多师父喊道。 “师父,我(mysql)哪敢睡觉呀,我还在查询表呢,有客户的密码忘记了,要我查一下回复他”,我自顾不暇地回答着师父。 “那你赶紧快一点,一会收拾一下,我要领你们几个去一阅读全文
posted @ 2018-07-29 11:16 马小纪 阅读(1352) 评论(10) 编辑
摘要: kafka阅读全文
posted @ 2018-11-13 19:12 马小纪 阅读(8) 评论(0) 编辑
摘要: 第一步 在虚拟机上面 扩容(扩展VMWare硬盘空间) 2. 对新增加的硬盘进行分区、格式化 [root@localhost]# fdisk /dev/sda p 查看已分区数量(我看到有两个 /dev/sda1 /dev/sda2) n 新增加一个分区 p 分区类型我们选择为主分区 分区号选3(因阅读全文
posted @ 2018-11-13 18:56 马小纪 阅读(1) 评论(0) 编辑
摘要: map是对每个元素操作, mapPartitions是对其中的每个partition操作 mapPartitionsWithIndex : 把每个partition中的分区号和对应的值拿出来, 看源码 val func = (index: Int, iter: Iterator[(Int)]) =>阅读全文
posted @ 2018-11-09 11:42 马小纪 阅读(4) 评论(0) 编辑
摘要: Spark笔记 1. flatMap和map的区别 map函数会对每一条输入进行指定的操作,然后每一条输入返回一个对象; flatMap函数则是两个操作的集合,即先映射再扁平化: i.同map函数一样,对每一条输入进行指定的操作,然后为每一条输入返回一个对象; ii.然后将所有对象合并成一个对象。 阅读全文
posted @ 2018-11-09 10:13 马小纪 阅读(147) 评论(2) 编辑
摘要: Windows 虚拟机网络网络编辑 centos DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesNETMASK=255.255.255.0IPADDR=192.168.33.110DNS1=192.168.33.1GATEWAY=192.168阅读全文
posted @ 2018-11-06 10:46 马小纪 阅读(5) 评论(0) 编辑
摘要: 第一步:修改IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 删除UUID 删除MAC地址 修改IP 第二步 删除网卡内容 rm -rf /etc/udev/rules.d/70-persistent-net.rules 第三步 :mac地址不要和之前虚阅读全文
posted @ 2018-08-14 10:25 马小纪 阅读(11) 评论(0) 编辑
摘要: 最近工作比较清闲 整理一套CDH的安装集锦 欢迎大家共同学习交流 零:准备 JDK https://download.csdn.net/download/cand_yh/10375789 CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel http://archive.clo阅读全文
posted @ 2018-08-14 09:57 马小纪 阅读(46) 评论(0) 编辑
摘要: 我是一个MySQL小白 第一回早起装扮 “mysql,Oracle,SQL-SERVER你们三个 起床没?”,清晨七点多师父喊道。 “师父,我(mysql)哪敢睡觉呀,我还在查询表呢,有客户的密码忘记了,要我查一下回复他”,我自顾不暇地回答着师父。 “那你赶紧快一点,一会收拾一下,我要领你们几个去一阅读全文
posted @ 2018-07-29 11:16 马小纪 阅读(1352) 评论(10) 编辑
摘要: 第一回 新入环境 我的名字是hadoop,我一出生我的爸爸雅虎就给我取了这样一个名字:hadoop,我也不知道为什么叫这个名字,刚出生没多久,雅虎爸爸就把我领进一个黑暗的屋子里面,屋里堆满了黑色的箱子,里面出奇的冷. 我一脸懵懂,“爸爸,这是哪里?” “不要着急,马上你就会明白了,听爸爸的话,进去之阅读全文
posted @ 2018-07-27 09:36 马小纪 阅读(402) 评论(0) 编辑
摘要: 当reduce执行完成后的输出,跟map端无reduce时的输出一样。直接输出。 Class < ?extendsShuffleConsumerPlugin > clazz = job.getClass(MRConfig.SHUFFLE_CONSUMER_PLUGIN, Shuffle.class,阅读全文
posted @ 2017-11-17 19:41 马小纪 阅读(98) 评论(0) 编辑
博聚网