进程最大打开文件描述符数：user limit中nofile的soft limit 登录系统查看 $ ulimit –n 在配置项里改成linux系统的这个值 ...
hbase
hbase
kafka
kafka-manager安装
参考： http://www.cnblogs.com/yinchengzhe/p/5126360.html 启动：Kafka Web Console 占用了9000端口 改...
ELK
使用Hive读写ElasticSearch中的数据
去官网下载 elasticsearch-hadoop-5.1.1 解压把把elasticsearch-hadoop-5.1.1.jar包放在了/etc/hive目录下面(放到一个存在的目...
Linux/Unix
Linux中搭建一个ftp服务器
安装ftp #rpm -qa vsftpd 查看是否已经安装 #yum install -y vsftpd #service vsftpd start 相关配...
hbase
hbase批量删除表数据
背景： hbase的删除功能比较弱，只能单行删除，而且必须指定rowkey。 遇到问题： 今天遇到一个需求，用户导入了大量错误的数据，数据的rowkey开头都是110102，需要删除这些垃圾记录，用h...
hive
mysql与hive sql 对比
mysql hsql DATE_SUB(current_date(),INTERVAL 1 day) date_add(current_date(),1) MYSQL IF...
hadoop
Job Browser 显示提交的时间不对
解决： HUE的时区问题 Cloudera Manager中有关hue的时区的设置，默认为American/LosAngeles,这个时区设置使得hue oozie das...
hive
hive性能优化
使用分区剪裁、列剪裁 正确的写法是条件写在ON后面 或者直接写成子查询 合理使用Union All 对同一张表的union all 要比多重insert快的多，原因是hiv...
hbase
强制删除Hbase表导致hbase起不来
hbase master 找不到那张表，启动时验证通不过 解决方法：删除zk下的 /hbase 重启就好了
大数据
安装azkaban &&用户权限配置
用2.x版 够用就行。 Azkaban－开源任务调度程序 ，安装参考：http://www.jianshu.com/p/cc680380ca34 ...
