hdfs判断active节点 ifactive=`sudo -u hdfs hdfs haadmin -getServiceState namenode320`echo $...
hadoop
hadoop
脚本语言
日期循环
Js日期循环 var now = new Date(); var daysOfYear = []; for (var d = new Date(2018, 0, 1); d...
大数据
mongodb 执行带参数js
$ cat addthem.js printjson( param1 + param2 ); $ ./mongo --eval "var param1=7, param2=8" addth...
脚本语言
js 获取当天凌晨的时间戳，几天前凌晨的时间戳
// 获取当天 0 点的时间戳 var timeStamp = new Date(new Date().setHours(0, 0, 0, 0)) / 1000; // 一天是86400秒 故 7 天...
编程工具
给服务器notepad++添加右键菜单
notepad.reg Windows Registry Editor Version 7.00 [HKEY_CLASSES_ROOT\*\Shell\NotePad++] [HKEY_...
hive
hive处理json和数组数据
-- 处理json数据create table tmp.rca_t_module_his_1 asselect get_json_object(moduleinputstr,'$.user_id') ...
spark
打印Spark RDD中的top n 内容
一、方法 take、top、takeOrdered rdd.collect().foreach {println} rdd.take(10).foreach { println...
hive
impala同步元数据使用原则
invalidate metadata操作比refresh要重量级 如果涉及到表的schema改变，使用invalidate metadata [table] 如果只是涉及到表的数据改变，使用refr...
hadoop
hadoop集群提高磁盘 IO 的效率、提升文件系统的性能。
默认的方式下linux会把文件访问的时间atime做记录，文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间；这在绝大部分的场合都...
hadoop
hadoop集群tmp目录许多DATANODE* .hprof文件
在Linux下执行 jps 是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有...
