git

下载仓库：git clone xxx.git

查看远程分支：git branch -a

查看本地分支：git branch

切换分支：git checkout -b 分支名 origin/分支名 

更新：git pull

提交: git add.

         git commit -m balabala

         git push

 

hadoop

查看hdfs目录：hadoop fs -ls xxxx

查看bug日志：yarn logs -applicationId application_1591783893175_8387 > log

下载文件：hadoop fs -get /xxxxxx

查看文件内容前几行：hadoop fs -text /xxxxxx | head -5

查看目录所有子目录大小：hadoop fs -du xxxxx

移动目录： hadoop fs -mv xxxx1  xxxx2

删除目录：hdfs dfs -rm -r -f xxxx  用sh脚本删除！！！！

杀死yarn进程：yarn application -kill

 

SQL

查看sql：

mysql -u用户 -P端口号 -h主机地址 -p密码

切换表： use xxxx

 

linux

暂停进程：ctrl+z

查看进程：jobs -l

运行：fg bg

杀死进程：kill %num

静默运行：nohup command > output 2>&1 &

cmd跳到行首： ctrl+a

行尾：ctrl+e

复制机器2到机器3：scp -r /mnt/storage00/dengyong/DeepCluster_exp/DeepCluster/models/40661/ jssz-admodel-02:/mnt/storage00/guxi/scripts/

awk -F '\t' '{print $2}' | grep 2 | wc -l

 

vim

翻页 ctrl+f，ctrl+b

跳到最后：shift+g

搜索：/搜索的字符串+回车，n下一个匹配N上一个匹配

 

tmux

前缀：^a

新建窗口：tmux

退出窗口：d

进入上一次使用的窗口：tmux a

进入指定窗口：tmux a -t xxx

查看所有窗口：tmux ls

重命名：，

查看配置：~/.tmux.conf

关闭：tmux kill-session -t

 

mpi

杀掉进程： qdel xxx

 

其他

linux目录：/mnt/storage00/guxi

Hadoop目录：/department/buss_product/guxi

airflow任务放置目录：/mnt/storage00/airflow/share/dags/guxi

airflow仓库放置目录：/mnt/storage00/airflow/share/scripts

python3：py37 or /mnt/storage00/chenjiawei/tools/miniconda3/bin/python

训练特征模型方法：1 加特征 2 刷特征 3 训练

 

检查mysql数据：

select val from lau_algorithm_parameter_config where target_id=1397200 and function_type="OcpxTwoStageTruncate(cvr)"/"ResourceTypeTruncate(ctr)" limit 10;