N63044-第三周
第五天
五、文本处理工具和正则表达式
1、基本正则表达式(53分钟)
2、基本正则表达式和扩展正则表达式(50分钟)
3、文本处理三剑客之grep(43分钟)
4、shell脚本编程基础知识(14分钟)
5、shell脚本编程基础(48分钟)
6、shell脚本编程关于变量(62分钟)
7、shell脚本编程特殊变量和脚本安全(42分钟)
8、shell脚本编程算术运算(48分钟)
第六天
六、文本处理和shell编程基础
1、shell脚本编程逻辑运算和条件测试(55分钟)
2、shell脚本编程条件判断和条件组合(53分钟)
3、shell脚本编程条件判断If和case(52分钟)
4、shell脚本编程for循环(57分钟)
5、yum的私有仓库和内核升级(52分钟)
6、文件打包和压缩(48分钟)
6、文件打包和压缩(59分钟)
第三周
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数,并将用户都显示出来
[root@centos8 ~]# grep -v "/sbin/nologin" /etc/passwd|cut -d: -f1,7|sort|uniq -c
1 halt:/sbin/halt
1 root:/bin/bash
1 rooter:/bin/bash
1 shutdown:/sbin/shutdown
1 sync:/bin/sync
1 wang:/bin/bash
2、查出用户UID最大值的用户名、UID及shell类型
[root@centos8 ~]# cut -d: -f1,3,7 /etc/passwd|sort -t: -k2 -nr |head -n1
nobody:65534:/sbin/nologin
3、统计当前连接本机的每个远程主机IP的连接数,并按从大到小排序
[root@centos8 ~]# ss -nt|grep -v '^State'|grep -oE '([0-9]{1,3}\.){3}[0-9]{1,3}:[0-9]+ *$'|grep -oE '([0-9]{1,3}\.){3}[0-9]{1,3}'|sort |uniq -c
2 10.0.0.1
1 10.0.0.102
1 10.0.0.103
1 10.0.0.104
4、编写脚本disk.sh,显示当前硬盘分区中空间利用率最大的值
[root@centos8 scripts]# cat disk.sh
RED="\E[1;31m"
GREEN="echo -e \E[1;32m"
END="\E[0m"
$GREEN----------------------------------$END
echo -e "硬盘分区利用率最大值:`df|grep '^/dev/sd'|tr -s ' ' %|cut -d% -f5|sort -n|tail -1` $END"
$GREEN----------------------------------$END
[root@centos8 scripts]# ./disk.sh
----------------------------------
硬盘分区利用率最大值:21
----------------------------------
5、编写脚本 systeminfo.sh,显示当前主机系统信息,包括:主机名,IPv4地址,操作系统版本,内核版本,CPU型号,内存大小,硬盘大小
[root@centos8 scripts]# cat systeminfo.sh
RED="\E[1;31m"
GREEN="echo -e \E[1;32m"
END="\E[0m"
$GREEN-------------------HOST systeminfo---------------------$END
echo -e "HOSTNAME: $RED`hostname`$END"
echo -e "IPADDR: $RED`ifconfig eth0|grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' |head -n1`$END"
echo -e "OSVERSION: $RED`cat /etc/redhat-release`$END"
echo -e "KERNEL: $RED`uname -r`$END"
echo -e "CPU: $RED`lscpu|grep 'Model name'|tr -s ' '|cut -d: -f2`$END"
echo -e "MEMORY: $RED`free -h|grep Mem|tr -s ' ' : |cut -d: -f2`$END"
echo -e "DISK: $RED`lsblk |grep '^sd' |tr -s ' ' |cut -d " " -f4`$END"
$GREEN-------------------------------------------------------$END
[root@centos8 scripts]# ./systeminfo.sh
-------------------HOST systeminfo---------------------
HOSTNAME: centos8.magedu.org
IPADDR: 10.0.0.101
OSVERSION: CentOS Linux release 8.3.2011
KERNEL: 4.18.0-240.el8.x86_64
CPU: Intel(R) Core(TM) i5-4590 CPU @ 3.30GHz
MEMORY: 1.9Gi
DISK: 200G
-------------------------------------------------------
6、20分钟内通关vimtutor
可参考 https://yyqing.me/post/2017/2017-02-22-vimtutor-chinese-summary
6.1 vi和vim简介
6.2 使用vim初步
6.2.1 vim命令格式
vim [OPTION]... FILE...
常用选项
+# 打开文件后,让光标处于第#行的行首,+默认行尾
+/PATTERN 让光标处于第一个被PATTERN匹配到的行行首
-b file 二进制方式打开文件
-d file1 file2… 比较多个文件,相当于 vimdiff
-m file 只读打开文件
-e file 直接进入ex模式,相当于执行ex file
-y file Easy mode (like "evim", modeless),直接可以操作文件,ctrl+o:wq|q! 保存和不保存退出
[root@centos8 scripts]# vi +2 disk.sh
[root@centos8 scripts]# vi + disk.sh
[root@centos8 scripts]# vim -b disk.sh
[root@centos8 scripts]# vim -m disk.sh
[root@centos8 scripts]# vim -e disk.sh
[root@centos8 scripts]# vim -y disk.sh #需按ctrl+o退出
[root@centos8 scripts]# vim -d disk.sh systeminfo.sh
2 files to edit
说明:
如果该文件存在,文件被打开并显示内容
如果该文件不存在,当编辑后第一次存盘时创建它
6.2.2 三种主要模式和转换
vim 是 一个模式编辑器,击键行为是依赖于 vim的 的“模式”
三种常见模式:
- 命令或普通(Normal)模式:默认模式,可以实现移动光标,剪切/粘贴文本
- 插入(Insert)或编辑模式:用于修改文本
- 扩展命令(extended command )或命令(末)行模式:保存,退出等
- 命令模式 --> 插入模式
i insert, 在光标所在处输入
I 在当前光标所在行的行首输入
a append, 在光标所在处后面输入
A 在当前光标所在行的行尾输入
o 在当前光标所在行的下方打开一个新行
O 在当前光标所在行的上方打开一个新行
- 插入模式 — ESC-----> 命令模式
- 命令模式 ---- : ----> 扩展命令模式
- 扩展命令模式 ----ESC,enter----> 命令模式
范例: 插入颜色字符
1 切换至插入模式
2 按ctrl+v+[ 三个键,显示^[
3 后续输入颜色信息,如:^[[32mhello^[[0m
4 切换至扩展命令模式,保存退出
5 cat 文件可以看到下面显示
6.3 扩展命令模式
按“:”进入Ex模式 ,创建一个命令提示符: 处于底部的屏幕左侧
6.3.1 扩展命令模式基本命令
w 写(存)磁盘文件
wq 写入并退出
x 写入并退出
X 加密
q 退出
q! 不存盘退出,即使更改都将丢失
r filename 读文件内容到当前文件中
w filename 将当前文件内容写入另一个文件
!command 执行命令
r!command 读入命令的输出
6.3.2 地址定界
格式:
:start_pos,end_pos CMD
6.3.2.1 地址定界格式
# #具体第#行,例如2表示第2行
#,# #从左侧#表示起始行,到右侧#表示结尾行
#,+# #从左侧#表示的起始行,加上右侧#表示的行数,范例:2,+3 表示2到5行
. #当前行
$ #最后一行
.,$-1 #当前行到倒数第二行
% #全文, 相当于1,$
/pattern/ #从当前行向下查找,直到匹配pattern的第一行,即:正则表达式
/pat1/,/pat2/ #从第一次被pat1模式匹配到的行开始,一直到第一次被pat2匹配到的行结束
#,/pat/ #从指定行开始,一直找到第一个匹配pattern的行结束
/pat/,$ #向下找到第一个匹配patttern的行到整个文件的结尾的所有行
6.3.2.2 地址定界后跟一个编辑命令
d #删除
y #复制
w file #将范围内的行另存至指定文件中
r file #在指定位置插入指定文件中的所有内容
6.3.3 查找并替换
格式
s/要查找的内容/替换为的内容/修饰符
说明:
要查找的内容:可使用基本正则表达式模式
替换为的内容:不能使用模式,但可以使用\1, \2, ...等后向引用符号;还可以使用“&”引用前面查找时查找到的整个内容
修饰符:
i #忽略大小写
g #全局替换,默认情况下,每一行只替换第一次出现
gc #全局替换,每次替换前询问
查找替换中的分隔符/可替换为其它字符,如:#,@
范例:
s@/etc@/var@g
s#/boot#/#i
6.3.4 定制vim的工作特性
扩展命令模式的配置只是对当前vim进程有效,可将配置存放在文件中持久保存
配置文件:
/etc/vimrc #全局
~/.vimrc #个人
6.3.4.1 行号
显示:set number,简写 set nu
取消显示:set nonumber, 简写 set nonu
6.3.4.2 忽略字符的大小写
启用:set ignorecase,简写 set ic
不忽略:set noic
6.3.4.3 自动缩进
启用:set autoindent,简写 set ai
禁用:set noai
6.3.4.4 复制保留格式
启用:set paste
禁用:set nopaste
6.3.4.5 显示Tab ^I和换行符 和$显示
启用:set list
禁用:set nolist
6.3.4.6 高亮搜索
启用:set hlsearch
禁用:set nohlsearch 简写:nohl
6.3.4.7 语法高亮
启用:syntax on
禁用:syntax off
6.3.4.8 文件格式
启用windows格式:set fileformat=dos
启用unix格式:set fileformat=unix
简写 set ff=dos|unix
6.3.4.9 Tab 用空格代替
启用:set expandtab 默认为8个空格代替Tab
禁用:set noexpandtab
简写:set et
6.3.4.10 Tab用指定空格的个数代替
启用:set tabstop=# 指定#个空格代替Tab
简写:set ts=4
6.3.4.11 设置缩进宽度
#向右缩进 命令模式>>
#向左缩进 命令模式<<
#设置缩进为4个字符
set shiftwidth=4
6.3.4.12 设置文本宽度
set textwidth=65 (vim only) #从左向右计数
set wrapmargin=15 #从右到左计数
6.3.4.13 设置光标所在行的标识线
启用:set cursorline,简写 set cul
禁用:set nocursorline
6.3.4.14 加密
启用: set key=password
禁用: set key=
6.3.4.15 了解更多
:help option-list
:set or :set all
6.4 命令模式
命令模式,又称为Normal模式,功能强大,只是此模式输入指令并在屏幕上显示,所以需要记忆大量的快捷按键才能更好的使用
6.4.1 退出VIM
ZZ 保存退出
ZQ 不保存退出
6.4.2 光标跳转
字符间跳转:
h: 左
L: 右
j: 下
k: 上
#COMMAND:跳转由#指定的个数的字符
单词间跳转:
w:下一个单词的词首
e:当前或下一单词的词尾
b:当前或前一个单词的词首
#COMMAND:由#指定一次跳转的单词数
当前页跳转:
H:页首
M:页中间行
L:页底
zt:将光标所在当前行移到屏幕顶端
zz:将光标所在当前行移到屏幕中间
zb:将光标所在当前行移到屏幕底端
行首行尾跳转:
^ 跳转至行首的第一个非空白字符
0 跳转至行首
$ 跳转至行尾
行间移动:
#G 或者扩展命令模式下
:# 跳转至由第#行
G 最后一行
1G, gg 第一行
句间移动:
) 下一句
( 上一句
段落间移动:
} 下一段
{ 上一段
命令模式翻屏操作
Ctrl+f 向文件尾部翻一屏,相当于Pagedown
Ctrl+b 向文件首部翻一屏,相当于Pageup
Ctrl+d 向文件尾部翻半屏
Ctrl+u 向文件首部翻半屏
6.4.3 字符编辑
x 剪切光标处的字符
#x 剪切光标处起始的#个字符
xp 交换光标所在处的字符及其后面字符的位置
~ 转换大小写
J 删除当前行后的换行符
6.4.4 替换命令(replace)
r 只替换光标所在处的一个字符
R 切换成REPLACE模式(在末行出现-- REPLACE -- 提示),按ESC回到命令模式
6.4.5 删除命令(delete)
d 删除命令,可结合光标跳转字符,实现范围删除
d$ 删除到行尾
d^ 删除到非空行首
d0 删除到行首
dw
de
db
#COMMAND
dd: 剪切光标所在的行
#dd 多行删除
D:从当前光标位置一直删除到行尾,等同于d$
6.4.6 复制命令(yank)
y 复制,行为相似于d命令
y$
y0
y^
ye
yw
yb
#COMMAND
yy:复制行
#yy 复制多行
Y:复制整行
6.4.7 粘贴命令(paste)
p 缓冲区存的如果为整行,则粘贴当前光标所在行的下方;否则,则粘贴至当前光标所在处的后面
P 缓冲区存的如果为整行,则粘贴当前光标所在行的上方;否则,则粘贴至当前光标所在处的前面
6.4.8 改变命令(change)
命令 c 删除后切换成插入模式
c$
c^
c0
cb
ce
cw
#COMMAND
cc #删除当前行并输入新内容,相当于S
#cc
C #删除当前光标到行尾,并切换成插入模式,相当于c$
6.4.9 查找
/PATTERN:从当前光标所在处向文件尾部查找
?PATTERN:从当前光标所在处向文件首部查找
n:与命令同方向
N:与命令反方向
6.4.10 撤消更改
u 撤销最近的更改,相当于windows中ctrl+z
#u 撤销之前多次更改
U 撤消光标落在这行后所有此行的更改
Ctrl-r 重做最后的“撤消”更改,相当于windows中crtl+y
. 重复前一个操作
#. 重复前一个操作#次
6.4.11 高级用法
常见Command:y 复制、d 删除、gU 变大写、gu 变小写
范例:
0y$ 命令
0 → 先到行头
y → 从这里开始拷贝
$ → 拷贝到本行最后一个字符
范例:粘贴“wang”100次
100iwang [ESC]
di" 光标在” “之间,则删除” “之间的内容
yi( 光标在()之间,则复制()之间的内容
vi[ 光标在[]之间,则选中[]之间的内容
dtx 删除字符直到遇见光标之后的第一个 x 字符
ytx 复制字符直到遇见光标之后的第一个 x 字符
6.5 可视化模式
**在末行有”-- VISUAL – “指示,表示在可视化模式
允许选择的文本块
- v 面向字符,-- VISUAL –
- V 面向整行,-- VISUAL LINE –
- ctrl-v 面向块,-- VISUAL BLOCK –
可视化键可用于与移动键结合使用
w ) } 箭头等
突出显示的文字可被删除,复制,变更,过滤,搜索,替换等
范例:在文件指定行的行首插入#**
1、先将光标移动到指定的第一行的行首
2、输入ctrl+v 进入可视化模式
3、向下移动光标,选中希望操作的每一行的第一个字符
4、输入大写字母 I 切换至插入模式
5、输入 #
6、按 ESC 键
范例:在指定的块位置插入相同的内容
1、光标定位到要操作的地方
2、CTRL+v 进入“可视 块”模式,选取这一列操作多少行
3、SHIFT+i(I)
4、输入要插入的内容
5、按 ESC 键
6.6 多文件模式
vim FILE1 FILE2 FILE3 ...
:next 下一个
:prev 前一个
:first 第一个
:last 最后一个
:wall 保存所有
:qall 不保存退出所有
:wqall保存退出所有
6.7 多窗口模式
6.7.1 多文件分割
vim -o|-O FILE1 FILE2 ...
-o: 水平或上下分割
-O: 垂直或左右分割(vim only)
在窗口间切换:Ctrl+w, Arrow
6.7.2 单文件窗口分割
Ctrl+w,s:split, 水平分割,上下分屏
Ctrl+w,v:vertical, 垂直分割,左右分屏
ctrl+w,q:取消相邻窗口
ctrl+w,o:取消全部窗口
:wqall 退出
6.8 vim的寄存器
有26个命名寄存器和1个无命名寄存器,常存放不同的剪贴版内容,可以在同一个主机的不同会话(终
端窗口)间共享
寄存器名称a,b,…,z,格式: ”寄存器 放在数字和命令之间
范例:
3"tyy 表示复制3行到t寄存器中 ,末行显示`3 lines yanked into "t`
"tp 表示将t寄存器内容粘贴
未指定,将使用无命名寄存器
有10个数字寄存器,用0,1,…,9表示,0存放最近复制内容,1存放最近删除内容。当新的文本变更和删除时,1转存到2,2转存到3,以此类推。数字寄存器不能在不同会话间共享
6.9 标记和宏(macro)
ma 将当前位置标记为a,26个字母均可做标记, mb 、 mc 等等
'a 跳转到a标记的位置,实用的文档内标记方法,文档中跳跃编辑时很有用
qa 录制宏 a,a为宏的名称,末行提示: recording @a
q 停止录制宏
@a 执行宏 a
@@ 重新执行上次执行的宏
6.10 编辑二进制文件
#以二进制方式打开文件
vim -b binaryfile
#扩展命令模式下,利用xxd命令转换为可读的十六进制
:%!xxd
#切换至插入模式下,编辑二进制文件
#切换至扩展命令模式下,利用xxd命令转换回二进制
:%!xxd -r
#保存退出
6.11 帮助
:help
:help topic
Use :q to exit help
vimtutor