linux文本处理常用命令

Posted on Disqus:

linux文本处理常用命令

grep

  • 基础筛选关键字
1
grep "error" log.txt
  • 忽略大小写
1
grep -i "error" log.txt
  • 显示行号
1
grep -n "fail" log.txt
  • 递归搜索目录
1
grep -r "OCPP" ./
  • 反选（排除）
1
grep -v "DEBUG" log.txt
  • 显示匹配行的前后上下文
1
grep -C 5 "ERROR" log.txt     # 前后各5行
  • 统计匹配次数
1
grep -c "ERROR" log.txt
  • 只打印匹配部分（提取字段/ID）
1
grep -o "ID=[0-9]\+" log.txt
  • 使用扩展正则（少打反斜杠）
1
grep -E "ERROR|WARN" log.txt
  • 精确匹配整词（避免误匹配）
1
grep -w "fail" log.txt
  • 固定字符串匹配
    -F 避免输入的文本被当做正则表达式进行解析：
1
grep -F "literal.text[1]" log.txt

sed

  • 字符串替换（全局）
1
sed 's/old/new/g' file.txt
  • 只替换第3行
1
sed '3s/old/new/' file.txt
  • 删除空行
1
sed '/^$/d' file.txt
  • 删除第1到5行
1
sed '1,5d' file.txt
  • 原地修改文件（谨慎使用）
1
sed -i 's/foo/bar/g' file.txt
  • 带备份的原地替换（更安全）
1
sed -i.bak 's/foo/bar/g' file.txt
  • 打印第 N 行
1
sed -n '10p' file.txt
  • 只替换首次出现（每行仅第1个）
1
sed 's/foo/bar/' file.txt
  • 去掉行尾空白
1
sed 's/[[:space:]]\+$//' file.txt

awk

  • 按列输出
1
awk '{print $1,$3}' file.txt
  • 指定分隔符（CSV）
1
awk -F, '{print $2}' data.csv
  • 条件过滤
    筛选出“第3列大于100”的所有行并输出:
1
awk '$3 > 100 {print}' file.txt
  • 统计行数
1
awk 'END{print NR}' file.txt
  • 求和统计
    把第2列所有数字加起来，最后输出总和：
1
awk '{sum+=$2} END{print sum}' data.txt
  • 打印行号 + 整行
1
awk '{print NR, $0}' file.txt
  • 指定输出分隔符
1
awk 'BEGIN{OFS=","} {print $1,$3}' file.txt
  • 按条件统计行数
1
awk '$3>100 {cnt++} END{print cnt}' file.txt
  • 求平均值
1
awk '{sum+=$2; n++} END{if(n>0) print sum/n; else print 0}' data.txt

cut

  • 按空格切列
1
cut -d' ' -f1 file.txt
  • 按冒号分隔
    只显示使用冒号分割的内容的第一列：
1
cut -d: -f1 /etc/passwd
  • 提取第2到4列
1
cut -d',' -f2-4 data.csv
  • 按字符位置截取
    截取每一行的第 1 到第 10 个字符并输出：
1
cut -c1-10 file.txt
  • 输出“除了第1列之外”的剩余列
1
cut -d, -f2- data.csv

sort

  • 默认排序
    默认排序规则：每行数据，从第1个字符开始比较，按字符的ASCII码顺序，逐字符比较
1
sort file.txt
  • 数字排序
1
sort -n data.txt
  • 反向排序
1
sort -r file.txt
  • 去重排序
1
sort -u file.txt
  • 按指定列排序（指定分隔符+列范围）
    按逗号分列，先按第2列排序（字符串），如果第2列相同，再按第3列做数字排序：
    -t, 表示用逗号作为分隔符
    -k2,2 表示用 第2列 → 第2列 作为排序键，即按第2列排序
    -k3,3n 表示用 第3列 → 第3列 作为排序键，即按第3列排序，并且做数字排序
1
sort -t, -k2,2 -k3,3n data.csv
  • 指定分隔符/按指定列排序
    用冒号分列，从第 2 列开始，一直到最后一列，作为排序键，并按数字排序：
    -t: 表示用冒号作为分隔符
    -n 表示数字排序
1
sort -t: -k2,2n log_data.txt

假设文本内容是:

1
2
3
4
DataType: 2
TotalCount: 127
TotalPages: 3
CurrentPage: 0

排序之后的结果是：

1
2
3
4
CurrentPage: 0
DataType: 2
TotalPages: 3
TotalCount: 127
  • 使用稳定排序（多关键字排序时建议）
1
sort -s -k1,1 -k2,2n file.txt

uniq

  • 去重（需先排序）
1
sort file.txt | uniq
  • 统计重复次数
1
sort file.txt | uniq -c
  • 只显示重复行
1
sort file.txt | uniq -d
  • 只显示唯一行（不重复的行）
1
sort file.txt | uniq -u

wc

  • 统计行数
1
wc -l file.txt
  • 统计单词数
1
wc -w file.txt
  • 统计字符数
1
wc -c file.txt

tail

  • 查看最后10行
1
tail file.txt
  • 实时查看日志
1
tail -f log.txt
  • 查看最后100行
1
tail -n 100 log.txt
  • 从第 N 行开始输出到末尾
1
tail -n +100 file.txt
  • 查看前10行
1
head file.txt
  • 查看前50行
1
head -n 50 file.txt

tr

  • 小写转大写
1
echo abc | tr a-z A-Z
  • 删除指定字符
1
tr -d '\r' < file.txt
  • 压缩重复字符
    把连续出现的多个空格，压缩成一个空格：
1
tr -s ' ' < file.txt
  • 统一 Windows 换行符
1
tr -d '\r' < file.txt > file_unix.txt
  • 替换 Tab 为单个空格
1
tr '\t' ' ' < file.txt