Linux 的输入输出重定向(转)

Author Avatar
EmptinessBoy 10月 15, 2020
  • 在其它设备中阅读本文章

本文 转载 编辑自大佬 https://aimuke.github.io/linux/2019/05/29/redirect/ 的文章

因为这两天我按照学校课程进行 Linux 实验的时候,发现教科书上说的 Linux 输入输出重定向好像根本行不通。看了各种资料,越看越稀里糊涂。直到看到这一篇,秒懂(奥力给!!)

>/dev/null 2>&1 含义

  • /dev/null :代表空设备文件
  • > :代表重定向到哪里,例如:echo "123" > /home/123.txt
  • 1 :表示stdout标准输出,系统默认值是 1,所以 >/dev/null 等同于 1>/dev/null
  • 2 :表示stderr标准错误
  • & :表示等同于的意思,2>&1,表示 2 的输出重定向等同于 1

>/dev/null 2>&1 语句含义:

  • >/dev/null : 首先表示标准输出重定向到空设备文件,也就是不输出任何信息到终端,说白了就是不显示任何信息。
  • 2>&1 :接着,标准错误输出重定向(等同于)标准输出,因为之前标准输出已经重定向到了空设备文件,所以标准错误输出也重定向到空设备文件。

shell 重定向介绍

就像我们平时写的程序一样,一段程序会处理外部的输入,然后将运算结果输出到指定的位置。在交互式的程序中,输入来自用户的键盘和鼠标,结果输出到用户的屏幕,甚至播放设备中。而对于某些后台运行的程序,输入可能来自于外部的一些文件,运算的结果通常又写到其他的文件中。而且程序在运行的过程中,会有一些关键性的信息,比如异常堆栈,外部接口调用情况等,这些都会统统写到日志文件里。

shell 脚本也一样,但是我们一般在使用 shell 命令的时候,更多地还是通过键盘输入,然后在屏幕上查看命令的执行结果。如果某些情况下,我们需要将 shell 命令的执行结果存储到文件中,那么我们就需要使用输入输出的重定向功能。

文件描述符

文件描述符是与文件输入、输出关联的整数。它们用来跟踪已打开的文件。最常见的文件描述符是 stidin、stdout、和 stderr。我们可以将某个文件描述符的内容重定向到另外一个文件描述符中。

当执行shell命令时,会默认打开3个文件,每个文件有对应的文件描述符来方便我们使用:

类型文件描述符默认情况对应文件句柄位置
标准输入(standard input)0从键盘获得输入/proc/slef/fd/0
标准输出(standard output)1输出到屏幕(即控制台)/proc/slef/fd/1
错误输出(error output)2输出到屏幕(即控制台)/proc/slef/fd/2

所以我们平时在执行 shell 命令中,都默认是从键盘获得输入,并且将结果输出到控制台上。但是我们可以通过更改文件描述符默认的指向,从而实现输入输出的重定向。比如我们将 1 指向文件,那么标准的输出就会输出到文件中。

输出描述符不指定时,默认值为 1 , 输入不指定默认为 0, 如:

command > file.txt
command 2> 
command < file

等同于

command 1> file.txt
command 2> 1
command 0< file

&> file12 都重定向到 file

输入输出重定向

输出重定向 > 和 >>

重定向操作符号有两个 >>> 。符号的左边表示文件描述符,如果没有的话表示1,也就是标准输出。符号的右边可以是一个文件,也可以是一个输出设备。

尽管这两个操作符都可以将重定向到文件,但是前者>会先清空文件,再写入内容;后者>>会将内容追加到现有文件的尾部。(对了,重定向的操作制定的文件如果原来不存在的话,重定向的操作会主动创建这个文件名的文件的)

输出重定向的使用方式很简单,基本的一些命令如下:

命令介绍
command >filename把标准输出 重定向 到新文件中
command 1>filename同上
command >>filename把标准输出 追加 到文件中
command 1>>filename同上
command 2>filename把标准错误 重定向 到新文件中
command 2>>filename把标准错误 追加 到新文件中

为了更好地理解输出重定向,感受重定向的“魅力”,我们看一下以下的例子:我们创建一个测试目录,目录下面仅有一个 1.txt 文件。

[[email protected] learn]$ echo "123456" > 1.txt
[[email protected] learn]$ ll
总用量 4
-rw-rw-r-- 1 huxiaofan huxiaofan 7 10月 15 03:22 1.txt

[[email protected] learn]$ ls 1.txt 2.txt
ls: 无法访问 '2.txt': 没有那个文件或目录
1.txt

在我们执行 ls 1.txt 2.txt 之后,一共有两种输出,其中 ls: 无法访问 2.txt:没有那个文件或目录是错误输出,1.txt是标准输出。

[[email protected] learn]$ ls 1.txt 2.txt 1> out
ls: 无法访问'2.txt': 没有那个文件或目录
[[email protected] learn]$ cat out
1.txt


[[email protected] learn]$ ls 1.txt 2.txt 1>> out
ls: 无法访问'2.txt': 没有那个文件或目录
[[email protected] learn]$ cat out
1.txt
1.txt

在上述命令中,我们将原来的标准输出重定向到了 out 文件中,所以控制台只剩下了错误提示。并且当执行了追加操作时,out 文件的内容非但没有被清空,反而又多了一条 1.txt。

同理,我们也可以将错误输出重定向到文件中:

[[email protected] learn]$ ls 1.txt 2.txt 2>> err
1.txt
[[email protected] learn]$ cat err
ls: 无法访问'2.txt': 没有那个文件或目录
[[email protected] learn]$ 


[[email protected] learn]$ ls 1.txt 2.txt 2> err > out
[[email protected] learn]$ cat out
1.txt
[[email protected] learn]$ cat err
ls: 无法访问'2.txt': 没有那个文件或目录
[[email protected] learn]$ 

看到这里,朋友们可能会发现 >out 2>err 和我们在一开头提到的 >/dev/null 2>&1 已经很像了,别急,这待会再说。

cmd > output.txt 2>&1
cmd &> output.txt
cmd >& output.txt  #三个表达式效果一样哒~

输入重定向 <

在理解了输出重定向之后,理解输入重定向就会容易得多。对输入重定向的基本命令如下:

命令介绍
command <filename以 filename 文件作为标准输入
command 0<filename同上
command <<delimiter从标准输入中读入,直到遇到 delimiter 分隔符

我们使用 < 对输入做重定向,如果符号左边没有写值,那么默认就是 0

CAT 命令简单解析

我们这次以 cat 命令为例,如果 cat 后面没有跟文件名的话,那它的作用就是将标准输入(比如键盘)回显到标准输出(比如屏幕)上:

补充:类似初学编程时的应声虫程序,你输入啥,它在屏幕上打印啥:

[[email protected] learn]$ cat
123
123
test
test

我们可以将利用输入重定向,将我们在键盘上敲入的字符写入到文件中。我们需要使用 ctrl+c 来结束输入:

[[email protected] learn]$ cat >out
123
test
^C
[[email protected] learn]$ cat out
123
test

那么<<又是什么作用呢?我们再看:

[[email protected] learn]$ cat > out << end
> aaa
> bbb
> ccc
> end
[[email protected] learn]$ cat out
aaa
bbb
ccc
[[email protected] learn]$ 

我们看到,当我们输入完cat >out <<end,然后敲下回车之后,命令并没有结束,此时cat命令像一开始一样,等待你给它输入数据。然后当我们敲入end之后,cat命令就结束了。end之前输入的字符都已经被写入到了out文件中。这就是输入分割符的作用。

CAT 演示输出重定向

好了,此时我们觉得自己在键盘上敲比较累,还是直接让 cat 读取一个文件吧。那么我们需要利用输入重定向:

# 先清空 out 文件
[[email protected] learn]$ echo > out
[[email protected] learn]$ cat out

[[email protected] learn]$ echo -e  "123\n456\n789" > input
[[email protected] learn]$ cat input
123
456
789
[[email protected] learn]$ cat < input > out
# 其实这一步效果相当于把 input 文件作为输入,输入到 cat 里,再输出到 out 文件
[[email protected] learn]$ cat out
123
456
789
[[email protected] learn]$ 

神奇的事情发生了,out文件里面的内容被替换成了input文件里的内容。

高级用法

重定向绑定

好了,在有了以上知识的基础上,我们再来看开头提到的 >/dev/null 2>&1。这条命令其实分为两命令,一个是 >/dev/null,另一个是 2>&1

  • >/dev/null

    这条命令的作用是将标准输出 1 重定向到 /dev/null 中。/dev/null 代表linux的空设备文件,所有往这个文件里面写入的内容都会丢失,俗称“黑洞”。那么执行了 >/dev/null 之后,标准输出就会不再存在,没有任何地方能够找到输出的内容。

  • 2>&1

    这条命令用到了重定向绑定,采用 & 可以将两个输出绑定在一起。这条命令的作用是错误输出将和标准输出同用一个文件描述符,说人话就是错误输出将会和标准输出输出到同一个地方。

linux 在执行shell命令之前,就会确定好所有的输入输出位置,并且从左到右依次执行重定向的命令,所以 >/dev/null 2>&1 的作用就是让标准输出重定向到 /dev/null中(丢弃标准输出),然后错误输出由于重用了标准输出的描述符,所以错误输出也被定向到了 /dev/null 中,错误输出同样也被丢弃了。执行了这条命令之后,该条shell命令将不会输出任何信息到控制台,也不会有任何信息输出到文件中

nohup结合

我们经常使用 nohup command &命令 形式来启动一些后台程序,比如一些 java 服务:

# nohup java -jar xxxx.jar &

为了不让一些执行信息输出到前台(控制台),我们还会加上刚才提到的 >/dev/null 2>&1 命令来丢弃所有的输出:

# nohup java -jar xxxx.jar >/dev/null 2>&1 &

辨析

>file 2>&12>&1 >file 的区别

再回到文章的开头,我说我弄反了 >file2>&1 拼装的顺序,导致出了一点小问题。乍眼看这两条命令貌似是等同的,但其实大为不同。刚才提到了,linux 在执行 shell 命令之前,就会确定好所有的输入输出位置,并且从左到右依次执行重定向的命令。那么我们同样从左到右地来分析 2>&1 >file

  • 2>&1,将错误输出绑定到标准输出上。由于此时的标准输出是默认值,也就是输出到屏幕,所以错误输出会输出到屏幕。

  • >file,将标准输出1重定向到file中。

我们用一个表格来更好地说明这两条命令的区别:

命令标准输出错误输出
>file 2>&1filefile
2>&1 >filefile屏幕

>file 2>&1>file 2>file 区别

那么可能会有些同学会疑问,为什么要用重定向绑定,而不是像 >file 2>file 这样子重复一遍呢。

为了回答这个问题,我们回到刚才介绍输出重定向的场景。我们尝试将标准输出和错误输出都定向到out文件中:

[[email protected] learn]$ ls 1.txt 2.txt >out 2>out

[[email protected] learn]$ cat out
a.txt
�法访问b.txt: 没有那个文件或目录

WTF?竟然出现了乱码,这是为啥呢?这是因为 采用这种写法,标准输出和错误输出会抢占往 out 文件的管道,所以可能会导致输出内容的时候出现缺失、覆盖等情况。现在是出现了乱码,有时候也有可能出现只有 error 信息或者只有正常信息的情况。不管怎么说,采用这种写法,最后的情况是无法预估的。

而且,由于 out 文件被打开了两次,两个文件描述符会抢占性的往文件中输出内容,所以整体 IO 效率不如 >file 2>&1 来得高。

原因分析

首先 > file 2>file 的意思是将命令所产生的标准输出信息,和错误的输出信息送到file 中。> file 2>file 这样的写法,stdout 和 stderr都直接送到 file 中,file 会被打开两次,这样 stdout 和 stderr 会互相覆盖,这样写相当使用了 FD1 和 FD2 两个同时去抢占file 的管道。

>file 2>&1 这条命令就将 stdout 直接送向 file, stderr 继承了 FD1 管道后,再被送往 file。此时,file 只被打开了一次,也只使用了一个管道 FD1,它包括了 stdout 和 stderr 的内容。

从 IO 效率上,前一条命令的效率要比后面一条的命令效率要低,所以在编写 shell 脚本的时候,较多的时候我们会 command > file 2>&1 这样的写法。

为何 2>&1 要写在后面?

command > file 2>&1 

首先是 command > file 将标准输出重定向到file中, 2>&1 是标准错误拷贝了标准输出的行为,也就是同样被重定向到file中,最终结果就是标准输出和错误都被重定向到file中。

command 2>&1 >file 

2>&1 标准错误拷贝了标准输出的行为,但此时标准输出还是在终端。>file 后输出才被重定向到file,但标准错误仍然保持在终端。

用strace可以看到:

  1. command > file 2>&1 这个命令中实现重定向的关键系统调用序列是:
    open(file) == 3 
    dup2(3,1) 
    dup2(1,2)
  2. command 2>&1 >file 这个命令中实现重定向的关键系统调用序列是:
    dup2(1,2) 
    open(file) == 3 
    dup2(3,1)
    可以考虑一下不同的 dup2() 调用序列会产生怎样的文件共享结构。请参考APUE 3.10, 3.12

小问题

接着本文的场景,下面命令,错误输出会输出到什么地方呢?同学们可以在评论区留言回答哦~

# ls a.txt b.txt 2>&1 >/dev/null 2>&1

/dev/null

/dev/null 是一个特殊的设备文件,这个文件接收到的任何数据都会被丢弃。因此,null这个设备通常也被成为位桶(bit bucket)或黑洞。

《linux shell脚本攻略》
简单地理解就是,重定向操作给这个 /dev/null 文件的所有东西都会被丢弃。

因为这些文件描述符输出的字符串,总是会显示出来的。如果我们在 shell 编程的时候,操作到某一条命令的返回结果,我们不想要这个时候又不想让这个输出结果打印到屏幕上(打印错误,多不好看对不对 ^_^)我们就可以重定向到 /dev/null 这个文件来,由 /dev/null 这个文件负责处理后事。这个丢弃的结果又不能粗暴的认为是删除错误输出,这个操作是一个丢弃重定向输入输出的操作。

形象地理解就是,ATM 机打印的纸质流水账单(stdout和stderr)本来应该你来保存处理的,但是你又没有用放在手里(打印屏幕)又碍事,所以账单从你的手里重新被丢到了垃圾桶(/dev/null)了。但是,垃圾桶的垃圾是怎么处理的你是不知道的。

不知道上面的描述,答主是不是能明白这三个知识点了?只要理解了上面的三个点,其实答主的第三个问题很好滴能解决了。

让一个变量获得命令输出的结果,是下面这样的处理:

i=$(ls 123.txt)

这样,i 就能获得命令 ls 123.txt 输出的标准输出。错误提示(标准错误)依然会打印到屏幕上显示。

i=$(ls 123.txt 2> /dev/null)

这样的命令,ls 命令如果出现了错误提示,就会被重定向到 /dev/null 垃圾桶去了。所以,屏幕上不会打印任何输出关于错误的提示字符。在这个命令的操作中,i 获得文件 stdout 标准输出,也就是文件述符1的屏幕输出结果” 123.txt “。

如果,这个 123.txt 文件不存在,i 就肯定什么都拿不到,因为错误提示被 /dev/null 吃了(划掉),被重定向丢弃了屏幕也不显示错误提示。所以,i 就是个什么都没有的空变量。基本就是如下效果一样:

i=''

存在的意义:

/dev/null> file 的意义在与 要输出到的文件不会被删除就可以进行清空。如果你通过删除后在新建一个文件的方式来清空的话,可能由于权限的原因不能被删除获取新建。还有可能在你刚删除文件后,另外一个程序就需要读取这个文件,这时就会出现错误。

关闭文件描述符

Chapter 20. I/O Redirection

n<&-
Close input file descriptor n.

0<&-, <&-
Close stdin.

n>&-
Close output file descriptor n.

1>&-, >&-
Close stdout.

总结

本文主要介绍了linux重定向的原理以及一些基本命令,并且详细地分析了 >/dev/null 2>&1 这个命令以及一些注意点。

总而言之,平时用到最多的就是 nohup command >/dev/null 2>&1 & 命令

此处保留原作者参考文献:

This blog is under a CC BY-NC-ND 4.0 Unported License
本文链接:https://coding.emptinessboy.com/2020/10/Linux-%E7%9A%84%E8%BE%93%E5%85%A5%E8%BE%93%E5%87%BA%E9%87%8D%E5%AE%9A%E5%90%91%EF%BC%88%E8%BD%AC%EF%BC%89/