3. Bash 소개

기본적인 bash shell 사용법에 대해 다룸. 아주 중요하고 기본이 되는 내용임.

Bash 란?

Bourne Again Shell. Linux 관리 도구.

Shell: 운영체제에 작업을 수행하도록 명령하는 프로그램

shell에 명령어 입력, 실행, 스크립트 사용하여 명령 일괄 처리 가능. csh, zsh 등이 있지만 bash가 거의 linux 표준이 됨. 왜냐? linux는 unix 기반인데, unix 최초 shell인 Bourne shell(sh라고도 함)과 bash가 호환되기 때문. bash는 기본적으로 제공되는 명령, 외부 프로그램 호출 기능 등의 고유 기능이 있음.

bash는 간편함. Unix 디자인 철학이 기준이 되기 때문. Unix의 디자인 철학이 뭐냐?

• 프로그램은 한 가지 작업을 처리함
• 프로그램은 함께 작동함
• 프로그램은 텍스트 스트림을 UI로 사용함 (CLI 사용)

마지막이 핵심임. Unix, Linux에서는 파일이 가장 중요함. 입출력이 키보드, 디스크 파일, 소켓, 파이프 등 상관없이 동일한 명령 사용할 수 있다는 뜻임 (??)

Bash 기본 사항

Bash 구문은 다음과 같음.

command [options] [arguments]

bash 명령어는 모두 위의 구조임. 명령어 - 옵션 - 인자 순으로 인식함. options, arguments는 선택사항임.

ls 명령어로 현재 작업 중인 디렉토리의 내용을 표시함. 현재 폴더에 뭐 있는지 표시한다는 뜻임.

ls

위는 명령어만 있는건데 인자가 올 수도 있음. 다른 디렉토리의 내용물들을 보려면 어케하냐?

ls /etc

/etc 디렉토리 내용물을 출력하게 됨. 하지만 .gitignore 처럼 .으로 시작하거나 숨김 파일이나… 이런 경우에는 ls 명령어로 안보임. 이를 위해 -a 플래그(옵션)를 추가하면 됨.

ls -a /etc

파일의 권한이나 크기 뭐 그런거까지 더 자세히 보고싶다? 그러면 -l 플래그 붙이면 됨. 이 경우에는 옵션이 -a, -l 두 개의 옵션이니까.. 이 둘을 -al 처럼 합칠 수 있음.

ls -al /etc

도움말 보기

옵션과 인자는 명령에 따라 전부 다름. 어떤 명령어에 어떤 옵션이 있는지 다 외울 수는 없음. 그럴 때는 man(manual) 명령어로 도움말을 볼 수 있음. mkdir(make directory) 명령어에 대한 도움말은 다음과 같이 볼 수 있음.

man mkdir

man 명령어는 명령의 작동 방식을 이해할 수 있음. --help 는 명령어의 옵션, 인자를 알 수 있는 옵션임. 대부분의 명령어가 가지는 옵션임. 그럼 아까 mkdir 명령어에 어떤 옵션이 있는지는 어케 아냐? 걍 mkdir --help 하면 됨 ㅇㅇ

Usage: mkdir [OPTION]... DIRECTORY...
Create the DIRECTORY(ies), if they do not already exist.
    
Mandatory arguments to long options are mandatory for short options too.
  -m, --mode=MODE   set file mode (as in chmod), not a=rwx - umask
  -p, --parents     no error if existing, make parent directories as needed
  -v, --verbose     print a message for each created directory
  -Z                   set SELinux security context of each created directory
                         to the default type
      --context[=CTX]  like -Z, or if CTX is specified then set the SELinux
                         or SMACK security context to CTX
      --help     display this help and exit
      --version  output version information and exit
    
GNU coreutils online help: <http://www.gnu.org/software/coreutils/>
Report mkdir translation bugs to <http://translationproject.org/team/>
Full documentation at: <http://www.gnu.org/software/coreutils/mkdir>
or available locally via: info '(coreutils) mkdir invocation'

대충 이렇게 출력됨. --help 옵션은 man 보다 더 간결함.

와일드카드 사용

와일드카드는 “하나 이상의 문자”를 나타내는 기호임. 주로 * 많이 씀. 예를 들어 PNG 파일만 표시하려면 아래와 같이 씀.

ls *.png

리눅스는 파일 확장자에 대한 개념이 없기에 위 명령어는 딱히 특별한 의미는 없음..

PNG 말고 JPG or JPEG 찾으려면?

ls *.jpg *.jpeg

아래 처럼 할 수도 있다.

ls *.jp*g

와일드카드 *는 “0개 이상의 일치하는 문장” 와일드카드 ?는 “단일 문자”

ls 000?.jpg

대괄호 []를 사용하여 필터링 할 수도 있다. 아래는 “확장자가 소문자 j 또는 p로 시작하는 파일”을 필터링하는 방법이다.

ls *.[jp]*

리눅스는 대소문자를 구분하기 때문에 “확장자가 j, p, J, P로 시작하는 파일”을 찾는법은 다음과 같다.

ls *.[jpJP]*

문자 범위도 나타낼 수 있다.

ls [a-z]*

ls [a-zA-Z]*

ls [0-9]*

근데 와일드카드 *가 아니라 문자로 쓰고싶으면? 역슬래시(이스케이프)를 앞에 붙이면 된다.

ls \*.*

Bash 명령 및 연산자

Bash 명령

ls

디렉토리 내용 나열. -a: 숨김 파일 포함하여 출력 -l: 자세한 내용 출력 (권한, 소유자, 크기, 수정시간, 파일/디렉토리명)

ls -al

cat

파일 내부의 내용 확인. 텍스트 파일이 아니라면 문제가 생길 수 있음.

cat /etc/os-release

위 명령어의 경우 “실행중인 리눅스 배포판”에 대한 정보를 출력함.

/etc 디렉토리는 특수 디렉토리임. 시스템 구성 파일이 포함되니 삭제하지 말 것.

sudo

관리자 권한으로 실행. 슈퍼 사용자 권한으로 로그인하지 않아도 관리자 권한으로 명령 실행 가능. sudo = “super user do”

sudo cat ~./zshrc

cd, mkdir, rmdir

cd: “change directory” cd ..: 상위 디렉토리로 이동 cd ~: 홈 디렉토리로 이동

cd Downloads

mkdir: “make directory”

mkdir tempDir

하위 디렉토리와 그 하위의 디렉토리 여러개를 만들기 위해 --parents 플래그 사용.

mkdir --parents tempDir/test

현재 폴더에 tempDir 폴더가 만들어지고, 그 안에 test 폴더가 만들어짐.

rmdir: (디렉토리가 빈 경우) 디렉토리 삭제. rm: “remove”. 파일/디렉토리 삭제. rm -r: (비어있지 않은) 디렉토리 삭제.

rm

rm: “remove” rm *: 현재 디렉토리의 모든 파일 삭제 -i 옵션으로 삭제 전 확인 가능. rm -rf / 명령어는 걍 싹 다 지우니까 쓰지 마라. (recursion remove) -f 옵션은 강제 삭제. 하지마라. 내용이 있는 디렉토리 삭제 가능.

cp

cp: 파일 또는 디렉토리(와 하위 디렉토리) 복사.

cp 1.jpg 2.jpg

1.jpg를 복사해서 2.jpg라는 이름의 복사본을 만든다. 이미 2.jpg 라는 이름의 파일이 있다면 자동으로 덮어쓰게 되니 주의. -i 옵션을 추가한다면 “기존 파일을 삭제하게 될 경우” 경고 표시함. 더 좋음.

cp -i 1.jpg 2.jpg

여러 파일을 한번에 복사하는 것도 가능함. 아까 배운 와일드카드 써먹으면 됨.

cp * photo

위는 현재 디렉토리 모든 파일을 복사해 photo라는 폴더에 넣음. 만약 photo 디렉토리 내부 모든 파일을 img 폴더로 이동시키려면?

cp photo/* img

이렇게 하면 됨 ㅇㅇ 근데 이건 img 디렉토리가 이미 존재한다는 가정 하에 가능함. 만약 없다면? 디렉토리를 만들고 복사하려면?

cp -r photo img

-r 플래그는 ‘recursive’ 라는 뜻. 재귀적임. photo안에 하위 디렉토리가 있으면 img 폴더로도 복사된다는 뜻.

ps

ps: 현재 실행중인 프로세스 출력. 근데 너무 많으니까 말이 안됨. -e 플래그를 포함하면 진짜 모든 프로세스 출력함. -ef 플래그로 더 포괄적인 확인 가능. 모든 프로세스의 이름, PID, PPID, 시작시간(STIME) 표시함. 연결된 터미널, CPUTIME 등을 표시함.

UID         PID   PPID  C STIME TTY          TIME CMD
root          1      0  0 13:35 ?        00:00:03 /sbin/init
root          2      0  0 13:35 ?        00:00:00 [kthreadd]
root          3      2  0 13:35 ?        00:00:00 [rcu_gp]
root          4      2  0 13:35 ?        00:00:00 [rcu_par_gp]
root          5      2  0 13:35 ?        00:00:00 [kworker/0:0-cgr]
root          6      2  0 13:35 ?        00:00:00 [kworker/0:0H-kb]
root          8      2  0 13:35 ?        00:00:00 [mm_percpu_wq]
root          9      2  0 13:35 ?        00:00:01 [ksoftirqd/0]
root         10      2  0 13:35 ?        00:00:02 [rcu_sched]

ps aux 명령어도 이와 같은 식으로 사용할 수 있음. 이는 ps -ef와 동일함. Unix라고 다 같은건 아님.

• POSIX Unix
  • ex) Linux
  • -ef 사용
• BSD Unix
  • ex) Mac
  • aux 사용

Unix 기반 운영체제는 일반적으로 이 둘 중 하나를 허용함. 이처럼 규칙에는 많은 예외가 있기 때문에 좀 자세히 봐야 함.

w

w: “who” 서버에 있는 사용자 확인. 사용자 이름, IP주소, 로그인 시간 등 표시. sysadmin(관리자)에게 유용함.

Bash I/O 연산자

Bash 명령 + 옵션에 I/O 연산자까지 결합해보자.

• <: 키보드 이외 원본으로 입력 리디렉션
• >: 화면 이외 대상으로 출력 리디렉션
• >>: >와 동일한 작업을 수행하되 덮어쓰지 않고 추가
• |: 한 명령의 출력을 다른 명령어의 입력으로 파이핑(pipeline)

예를 들어.. “현재 디렉토리에 있는 항목을 나열하여 listing.txt에 출력” :

ls > listing.txt

listing.txt가 미리 있는 경우에는 덮어쓰기 해버림.

ls >> listing.txt

listing.txt가 미리 있는 경우에는 “listing.txt의 맨 앞에 추가”됨.

파이핑 연산자 |는 자주 사용됨. 앞 명령어의 출력을 뒷 명령어의 입력으로 redirection 함.

예를 들어, 실행중인 모든 프로세스를 보려 한다 하자. 근데 모든 프로세스면 엄청 많으니 보기 힘들잖음? more 명령어로 파이핑해서 쉽게 보면 됨. more 명령어는 텍스트 파일을 한 화면씩 읽을 수 있게 해줌.. 그리고 읽기 전용임.

ps -ef | more

head 명령어를 써서 처음 몇 줄만 나오게 표시할 수도 있음.

ps -ef | head

“daemon” 이라는 단어를 포함하는 것만 필터링하려면? grep 명령어를 사용하면 됨. grep daemon 명령어로 원하는 글자만 포함되는걸 가져올 수 있음.

ps -ef | grep daemon

파일을 입력으로 쓸 수도 있음. 원래 표준 입력은 키보드로 하지만 리디렉션 될 수도 있음. < 명령어로 키보드 대신 파일에서 입력 가져오게 하면 됨. 일반적으로 sysadmin 작업 중 하나는 파일의 내용 정렬인데.. 텍스트를 정렬하는 sort 명령어를 써보자.

sort < file.txt

file.txt를 입력으로 받아 정렬 내용을 출력함. 이 출력을 새 파일에 저장하려면??

sort < file.txt > softed_file.txt

요래요래 하면 된다… 이처럼 I/O 연산자를 사용해 필요에 따라 Linux 명령을 체이닝 할 수 있음. 예를 들어..

cat file.txt | fmt | pr | lpr

cat 명령어의 출력이 fmt로 이동, fmt의 출력이 pr로 이동함. 참고로 fmt는 결과 형식을 간단한 단락으로 지정하고, pr은 결과에 페이지를 매김. lpr은 페이지 매긴 출력을 프린터로 보냄. 모든 출력이 한 줄에 포함되게 된다. 걍 그런갑다 하면 된다. 중요한건 | 명령어로 파이프라이닝 할 수 있다는 거니까.

연습 - Bash 사용

Cloud Shell 숙지

Cloud Shell에 접속하여 ls 명령어로 디렉토리 내용을 출력해보자. 아래와 같이 출력될거다.

yourname@Azure:~$ ls
clouddrive

clouddrive: 현재 디렉토리의 하위 디렉토리 Cloud Shell 사용할 때 제공되는 파일 공유 드라이브가 이거임.

이제 현재 디렉토리를 pwd(print working directory) 명령어로 알아보자. 아래와 같은 출력이 나올거임.

yourname@Azure:~$ pwd
/home/yourname

linux 파일 시스템 루트에서 home 이라는 디렉토리 안에 yourname 이라는 디렉토리에 사용자가 있음. 아무튼 현재 디렉토리에는 별 내용이 없어보임. ls -a 명령어로 숨겨진걸 보자.

yourname@Azure:~$ ls -a
.  ..  .azure  .bash_history  .bash_logout  .bashrc  clouddrive  .profile  .tmux.conf  .viminfo

.: 현재 디렉토리 ..: 상위(부모) 디렉토리 위 둘은 기본적으로 출력됨.

.bash_history: shell에 입력하는 모든 명령이 저장되는 특수 Bash 파일. .bash_logout: 로그인 shell이 있을 때 마다 읽히고 실행되는 특수 Bash 파일. super user는 이 파일을 수정하여 환경을 사용자 지정할 수 있다. .bashrc: 새 shell을 시작할 때 마다 실행되는 중요 Bash 구성 파일. 잘못 건드렸다가 큰일날 수 있으니 주의할 것.

이전 기록 불러오기, 자동 완성 명령

복잡한 명령어 입력하면 실수할 수 있음. 이거 막기 위해 Bash shell에서 몇 가지 기능 제공함.

명령 불러오기

1. 오타가 있는 경우 아래 명령 입력

   ls -a .azure/commands/203?*.log

2. 아래와 같이 출력된다면 위 패턴과 맞는 파일이 없다는 뜻임.
	```bash
	ls: cannot access '.azure/commands/203?*.log': No such file or directory

3. 실수했으면 다시 입력하지 말고 위 화살표와 아래 화살표로 불러올 수 있음.

자동 완성

cat 명령어로 파일 내용 출력 가능함. 보통 아래 처럼 쓰지?

cat .azure/commands/2020-01-29.21-56-35.login.103.log

근데 복잡해서 실수할 수 있으니 자동완성 써보자. 아래 처럼 써보셈 일단.

cat .a

그리고 tab키 누르면 .azure/가 뜨며 자동완성 됨. 시작 부분만 입력하고 tab키 누르면 된다는 뜻. 애매한 경우에는 아무것도 안된다.

man 사용

만약 cat 명령어를 잘 모르면 man 명령어로 도움말을 얻자.

CAT(1)                                       User Commands                                       CAT(1)
 
NAME
       cat - concatenate files and print on the standard output
 
SYNOPSIS
       cat [OPTION]... [FILE]...
 
DESCRIPTION
       Concatenate FILE(s) to standard output.
 
       With no FILE, or when FILE is -, read standard input.
 
       -A, --show-all
              equivalent to -vET
 
       -b, --number-nonblank
              number nonempty output lines, overrides -n
 
       -e     equivalent to -vE
 
...

화살표로 이동하고 q로 종료하면 됨.

디렉토리 변경

cd ~ 명령어로 올바른 위치(홈 디렉토리)로 이동하자. pwd 명령어로 현재 디렉토리를 다시 확인하자. 참고로 ~는 홈 디렉토리를 참조하는 특수문자임. 로그 파일이 있는 디렉토리로 변경하려면..

cd .azure/commands/

상위(부모) 디렉토리인 .azure로 이동하려면 cd .. 명령어 사용.

연습 - 잘못 동작하는 프로세스 종료

오류떠서 프로세스 중단되면 ps, grep, kill 명령어로 중지 가능함.

잘못 동작하는 프로세스 시작

중지시키려면 중단할 프로세스가 필요함. 일단 vi로 파일을 만들어보자.

vi bad.py

vi는 리눅스의 텍스트 편집기이다. 사용법은 구글링해보자.

i = 0
while i == 0:
	pass

(일부러 무한루프 프로그램 만들었음)

명령어를 백그라운드에서 실행하도록 명령어를 입력하자. 명령 끝에 &를 입력하면 백그라운드에서 실행됨.

python3 bad.py &

아무튼 우리는 잘못된 프로세스를 하나 만든거임.

프로세스 종료

프로세스를 종료하려면 프로세스 이름이나 PID 를 알아야 함. ps 명령어로 실행중인 프로세스를 출력하고 python이라는 이름을 가진 것을 가져오자.

ps -ef | grep python

yourname+    342    254 99 23:34 pts/1    00:00:31 python3 bad.py
yourname+    344    254  0 23:35 pts/1    00:00:00 grep --color=auto python

이렇게 출력될거임. bad.py는 CPU의 99%를 사용하는걸로 나옴.

kill 명령어는 PID 기준 실행중인 프로세스를 종료함. killall 명령어는 프로세스 이름 기준으로 종료함.

kill -l 명령어로 시그널 목록 출력해보자. kill 명령어는 프로세스에 특정한 시그널을 보내서 프로세스를 종료시킴. 이 시그널 중 어떤 시그널이 있는지 확인하려면 -l 명령어를 붙이면 됨. 대충 아래 처럼 목록이 출력됨.

 1) SIGHUP       2) SIGINT       3) SIGQUIT       4) SIGILL  
 5) SIGTRAP      6) SIGABRT      7) SIGBUS        8) SIGFPE  
 9) SIGKILL     10) SIGUSR1     11) SIGSEGV      12) SIGUSR2 
13) SIGPIPE     14) SIGALRM     15) SIGTERM      16) SIGSTKFLT 
...

각각 프로세스 다시 로드/종료, 인터럽트 신호, 종료 요청, 강제 종료 등등 많음. 이 예제의 경우 9번에 해당되는 SIGKILL 명령어가 맞음. 따라서 ps -ef의 출력에서 bad.py의 PID를 가져와 프로세스를 종료해야 함.

kill -9 PROCESS_ID

kill -s SIGKILL PROCESS_ID로 입력할 수도 있음. 시그널 이름을 사용할지, 시그널 번호를 사용할지는 맘대로 하면 됨.

이렇게 종료했으면 ps 명령어로 실행종료됐는지 확인해봐라. 아무튼, ps와 kill의 용도는 잘못 남겨진 프로세스인 ‘좀비 프로세스’를 식별, 종료하는거다.

Bash, grep으로 CLI 출력 필터링

미 서부에서 사용 가능한 Azure VM의 크기 목록을 보려면 다음과 같이 입력.

az vm list-sizes --location westus --output table

VM 목록이 출력될건데.. 원하는 크기의 VM으로 범위를 좁히려면 grep을 쓰자. 크기가 DS(데이터 과학에서 자주 사용됨)인 것들을 찾으려면..

az vm list-sizes --location westus --output table | grep DS

여전히 VM이 많음. 범위를 더 좁히자..

az vm list-sizes --location westus --output table | grep DS.*_v2

이런식으로 필터링 하면 됨.