anydragon

mac, linux, aws, c, c++, mysql, mssql, redis, csharp, nodejs, rust, golang

리눅스 서버 성능 모니터링 명령어 정리 (top, vmstat, ps, iostat, sar, tcpdump 등)

서버가 느려졌을 때 디스크, CPU·메모리, 네트워크 중 어디가 병목인지 찾는 데 쓰는 명령어와 도구를 정리했다.

1. top – 실시간 프로세스 현황

CPU, 메모리를 많이 쓰는 프로세스를 실시간으로 보여 준다. 기본 3초마다 갱신된다.

키	기능
`P / M`	CPU 사용량 순 / 메모리 사용량 순으로 정렬
`t`	CPU 요약 줄 표시 방식 바꾸기
`m`	메모리 요약 줄 표시 방식 바꾸기
`1`	CPU 코어별로 나눠 보기
`f`	표시할 항목과 정렬 기준 고르기
`r`	renice (우선순위 변경)
`k`	kill (프로세스 종료)
`z`	컬러 / 흑백 전환

2. vmstat – 프로세스, 메모리, 스왑, I/O, CPU

vmstat 3        # 3초마다 출력
vmstat -m       # 커널 slab 메모리 사용량
vmstat -a       # 활성 / 비활성 메모리

vmstat 3 # 3초마다 출력

vmstat -m # 커널 slab 메모리 사용량

vmstat -a # 활성 / 비활성 메모리

r(실행 대기 프로세스)가 CPU 코어 수보다 계속 많으면 CPU 병목, si/so(스왑 입출력)가 0 이 아니면 메모리 부족, wa(I/O 대기)가 높으면 디스크 병목을 의심한다.

3. w – 로그인한 사용자와 하는 일

w
w username

1 2	w w username

4. uptime – 가동 시간과 평균 부하

$ uptime
 18:02:41 up 41 days, 23:42,  1 user,  load average: 0.00, 0.00, 0.00

1 2	$ uptime 18:02:41 up 41 days, 23:42, 1 user, load average: 0.00, 0.00, 0.00

load average 는 1분, 5분, 15분 평균이다. CPU 코어 수보다 작으면 여유가 있고, 코어 수를 계속 넘으면 대기하는 작업이 쌓이고 있다는 뜻이다. 코어 수는 nproc 으로 확인한다.

5. ps – 프로세스 목록

ps -ef                  # 전체 프로세스
ps aux                  # 사용자, CPU%, 메모리% 포함
ps -AlF                 # 자세히 (실행 인자 포함)
ps -AlFH                # 스레드까지
ps axjf                 # 트리 형태 (pstree 도 같음)
ps -U vivek -u vivek u  # 특정 사용자의 프로세스
ps -C lighttpd -o pid=  # 이름으로 PID 찾기 (pgrep lighttpd 와 같음)
ps -p 55977 -o comm=    # PID 로 이름 찾기

ps aux --sort=-%mem | head -10   # 메모리 많이 쓰는 10개
ps aux --sort=-%cpu | head -10   # CPU 많이 쓰는 10개

ps -ef # 전체 프로세스

ps aux # 사용자, CPU%, 메모리% 포함

ps -AlF # 자세히 (실행 인자 포함)

ps -AlFH # 스레드까지

ps axjf # 트리 형태 (pstree 도 같음)

ps -U vivek -u vivek u # 특정 사용자의 프로세스

ps -C lighttpd -o pid= # 이름으로 PID 찾기 (pgrep lighttpd 와 같음)

ps -p 55977 -o comm= # PID 로 이름 찾기

ps aux --sort=-%mem | head -10 # 메모리 많이 쓰는 10개

ps aux --sort=-%cpu | head -10 # CPU 많이 쓰는 10개

출력 항목은 -o 로 고른다. (예: ps -eo pid,user,pcpu,pmem,stat,comm)

6. free – 메모리 사용량

free -h

free -h

리눅스는 남는 메모리를 캐시로 쓰기 때문에 free 값이 작아도 문제가 아니다. 실제로 쓸 수 있는 양은 available 열을 본다.

7. iostat – CPU 와 디스크 I/O

iostat -x 2     # 2초마다 장치별 상세 통계

1	iostat -x 2 # 2초마다 장치별 상세 통계

%util 이 100% 에 가깝거나 await(평균 대기 시간)이 크면 디스크가 병목이다. (sysstat 패키지)

8. sar – 시스템 활동 기록과 조회

sar 4 5             # 4초 간격으로 5번 CPU 사용량
sar -n DEV | more   # 네트워크 인터페이스 통계
sar -r              # 메모리

sar 4 5 # 4초 간격으로 5번 CPU 사용량

sar -n DEV | more # 네트워크 인터페이스 통계

sar -r # 메모리

sysstat 수집을 켜 두면 지난 기록도 조회할 수 있어서, 문제가 났던 시간대의 상태를 나중에 확인할 때 쓴다.

9. mpstat – CPU 별 사용량

mpstat -P ALL 2

1	mpstat -P ALL 2

특정 코어 하나만 100% 이면 단일 스레드 프로그램이 병목인 경우가 많다.

10. pmap – 프로세스 메모리 지도

pmap -d 47394

1	pmap -d 47394

마지막 줄의 mapped(매핑된 전체), writeable/private(그 프로세스만 쓰는 양), shared(다른 프로세스와 공유하는 양)를 보고 메모리를 실제로 얼마나 쓰는지 판단한다.

11. ss, netstat – 네트워크 연결

ss -tulpn      # 열려 있는 포트와 프로세스
ss -s          # 소켓 요약
netstat -tulpn # 같은 내용 (예전 명령, net-tools 패키지)

ss -tulpn # 열려 있는 포트와 프로세스

ss -s # 소켓 요약

netstat -tulpn # 같은 내용 (예전 명령, net-tools 패키지)

12. iptraf-ng – 실시간 네트워크 통계

ncurses 화면으로 TCP 연결별, 인터페이스별, 프로토콜별, 포트·패킷 크기별 트래픽을 보여 준다. 지금 배포판의 패키지 이름은 iptraf-ng 다.

13. tcpdump – 패킷 캡처

tcpdump -i eth1 'udp port 53'                          # DNS
tcpdump -i eth1 'dst 202.54.1.5 and (port 21 or 20)'   # 특정 서버로 가는 FTP
tcpdump -ni eth0 'dst 192.168.1.5 and tcp and port http'
tcpdump 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)'   # 데이터가 있는 HTTP 패킷만

tcpdump -n -i eth1 -s 0 -w capture.pcap port 80        # 파일로 저장 → Wireshark 로 열기

tcpdump -i eth1 'udp port 53' # DNS

tcpdump -i eth1 'dst 202.54.1.5 and (port 21 or 20)' # 특정 서버로 가는 FTP

tcpdump -ni eth0 'dst 192.168.1.5 and tcp and port http'

tcpdump 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)' # 데이터가 있는 HTTP 패킷만

tcpdump -n -i eth1 -s 0 -w capture.pcap port 80 # 파일로 저장 → Wireshark 로 열기

14. strace – 시스템 호출 추적

strace -p PID          # 실행 중인 프로세스에 붙기
strace -c -p PID       # 시스템 호출 통계

1 2	strace -p PID # 실행 중인 프로세스에 붙기 strace -c -p PID # 시스템 호출 통계

프로세스가 멈춰 있을 때 무엇을 기다리는지(파일, 네트워크, 잠금) 확인할 때 쓴다.

15. /proc – 커널이 보여 주는 정보

cat /proc/cpuinfo
cat /proc/meminfo
cat /proc/zoneinfo
cat /proc/mounts

cat /proc/cpuinfo

cat /proc/meminfo

cat /proc/zoneinfo

cat /proc/mounts

16. lsof – 열려 있는 파일

프로세스가 열고 있는 파일, 소켓, 파이프, 장치를 보여 준다. 디스크를 언마운트할 때 “사용 중” 오류가 나면 어떤 프로세스가 잡고 있는지 찾는 데 쓴다.

lsof /data            # /data 를 쓰고 있는 프로세스
lsof -p PID           # 특정 프로세스가 연 파일
lsof -i :80           # 80 포트를 쓰는 프로세스
lsof +L1              # 지웠지만 아직 열려 있어 공간을 차지하는 파일

lsof /data # /data 를 쓰고 있는 프로세스

lsof -p PID # 특정 프로세스가 연 파일

lsof -i :80 # 80 포트를 쓰는 프로세스

lsof +L1 # 지웠지만 아직 열려 있어 공간을 차지하는 파일

17. htop – top 의 개선판

top 과 같은 정보를 색과 막대그래프로 보여 주고, 화살표로 프로세스를 골라 종료·우선순위 변경을 할 수 있다. 트리 보기(F5)와 검색(F3)도 된다. (apt install htop)

18. iotop – 프로세스별 디스크 I/O

어떤 프로세스가 디스크를 읽고 쓰는지 실시간으로 보여 준다. iostat 으로 디스크 병목을 확인한 뒤 원인 프로세스를 찾을 때 쓴다.

sudo iotop -o      # 지금 I/O 가 있는 프로세스만

1	sudo iotop -o # 지금 I/O 가 있는 프로세스만

19. nethogs, iftop, vnstat – 네트워크 대역폭

sudo nethogs eth0     # 프로세스별 대역폭
sudo iftop -i eth0    # 호스트(출발지·목적지)별 대역폭
vnstat -d             # 일별 송수신량 (vnstat 데몬이 계속 기록)
vnstat -m             # 월별

sudo nethogs eth0 # 프로세스별 대역폭

sudo iftop -i eth0 # 호스트(출발지·목적지)별 대역폭

vnstat -d # 일별 송수신량 (vnstat 데몬이 계속 기록)

vnstat -m # 월별

vnstat 기록은 vnStat PHP 같은 웹 화면으로 그래프를 볼 수도 있다.

20. psacct(acct) – 사용자 활동 기록

사용자별로 어떤 명령을 실행했고 자원을 얼마나 썼는지 백그라운드에서 기록한다. (Debian/Ubuntu 패키지는 acct, RHEL 계열은 psacct)

ac -d          # 일별 접속 시간
sa -u          # 사용자별 실행 명령
lastcomm user  # 특정 사용자가 실행한 명령

ac -d # 일별 접속 시간

sa -u # 사용자별 실행 명령

lastcomm user # 특정 사용자가 실행한 명령

21. arpwatch, Suricata – 네트워크 보안 감시

arpwatch 는 네트워크의 IP·MAC 주소 짝이 바뀌는 것을 기록하고 메일로 알려 줘서 ARP 스푸핑을 찾는 데 쓴다. Suricata 는 OISF 가 만든 오픈소스 침입 탐지·방지 시스템(IDS/IPS)이다.

22. 모니터링 시스템

Nagios: 서버, 네트워크 장비, 서비스를 감시하다가 이상이 생기거나 복구되면 알림을 보낸다.
Cacti: RRDTool 로 네트워크, CPU, 메모리, 웹 서버 등의 수치를 모아 그래프로 보여 준다.
Monit: Apache, MySQL, Nginx, SSH 같은 서비스와 파일, 파일시스템을 감시하다가 문제가 생기면 자동으로 재시작하거나 알린다. 웹 화면도 있다.
Monitorix: 내장 웹 서버로 부하, 메모리, 디스크 상태, 서비스, 메일, MySQL 통계 등을 그래프로 보여 주는 가벼운 도구다.
요즘은 Prometheus + Grafana, Zabbix 같은 도구도 많이 쓴다.

참고한 자료: nixCraft – Linux Performance Monitoring Tools, iprize 번역, Tecmint – Command Line Tools to Monitor Linux Performance

MSSQL 보안 체크리스트

SQL Server 를 운영할 때 확인할 보안 항목을 Windows 서버, SQL Server 기본 설정, 개발, 관리, 운영 절차로 나눠 정리했다.

Windows 서버

관리 목적 기본 공유(C$, D$, ADMIN$)를 끈다. HKLM\SYSTEM\CurrentControlSet\Services\LanmanServer\Parameters 에 DWORD AutoShareServer 를 0 으로 넣고 Server 서비스를 다시 시작한다. (일반 PC 는 AutoShareWks)
원격 데스크톱 포트를 3389 에서 바꾼다. HKLM\SYSTEM\CurrentControlSet\Control\Terminal Server\WinStations\RDP-Tcp 의 PortNumber 를 10진수로 바꾸고, 새 포트는 Windows 방화벽과 앞단 방화벽에서 열고 3389 는 막는다.
기본 계정 Administrator 는 이름을 바꾸고, Guest 는 비활성화한다.
Windows 방화벽을 켜고 인바운드뿐 아니라 아웃바운드 연결도 필요한 것만 허용한다.
보안 취약점 점검 도구로 정기적으로 점검한다. (예전의 MBSA 는 지원이 끝났으니 지금은 Microsoft Defender 취약성 관리나 Security Compliance Toolkit 을 쓴다.)

SQL Server 기본 설정

sysadmin(시스템 관리자) 권한은 DBA 에게만 준다.
DBA 개인 계정을 서비스(애플리케이션) 접속용으로 같이 쓰지 않는다.
DB 계정마다 사용할 DB 를 정해 두고 필요한 권한만 준다.
안 쓰는 계정은 정기적으로 찾아서 막는다. 가장 중요한 항목이다.
가능하면 Windows 인증을 쓴다.
SQL Server 에 접속할 수 있는 IP 를 제한한다.
기본 포트 1433 을 다른 포트로 바꾸고, 1433 은 방화벽에서 막는다. 포트 변경은 자동 스캔을 줄이는 정도이므로 접속 IP 제한과 함께 쓴다.
도메인 컨트롤러나 IIS 웹 서버 같은 응용 프로그램 서버와 분리한다.
디스크는 NTFS 로 포맷해서 폴더 권한을 걸 수 있게 한다.
NetBIOS over TCP/IP 와 SMB 를 쓰지 않는다. (135, 137~139, 445 포트)
SQL Server 서비스는 기본 시작 계정 대신 전용 계정을 만들어서 돌린다.
sa 계정은 쓰지 않고 이름을 바꿔 둔다.
BUILTIN\Administrators 그룹 로그인이 있으면 지운다. (SQL Server 2008 부터는 기본으로 추가되지 않는다.)
예제 데이터베이스는 설치하지 않는다.
설치 로그와 설치에 쓴 스크립트는 지운다.
xp_cmdshell 처럼 보안에 취약한 확장 저장 프로시저는 끈다.
기본 추적(Default Trace)이 켜져 있는지 확인하고 살펴본다.

개발

SQL Injection 방어 코드는 클라이언트 스크립트가 아니라 서버 쪽에 둔다.
DB 오류 메시지를 웹 페이지에 보여 주지 않는다. 오류 내용에 DB 정보가 드러나 Error-based SQL Injection 에 쓰인다.
동적 쿼리는 될 수 있는 한 줄인다.
암호를 암호화하지 않은 채 DB 나 로컬 디스크에 저장하지 않는다.
테이블에 직접 권한을 주지 말고 저장 프로시저와 뷰를 통해서만 접근하게 한다. 컬럼 단위 권한보다 관리가 쉽다.
guest 계정은 쓰지 않는다.
사용자 계정에 개체를 만드는 권한(CREATE)을 주지 않는다.
권한을 넘겨줘야 할 때는 프록시 계정을 쓴다.
sa 로 접속하지 않는다. 웹과 연결된 경우 특히 치명적이다.

관리

서버 화면 보호기에 암호를 건다.
백업은 암호를 거는 등 안전한 방식으로 하고, 다른 곳에 2차 백업을 둔다.
사용자 계정은 최소 권한만 주고 암호를 주기적으로 바꾼다.
실패한 로그인과 거부된 로그인을 감사(기록)한다.
권한을 불법적으로 얻는 시도가 있는지 감사한다.
강력한 암호 정책을 쓴다. (9자 이상, 영문·숫자·특수문자 섞기, 30일마다 변경)
보안 감사를 정기적으로 한다.
보안 패치를 적용한다.
프로시저에 EXECUTE AS CALLER 가 아닌 실행 권한이 설정된 것이 있는지 확인한다.
서버 시작 때 자동 실행되는 프로시저가 있는지 확인한다.

운영 절차

침해 사고가 났을 때 대응 절차를 문서로 만들어 둔다.
서버별로 열려 있는 포트와 방화벽에서 허용한 포트를 문서로 관리한다.
네트워크 모니터링과 로그 분석으로 과도한 접속 시도를 찾고, 어떤 IP 에서 왔는지 꼭 확인한다.
직원이 퇴사하면 퇴사일에 계정 정지와 공용 암호 변경 등 보안 작업을 끝낸다.
내부 보안을 강화한다. 가장 중요하지만 가장 지켜지지 않는 부분이다.

참고한 자료: ToTo – MSSQL 보안 체크리스트, sink81 – MSSQL 보안 체크리스트, 29cm – OS 및 MS-SQL 보안에 관한 기본적인 설정

MariaDB 운영 메모 – 계정과 권한, 백업과 복원, 복제(Replication)

아래 예시의 appdb, app, <password>, 10.0.0.x 는 실제 값으로 바꿔서 쓴다.

1. 설치

sudo apt install mariadb-server mariadb-client
sudo mariadb-secure-installation

1 2	sudo apt install mariadb-server mariadb-client sudo mariadb-secure-installation

2. DB, 계정, 권한

CREATE DATABASE appdb DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

CREATE USER 'app'@'%' IDENTIFIED BY '<password>';
GRANT ALL PRIVILEGES ON appdb.* TO 'app'@'%';

-- 특정 뷰만 읽게 하는 계정
CREATE USER 'report'@'%' IDENTIFIED BY '<password>';
GRANT SELECT ON appdb.view_users TO 'report'@'%';

SHOW GRANTS FOR 'app'@'%';

CREATE DATABASE appdb DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

CREATE USER 'app'@'%' IDENTIFIED BY '<password>';

GRANT ALL PRIVILEGES ON appdb.* TO 'app'@'%';

-- 특정 뷰만 읽게 하는 계정

CREATE USER 'report'@'%' IDENTIFIED BY '<password>';

GRANT SELECT ON appdb.view_users TO 'report'@'%';

SHOW GRANTS FOR 'app'@'%';

root@'%' 처럼 root 를 외부에 여는 것은 피하고, 서비스마다 필요한 DB 에만 권한을 준 계정을 따로 만든다. GRANT 와 CREATE USER 를 쓰면 FLUSH PRIVILEGES 는 필요 없다.

3. 백업과 복원

# 백업 (InnoDB 는 --single-transaction 으로 잠금 없이 일관된 백업)
mysqldump -u app -p --single-transaction --routines --triggers appdb | gzip -9 > appdb.sql.gz

# 복원
gunzip < appdb.sql.gz | mysql -u app -p appdb

# 다른 서버로 바로 복원
mysqldump -h 127.0.0.1 -u app -p --single-transaction appdb | mysql -h 10.0.0.12 -u app -p appdb

# 백업 (InnoDB 는 --single-transaction 으로 잠금 없이 일관된 백업)

mysqldump -u app -p --single-transaction --routines --triggers appdb | gzip -9 > appdb.sql.gz

# 복원

gunzip < appdb.sql.gz | mysql -u app -p appdb

# 다른 서버로 바로 복원

mysqldump -h 127.0.0.1 -u app -p --single-transaction appdb | mysql -h 10.0.0.12 -u app -p appdb

-p비밀번호 처럼 명령줄에 비밀번호를 쓰면 프로세스 목록과 쉘 히스토리에 남는다. 자동 백업에는 ~/.my.cnf(권한 600)에 넣어 둔다.

[client]
user=app
password=<password>

[client]

user=app

password=<password>

4. 복제(Replication)

master/slave 설정, 복제 확인, 복제 깨짐 복구, 복제 지연 해결은 별도 글에 자세히 정리했다 → MySQL / MariaDB 복제(Replication) 정리 – 동작 원리, 설정, 복제 지연 해결

7. 성능 점검

MySQLTuner 를 받아 실행하면 현재 사용량을 보고 설정값을 추천해 준다.

관련 글: MySQL 튜닝 (from 나프다)