Linux-ի հիմունքներ՝ shell, ֆայլեր և pipe-եր

01Ի՞նչ են Linux-ը և դիստրիբուտիվը

Խիստ ասած՝ Linux-ը միայն kernel-ն է՝ միջուկային ծրագիրը, որը խոսում է hardware-ի հետ, պլանավորում է պրոցեսները և կառավարում հիշողությունը։ Դիստրիբուտիվը (distro) այդ kernel-ը միավորում է package manager-ի, համակարգային գործիքների, լռելյայն կոնֆիգուրացիայի և թողարկումների ժամանակացույցի հետ։ Սերվերների վրա հիմնականում կհանդիպես երկու ընտանիքի։ Debian ընտանիքը (Debian, Ubuntu) օգտագործում է .deb փաթեթներ և apt։ Red Hat ընտանիքը (RHEL, Rocky Linux, AlmaLinux, Fedora) օգտագործում է .rpm փաթեթներ և dnf։ Սերվերների համար ընտրիր երկարաժամկետ աջակցությամբ (LTS) թողարկում․ Ubuntu-ի LTS տարբերակները դուրս են գալիս երկու տարին մեկ և ստանում են հինգ տարվա ստանդարտ անվտանգության թարմացումներ, Debian stable-ը LTS ընդլայնմամբ ստանում է մոտ հինգ տարի, իսկ RHEL-համատեղելի թողարկումները՝ մոտ տասը։ Այս դասի գրեթե ամեն ինչ նույն կերպ է աշխատում բոլոր դիստրիբուտիվներում․ հիմնական տարբերությունները փաթեթների անուններն են, package manager-ը և մի քանի config ֆայլերի տեղը։

• Kernel՝ ՕՀ-ի միջուկը։ Distro՝ kernel գումարած գործիքներ, փաթեթներ և լռելյայն կարգավորումներ։
• Debian / Ubuntu՝ apt և .deb։ RHEL / Rocky / Alma՝ dnf և .rpm։
• Shell՝ ծրագիրը, որը կարդում է քո հրամանները։ Սերվերների մեծ մասում լռելյայնը Bash-ն է։

02Ֆայլային համակարգի հիերարխիան՝ ինչը որտեղ է

Linux-ն ունի դիրեկտորիաների մեկ ծառ, որը սկսվում է /-ից (root)։ Սկավառակների տառեր չկան․ լրացուցիչ սկավառակները միացվում են (mount) այդ ծառի ներսում ինչ-որ տեղ։ Կառուցվածքը հետևում է Filesystem Hierarchy Standard կոչվող ստանդարտին, ուստի մեկ անգամ սովորելուց հետո կկողմնորոշվես ցանկացած սերվերում։ Օգտակար կանոն՝ կոնֆիգուրացիան /etc-ում է, այն, ինչ փոխվում է համակարգի աշխատանքի ընթացքում (log-եր, cache, տվյալների բազաներ, կայքեր), /var-ում է, ծրագրերը՝ /usr-ում, իսկ մարդիկ՝ /home-ում։ Ամեն ինչ ֆայլ է, ներառյալ սարքերը (/dev) և kernel-ի կենդանի տեղեկությունը (/proc, /sys), և հենց դրա համար են այդքան շատ գործիքներ պարզապես տեքստ կարդում ու գրում։

• /etc՝ համակարգի և ծառայությունների կոնֆիգուրացիա (nginx, ssh, cron, օգտատերեր)։
• /var՝ փոփոխվող տվյալներ։ /var/log՝ log-երի համար, /var/www՝ ընդունված կարգով կայքերի համար, /var/lib՝ տվյալների բազաների և հավելվածների վիճակի համար։
• /usr՝ տեղադրված ծրագրեր և գրադարաններ։ /usr/local՝ ձեռքով տեղադրվածների համար։
• /home/your_user՝ անձնական ֆայլեր։ /root-ը root օգտատիրոջ home-ն է։
• /tmp՝ ժամանակավոր ֆայլեր, որոնք հաճախ մաքրվում են reboot-ի ժամանակ։ /opt՝ ոչ պարտադիր, ինքնաբավ հավելվածներ։
• /dev, /proc, /sys՝ սարքեր և kernel-ի ու պրոցեսների կենդանի տեղեկություն։

03Նավիգացիա և ֆայլերի կառավարում

Մի քանի հրաման ծածկում է ամենօրյա աշխատանքի մեծ մասը։ pwd-ն ցույց է տալիս, թե որտեղ ես, cd-ն տեղափոխում է, ls-ը ցուցակում է։ /-ով սկսվող ճանապարհները բացարձակ են, մնացածը հարաբերական են ընթացիկ դիրեկտորիայի նկատմամբ։ Մեկ կետը նշանակում է «այստեղ», երկու կետը՝ ծնող դիրեկտորիան, իսկ tilde-ն՝ քո home-ը։ Զգույշ եղիր rm-ի հետ․ աղբարկղ չկա, և rm -r-ը առանց հարցնելու ջնջում է ամբողջ ծառը։ Լավ սովորություն է նախ ls գործարկել ճիշտ նույն ճանապարհի վրա և երբեք չտեղադրել rm հրաման այնպիսի փոփոխականով, որը չես ստուգել։ find-ը շվեյցարական դանակ է ֆայլերը ըստ անվան, չափի, տարիքի կամ տիպի գտնելու համար։

1pwd                          # where am I?
2ls -lah /var/log             # long list, all files, human sizes
3cd /etc/nginx && ls          # move, then list
4cd ~ ; cd -                  # go home, then back to the previous dir
5mkdir -p ~/backups/2026      # create a path, including parents
6cp -a site/ site-backup/     # copy recursively, keep owners and times
7mv old.conf old.conf.bak     # move or rename
8rm -i notes.txt              # delete, asking first
9rm -r build/                 # delete a directory tree (no undo!)
10find /var/www -name "*.log" -size +100M     # big log files
11find /tmp -type f -mtime +7                 # files older than 7 days

04Ֆայլերի ընթերցում, pipe-եր և վերաուղղորդում

cat-ը տպում է ամբողջ ֆայլը, less-ը թույլ է տալիս ֆայլը թերթել և դրանում որոնել (/՝ որոնելու, q՝ դուրս գալու համար), head-ը և tail-ը ցույց են տալիս սկիզբը կամ վերջը, իսկ tail -f-ը շարունակում է հետևել ֆայլին, երբ նոր տողեր են ավելանում, ինչը կատարյալ է log դիտելու համար, մինչ bug-ը վերարտադրում ես։ Իրական ուժը pipe-երի մեջ է։ Յուրաքանչյուր ծրագիր ունի standard input, standard output և standard error։ | նշանը մի ծրագրի output-ը ուղարկում է հաջորդի input-ին, և փոքր գործիքները միավորվում են պատասխանների մեջ։ Վերաուղղորդումը output-ը ուղարկում է ֆայլեր․ >-ը վերագրում է, >>-ը ավելացնում է վերջում, իսկ 2>-ը սխալները առանձին է հավաքում։ 2>&1-ը սխալները միացնում է սովորական output-ին։

1less /var/log/syslog                 # scroll and search
2tail -n 100 -f /var/log/nginx/error.log   # follow live
3# Top 10 client IPs in an access log
4awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head
5# Save output, append to a file, capture errors
6df -h > disk.txt
7date >> deploy.log
8./deploy.sh > deploy.out 2>&1
9# Count 500 errors
10grep -c '" 500 ' /var/log/nginx/access.log

05grep, awk և sed հինգ րոպեում

Այս երեք գործիքները լուծում են տեքստային խնդիրների մեծ մասը։ grep-ը գտնում է pattern-ին համապատասխանող տողերը․ -i-ն անտեսում է մեծատառ/փոքրատառը, -r-ը որոնում է դիրեկտորիաներում, -n-ը ցույց է տալիս տողերի համարները, -v-ն շրջում է համընկնումը, իսկ -E-ն միացնում է extended regular expression-ները։ awk-ը յուրաքանչյուր տող բաժանում է դաշտերի ($1, $2…) և իդեալական է log-երից սյուներ հանելու համար։ sed-ը խմբագրում է տեքստի հոսքեր, ամենից հաճախ՝ search and replace-ի համար։ sed-ը միշտ նախ գործարկիր առանց -i-ի՝ արդյունքը նախադիտելու համար, իսկ երբ տեղում ես խմբագրում, պահիր backup -i.bak-ով։ awk-ի կամ sed-ի մեկ տողից երկար ցանկացած բանի համար իրական լեզվով փոքր script-ը սովորաբար ավելի պարզ է։

1grep -rn "DB_HOST" /var/www/app/config   # where is it set?
2grep -i "error" app.log | grep -v "deprecated"
3grep -E "timeout|refused" app.log
4awk -F: '{print $1}' /etc/passwd             # first column, ":" separator
5awk '$9 >= 500 {print $7}' access.log         # paths that returned 5xx
6sed 's/http:/https:/g' links.txt              # preview a replacement
7sed -i.bak 's/^#Port 22/Port 22/' my.conf     # edit in place, keep .bak

06Խմբագրիչներ, help և environment փոփոխականներ

Սերվերի վրա ֆայլերը խմբագրում ես տերմինալում։ nano-ն ամենահարմարն է․ shortcut-ները նշված են ներքևում (Ctrl+O՝ պահպանել, Ctrl+X՝ դուրս գալ)։ vim-ը ամենուր է, և արժե այն իմանալ գոնե «գոյատևման» մակարդակով․ սեղմիր i՝ տեքստ ներմուծելու համար, Esc՝ կանգնելու համար, հետո :wq՝ պահպանել և դուրս գալ, կամ :q!՝ դուրս գալ առանց պահպանելու։ Երբ մոռանում ես flag-ը, օգտագործիր command --help՝ կարճ ամփոփման համար, կամ man command՝ ամբողջական ձեռնարկի համար։ Environment փոփոխականները անվանված արժեքներ են, որոնք ծրագրերը ժառանգում են shell-ից, օրինակ PATH-ը (որտեղ են որոնվում հրամանները) և HOME-ը։ Ընթացիկ session-ի համար փոփոխական սահմանիր export-ով, մշտական դարձրու ~/.bashrc-ում։ Հավելվածները secret-ները պետք է կարդան environment փոփոխականներից կամ env ֆայլից, երբեք՝ կոդից։

1nano /etc/hosts        # simple editor
2vim  /etc/hosts        # i = insert, Esc, :wq = save & quit
3ls --help | less       # quick help
4man rsync              # full manual (q to quit)
5echo $PATH             # where commands are found
6export APP_ENV=production
7printenv | grep APP_   # show matching variables
8which node             # which binary runs?

07Քո առաջին shell script-ը

Shell script-ը հրամաններով տեքստային ֆայլ է, որը կատարվում է վերևից ներքև։ Առաջին տողը (shebang) ասում է, թե որ interpreter-ն օգտագործել։ Յուրաքանչյուր bash script սկսիր set -euo pipefail-ով․ -e-ն կանգնեցնում է առաջին ձախողված հրամանի վրա, -u-ն չսահմանված փոփոխականները սխալ է համարում, իսկ pipefail-ը pipeline-ը ձախողված է դարձնում, եթե դրա որևէ մաս ձախողվի։ Առանց դրանց script-ը կարող է ձախողումից հետո շարունակել և վնաս տալ, օրինակ՝ ջնջել ֆայլեր սխալ դիրեկտորիայում, որովհետև փոփոխականը դատարկ էր։ Փոփոխականները չակերտների մեջ վերցրու, ֆայլը կատարելի դարձրու chmod +x-ով և, եթե կարող ես տեղադրել, ստուգիր shellcheck-ով։

1#!/usr/bin/env bash
2set -euo pipefail
3 
4# Archive a directory with today's date
5SRC="/var/www/app/storage"
6DEST="$HOME/backups"
7STAMP="$(date +%F)"
8 
9mkdir -p "$DEST"
10tar -czf "$DEST/storage-$STAMP.tar.gz" -C "$SRC" .
11echo "Saved $DEST/storage-$STAMP.tar.gz"
12 
13# Delete archives older than 14 days
14find "$DEST" -name "storage-*.tar.gz" -mtime +14 -delete

08Ինչ է իրականում անում shell-ը, երբ սեղմում ես Enter

Մինչև որևէ ծրագրի գործարկվելը bash-ը վերաշարադրում է տողը ֆիքսված հերթականությամբ՝ brace expansion, tilde expansion, հետո փոփոխականների, հրամանների և թվաբանական արտահայտությունների փոխարինում, հետո word splitting, հետո ֆայլերի globbing և վերջում չակերտների հեռացում։ Միայն դրանից հետո է այն փնտրում հրամանը՝ սկզբում alias-ները, ֆունկցիաները և builtin-ները (cd, export, read), հետո PATH-ի յուրաքանչյուր դիրեկտորիան, իսկ արդյունքները պահվում են hash աղյուսակում։ Արտաքին ծրագրի համար shell-ը fork է անում իր պատճենը, և երեխա պրոցեսը exec-ով իրեն փոխարինում է ծրագրով․ ծնողը սպասում է և exit status-ը պահում $?-ում։ Սա բացատրում է դասական անակնկալները՝ cd-ն պետք է builtin լինի, քանի որ երեխա պրոցեսը չի կարող փոխել ծնողի դիրեկտորիան, բացատներ պարունակող առանց չակերտի փոփոխականը դառնում է մի քանի արգումենտ, իսկ ոչնչի չհամընկնող glob-ը փոխանցվում է բառացիորեն։ type-ը և command -v-ն ճշգրիտ ասում են, թե ինչ է գործարկվելու։

1type cd ls grep           # builtin, alias or file?
2command -v python3        # path that will be executed
3hash -r                   # forget cached paths after moving a binary
4false; echo $?            # 1: last exit status
5f="my file.txt"
6ls $f                     # WRONG: two arguments, "my" and "file.txt"
7ls "$f"                   # right: one argument
8set -x                    # print each command after expansion (debug)

09Inode-ներ, hard link-եր և symlink-եր

Ֆայլի անունը ֆայլը չէ։ Տվյալներն ու մետատվյալները (սեփականատեր, mode, ժամանակային նշումներ, չափ, բլոկների ցուցիչներ) պահվում են inode-ում, որը նույնականացվում է համարով, իսկ դիրեկտորիան պարզապես աղյուսակ է, որն անունները կապում է inode համարների հետ։ Hard link-ը նույն inode-ի երկրորդ անունն է, ուստի երկու անուններն էլ հավասար են, և տվյալները մնում են, քանի դեռ վերջին link-ը չի ջնջվել, և ոչ մի պրոցես ֆայլը բաց չի պահում։ Hard link-երը չեն կարող անցնել ֆայլային համակարգերի միջև կամ ցույց տալ դիրեկտորիաներ։ Symbolic link-ը փոքրիկ ֆայլ է, որը պարունակում է ճանապարհ և կարող է ցույց տալ ցանկացած տեղ, նույնիսկ ոչ մի տեղ (dangling link)։ Այս մոդելը բացատրում է, թե ինչու է mv-ն մեկ ֆայլային համակարգի ներսում ակնթարթային (փոխվում է միայն դիրեկտորիայի գրառումը), իսկ ֆայլային համակարգերի միջև՝ պատճենում է տվյալները, ինչու բաց log-ի ջնջումը տեղ չի ազատում, և ինչու deploy գործիքները release-ները ատոմար փոխում են՝ փոխարինելով «current» symlink-ը։

1ls -li /etc/hostname          # inode number in the first column
2stat /etc/hostname            # full metadata, link count, times
3ln data.csv data-copy.csv     # hard link: same inode
4ln -s /srv/app/releases/42 /srv/app/current.new
5mv -T /srv/app/current.new /srv/app/current   # atomic symlink swap
6readlink -f /srv/app/current  # resolve to the real path
7find /srv -xtype l            # dangling symlinks

10Script-եր, որոնք դիմանում են իրական տվյալներին

Production script-երը հանդիպում են բացատներով, նոր տողերով և գծիկով սկսվող ֆայլերի անունների, ընդհատված գործարկումների և մասնակի ձախողումների։ Երեք սովորություն լուծում են դրա մեծ մասը։ Առաջին՝ ֆայլերի ցուցակները փոխանցիր NUL-ով բաժանված՝ find -print0 xargs -0-ի հետ կամ while read -d '' ցիկլով, երբեք for ցիկլ ls-ի ելքի վրա։ Երկրորդ՝ ժամանակավոր ֆայլերը ստեղծիր mktemp-ով և ջնջիր trap-ում, որպեսզի մաքրումը կատարվի նույնիսկ script-ի ձախողման կամ ընդհատման դեպքում։ Երրորդ՝ իմացիր, թե որտեղ set -e-ն չի աշխատում՝ if պայմանների ներսում, && կամ ||-ի ձախ կողմում և local-ով վերագրվող command substitution-ներում, ուստի կարևոր քայլերը ստուգիր բացահայտ։ Օգտատիրոջ տված ճանապարհներից առաջ օգտագործիր -- օպցիաները փակելու համար, որպեսզի -rf անունով ֆայլը ընկալվի որպես անուն։ Կողպման համար flock-ը թույլ չի տալիս նույն job-ի երկու պատճենի միաժամանակ աշխատել։

1#!/usr/bin/env bash
2set -euo pipefail
3tmp="$(mktemp -d)"
4trap 'rm -rf -- "$tmp"' EXIT          # always cleaned up
5exec 9>/var/lock/report.lock
6flock -n 9 || { echo "already running" >&2; exit 1; }
7 
8find /var/www/uploads -type f -name '*.jpg' -mtime -1 -print0 |
9  while IFS= read -r -d '' file; do
10    cp -- "$file" "$tmp/"
11  done
12tar -czf /var/backups/uploads-today.tar.gz -C "$tmp" .

11Արագ տեքստի մշակում մեծ ֆայլերի վրա

Բազմագիգաբայթանոց log-ի վրա գործիքի և flag-երի ընտրությունը կարևոր է։ Locale-ը թաքնված ծախսն է․ UTF-8 locale-ով sort-ը և grep-ը կատարում են թանկ, նիշերը հաշվի առնող համեմատություններ, իսկ LC_ALL=C նախածանցը ստիպում է համեմատել բայթերը և հաճախ մի քանի անգամ ավելի արագ է, ինչը նորմալ է log-երի և IP-ների համար։ grep -F-ը pattern-ը դիտարկում է որպես ֆիքսված տող և շրջանցում է regex շարժիչը։ ripgrep-ը (rg) որոնում է զուգահեռ և սովորաբար ամենաարագն է կոդի ծառերի համար։ Սեղմված rotated log-երը կարդա տեղում՝ zgrep-ով, zcat-ով կամ zless-ով՝ առանց բացելու։ sort-ը -S-ով կարող է ավելի շատ հիշողություն օգտագործել, --parallel-ով՝ զուգահեռ թելեր, և ժամանակավոր ֆայլերը գրում է /tmp, եթե -T չես նշել, ինչը կարևոր է, երբ /tmp-ը փոքր է։ Վերջապես, pipeline-ում ամենաընտրողական ֆիլտրը դիր առաջինը, որպեսզի հաջորդ փուլերը ավելի քիչ տողեր մշակեն։

1LC_ALL=C grep -F ' 502 ' access.log | wc -l
2zgrep -h 'POST /login' /var/log/nginx/access.log.*.gz | wc -l
3LC_ALL=C sort -S 1G --parallel=4 -T /var/tmp big.txt | uniq -c
4rg -n --hidden -g '!node_modules' 'API_KEY' /srv/app
5# Requests per minute around an incident
6awk '{print substr($4, 2, 17)}' access.log | uniq -c | sort -rn | head