Основы Linux: shell, файлы и пайпы

01Что такое Linux и дистрибутив

Строго говоря, Linux — это только ядро: центральная программа, которая общается с железом, планирует процессы и управляет памятью. Дистрибутив объединяет это ядро с пакетным менеджером, системными утилитами, конфигурацией по умолчанию и графиком релизов. На серверах вы в основном встретите два семейства. Семейство Debian (Debian, Ubuntu) использует пакеты .deb и apt. Семейство Red Hat (RHEL, Rocky Linux, AlmaLinux, Fedora) — пакеты .rpm и dnf. Для серверов выбирайте релиз с долгосрочной поддержкой (LTS): LTS-версии Ubuntu выходят раз в два года и получают пять лет стандартных обновлений безопасности, Debian stable с расширением LTS поддерживается около пяти лет, а RHEL-совместимые релизы — примерно десять. Почти всё в этом уроке одинаково работает в любом дистрибутиве; основные различия — названия пакетов, пакетный менеджер и расположение некоторых конфигов.

• Ядро: сердце ОС. Дистрибутив: ядро плюс утилиты, пакеты и настройки по умолчанию.
• Debian / Ubuntu: apt и .deb. RHEL / Rocky / Alma: dnf и .rpm.
• Shell: программа, которая читает ваши команды. На большинстве серверов по умолчанию стоит Bash.

02Иерархия файловой системы: что где лежит

В Linux одно дерево каталогов, начинающееся с / (корня). Букв дисков нет: дополнительные диски подключаются (монтируются) куда-то внутрь этого дерева. Структура следует стандарту Filesystem Hierarchy Standard, так что, выучив её один раз, вы сориентируетесь на любом сервере. Полезное правило: конфигурация живёт в /etc, всё, что меняется во время работы системы (логи, кэши, базы данных, сайты), — в /var, программы — в /usr, а люди — в /home. Всё является файлом, включая устройства (/dev) и живую информацию ядра (/proc, /sys), поэтому так много инструментов сводится к чтению и записи текста.

• /etc: конфигурация системы и сервисов (nginx, ssh, cron, пользователи).
• /var: изменяемые данные. /var/log — логи, /var/www — сайты (по соглашению), /var/lib — базы данных и состояние приложений.
• /usr: установленные программы и библиотеки. /usr/local — то, что вы ставите вручную.
• /home/your_user: личные файлы. /root — домашний каталог пользователя root.
• /tmp: временные файлы, часто очищаются при перезагрузке. /opt: опциональные самодостаточные приложения.
• /dev, /proc, /sys: устройства и живая информация о ядре и процессах.

03Навигация и работа с файлами

Горстка команд покрывает большую часть повседневной работы. pwd показывает, где вы находитесь, cd перемещает, ls выводит список. Пути, начинающиеся с /, абсолютные; всё остальное отсчитывается от текущего каталога. Одна точка означает «здесь», две точки — родительский каталог, тильда — ваш домашний каталог. Осторожнее с rm: корзины нет, и rm -r удаляет целое дерево, ничего не спрашивая. Хорошая привычка — сначала выполнить ls на том же самом пути и никогда не вставлять команду rm с переменной, которую вы не проверили. find — швейцарский нож для поиска файлов по имени, размеру, возрасту или типу.

1pwd                          # where am I?
2ls -lah /var/log             # long list, all files, human sizes
3cd /etc/nginx && ls          # move, then list
4cd ~ ; cd -                  # go home, then back to the previous dir
5mkdir -p ~/backups/2026      # create a path, including parents
6cp -a site/ site-backup/     # copy recursively, keep owners and times
7mv old.conf old.conf.bak     # move or rename
8rm -i notes.txt              # delete, asking first
9rm -r build/                 # delete a directory tree (no undo!)
10find /var/www -name "*.log" -size +100M     # big log files
11find /tmp -type f -mtime +7                 # files older than 7 days

04Чтение файлов, пайпы и перенаправление

cat выводит файл целиком, less позволяет листать его и искать (нажмите / для поиска, q для выхода), head и tail показывают начало или конец, а tail -f продолжает следить за файлом по мере появления новых строк — идеально, чтобы смотреть лог, пока вы воспроизводите баг. Настоящая сила — в пайпах. У каждой программы есть стандартный ввод, стандартный вывод и стандартный поток ошибок. Символ пайпа | отправляет вывод одной программы на вход следующей, и маленькие инструменты складываются в ответ. Перенаправление отправляет вывод в файлы: > перезаписывает, >> дописывает, а 2> отдельно перехватывает ошибки. 2>&1 сливает ошибки с обычным выводом.

1less /var/log/syslog                 # scroll and search
2tail -n 100 -f /var/log/nginx/error.log   # follow live
3# Top 10 client IPs in an access log
4awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head
5# Save output, append to a file, capture errors
6df -h > disk.txt
7date >> deploy.log
8./deploy.sh > deploy.out 2>&1
9# Count 500 errors
10grep -c '" 500 ' /var/log/nginx/access.log

05grep, awk и sed за пять минут

Эти три инструмента решают большинство задач с текстом. grep находит строки, совпадающие с шаблоном: -i игнорирует регистр, -r ищет по каталогам, -n показывает номера строк, -v инвертирует совпадение, а -E включает расширенные регулярные выражения. awk разбивает каждую строку на поля ($1, $2…) и идеально подходит, чтобы вытаскивать колонки из логов. sed редактирует поток текста, чаще всего для поиска и замены. Всегда сначала запускайте sed без -i, чтобы посмотреть результат, а при редактировании на месте сохраняйте резервную копию через -i.bak. Для всего, что длиннее одной строки awk или sed, небольшой скрипт на нормальном языке обычно понятнее.

1grep -rn "DB_HOST" /var/www/app/config   # where is it set?
2grep -i "error" app.log | grep -v "deprecated"
3grep -E "timeout|refused" app.log
4awk -F: '{print $1}' /etc/passwd             # first column, ":" separator
5awk '$9 >= 500 {print $7}' access.log         # paths that returned 5xx
6sed 's/http:/https:/g' links.txt              # preview a replacement
7sed -i.bak 's/^#Port 22/Port 22/' my.conf     # edit in place, keep .bak

06Редакторы, справка и переменные окружения

На сервере файлы редактируют прямо в терминале. nano — самый дружелюбный: сочетания клавиш перечислены внизу (Ctrl+O сохраняет, Ctrl+X выходит). vim есть везде, и его стоит знать хотя бы на уровне выживания: нажмите i, чтобы вводить текст, Esc, чтобы закончить, затем :wq — сохранить и выйти, или :q! — выйти без сохранения. Забыли флаг — используйте command --help для краткой справки или man command для полного руководства. Переменные окружения — это именованные значения, которые программы наследуют от shell, например PATH (где искать команды) и HOME. Задать переменную на текущую сессию можно через export, сделать постоянной — в ~/.bashrc. Приложения должны читать секреты из переменных окружения или env-файла, но никогда не из кода.

1nano /etc/hosts        # simple editor
2vim  /etc/hosts        # i = insert, Esc, :wq = save & quit
3ls --help | less       # quick help
4man rsync              # full manual (q to quit)
5echo $PATH             # where commands are found
6export APP_ENV=production
7printenv | grep APP_   # show matching variables
8which node             # which binary runs?

07Ваш первый shell-скрипт

Shell-скрипт — это текстовый файл с командами, которые выполняются сверху вниз. Первая строка (shebang) указывает, какой интерпретатор использовать. Начинайте каждый bash-скрипт с set -euo pipefail: -e останавливает скрипт на первой упавшей команде, -u считает неустановленные переменные ошибкой, а pipefail заставляет пайплайн падать, если упала любая его часть. Без этого скрипт может продолжить работу после сбоя и натворить бед, например удалить файлы не в том каталоге, потому что переменная оказалась пустой. Берите переменные в кавычки, делайте файл исполняемым через chmod +x и проверяйте его shellcheck, если есть возможность его поставить.

1#!/usr/bin/env bash
2set -euo pipefail
3 
4# Archive a directory with today's date
5SRC="/var/www/app/storage"
6DEST="$HOME/backups"
7STAMP="$(date +%F)"
8 
9mkdir -p "$DEST"
10tar -czf "$DEST/storage-$STAMP.tar.gz" -C "$SRC" .
11echo "Saved $DEST/storage-$STAMP.tar.gz"
12 
13# Delete archives older than 14 days
14find "$DEST" -name "storage-*.tar.gz" -mtime +14 -delete

08Что на самом деле делает shell, когда вы нажимаете Enter

Прежде чем запустится какая-либо программа, bash переписывает строку в фиксированном порядке: brace expansion, tilde expansion, затем подстановка параметров, команд и арифметики, затем word splitting, затем globbing имён файлов и, наконец, удаление кавычек. Только после этого он ищет команду: сначала алиасы, функции и builtin-команды (cd, export, read), затем каждый каталог из PATH, а результаты кэшируются в хэш-таблице. Для внешней программы shell делает fork своей копии, и дочерний процесс вызывает exec, заменяя себя программой; родитель ждёт и сохраняет код завершения в $?. Это объясняет классические сюрпризы: cd обязана быть builtin, потому что дочерний процесс не может сменить каталог родителя, переменная с пробелами без кавычек превращается в несколько аргументов, а glob, который ничему не соответствует, передаётся буквально. type и command -v точно говорят, что будет запущено.

1type cd ls grep           # builtin, alias or file?
2command -v python3        # path that will be executed
3hash -r                   # forget cached paths after moving a binary
4false; echo $?            # 1: last exit status
5f="my file.txt"
6ls $f                     # WRONG: two arguments, "my" and "file.txt"
7ls "$f"                   # right: one argument
8set -x                    # print each command after expansion (debug)

09Inode, жёсткие и символические ссылки

Имя файла — это не сам файл. Данные и метаданные (владелец, права, временные метки, размер, указатели на блоки) хранятся в inode, который идентифицируется номером; каталог — это просто таблица, сопоставляющая имена с номерами inode. Жёсткая ссылка — второе имя того же inode, поэтому оба имени равноправны, а данные живут, пока не удалена последняя ссылка и ни один процесс не держит файл открытым. Жёсткие ссылки не могут пересекать границы файловых систем или указывать на каталоги. Символическая ссылка — крошечный файл с путём, который может указывать куда угодно, даже в никуда (битая ссылка). Эта модель объясняет, почему mv в пределах одной файловой системы мгновенный (меняется лишь запись в каталоге), а между файловыми системами копирует данные, почему удаление открытого лога не освобождает место и почему инструменты деплоя атомарно переключают релизы, заменяя symlink «current».

1ls -li /etc/hostname          # inode number in the first column
2stat /etc/hostname            # full metadata, link count, times
3ln data.csv data-copy.csv     # hard link: same inode
4ln -s /srv/app/releases/42 /srv/app/current.new
5mv -T /srv/app/current.new /srv/app/current   # atomic symlink swap
6readlink -f /srv/app/current  # resolve to the real path
7find /srv -xtype l            # dangling symlinks

10Скрипты, которые выдерживают реальные данные

Продакшен-скрипты сталкиваются с именами файлов, содержащими пробелы, переводы строк и ведущие дефисы, с прерванными запусками и частичными сбоями. Три привычки решают большую часть проблем. Первая: передавайте списки файлов, разделённые NUL: find -print0 вместе с xargs -0 или цикл while read -d '', и никогда цикл for по выводу ls. Вторая: создавайте временные файлы через mktemp и удаляйте их в trap, чтобы очистка происходила даже при сбое или прерывании скрипта. Третья: знайте, где set -e не срабатывает: внутри условий if, слева от && или || и в подстановках команд, присваиваемых через local, поэтому критичные шаги проверяйте явно. Используйте -- для завершения опций перед путями от пользователя, чтобы файл с именем -rf считался именем. Для блокировки flock не даёт двум копиям одной задачи работать одновременно.

1#!/usr/bin/env bash
2set -euo pipefail
3tmp="$(mktemp -d)"
4trap 'rm -rf -- "$tmp"' EXIT          # always cleaned up
5exec 9>/var/lock/report.lock
6flock -n 9 || { echo "already running" >&2; exit 1; }
7 
8find /var/www/uploads -type f -name '*.jpg' -mtime -1 -print0 |
9  while IFS= read -r -d '' file; do
10    cp -- "$file" "$tmp/"
11  done
12tar -czf /var/backups/uploads-today.tar.gz -C "$tmp" .

11Быстрая обработка текста в больших файлах

На многогигабайтном логе выбор инструмента и флагов имеет значение. Locale — скрытая цена: с UTF-8 locale sort и grep выполняют дорогие посимвольные сравнения с учётом кодировки; префикс LC_ALL=C заставляет их сравнивать байты, и это часто в разы быстрее, что вполне подходит для логов и IP. grep -F трактует шаблон как фиксированную строку и обходит движок регулярных выражений. ripgrep (rg) ищет параллельно и обычно быстрее всех на деревьях кода. Сжатые ротированные логи читайте на месте через zgrep, zcat или zless, не распаковывая их. sort может использовать больше памяти через -S и параллельные потоки через --parallel, а временные файлы пишет в /tmp, если не указать -T, что важно, когда /tmp маленький. Наконец, ставьте самый избирательный фильтр в начало конвейера, чтобы последующие этапы обрабатывали меньше строк.

1LC_ALL=C grep -F ' 502 ' access.log | wc -l
2zgrep -h 'POST /login' /var/log/nginx/access.log.*.gz | wc -l
3LC_ALL=C sort -S 1G --parallel=4 -T /var/tmp big.txt | uniq -c
4rg -n --hidden -g '!node_modules' 'API_KEY' /srv/app
5# Requests per minute around an incident
6awk '{print substr($4, 2, 17)}' access.log | uniq -c | sort -rn | head