sed обрабатывает поток последовательно, строчка за строчкой, начиная с первой и кончая последней (конечно если в sed-скрипте не указано иного, например можно обрабатывать только первые строки, и завершить обработку после выполнения какого-нибудь условия), обычно каждая строка обрабатывается отдельно, в три этапа.

Для начала изучения sed нам потребуется какой-нибудь простой текст, например этот:

В чём отличие Linux от Windows?

Идеологические отличия

Отличия огромны. Достаточно сказать, что Linux всё-таки надо рассматривать как один из
диалектов операционной системы UNIX, в то время как Windows является оригинальной
разработкой компании Microsoft и начиналась как надстройка над DOS. Таким образом всё что
появилось в Windows спустя годы после выхода в свет: многозадачность, сетевые протоколы и
т.д., в Linux присутствовало практически изначально. Многие вещи были просто портированны
(перенесены) в Linux из UNIX. Многие вещи, которые есть в Linux недоступны в Windows до сих
пор. Например, вы можете оценить многозадачность запустив в Windows и Linux копирование
файлов на дискету. В то время как в Windows до сих пор работать с чем-то ещё становится
просто невозможно, Linux ведёт себя так, как будто запись вообще не идёт - он не замечает
этот процесс. Если Windows изначально строилась как средство улучшенного взаимодействия с
пользователем и не может работать без графического интерфейса, Linux вполне может обходится
без привычных окон, мышек и всего остально антуража, тем самым экономя память и снижая
требования к ресурсам машины при использовании Linux в качестве сервера.

Windows имеет редакции Server (Сервер) и Workstation (Рабочая станция), но в Linux всё не
так. Устанавливая Linux вы получаете полный набор программного обеспечения и можете
использовать эту операционную систему и как сервер и как рабочую станцию. Вам
предоставляется полная свобода выбора, без всяких кодов и ключей и только от вас зависит как
вы будете использовать ваш Linux: хоть в качестве сервера на предприятии, где вы работает,
хоть дома в качестве рабочей машины или вообще на ноутбуке.

Такой вот коротенький текстик. Как обычно, примеры кодов и текстов я буду набирать моноширным шрифтом, что-бы все буквы были одинаковыми. Что-бы создать тестовый файл, сначала скопируйте в буфер этот текст, а затем в каком-нибудь эмуляторе терминала (в командной строке, но только не в той, что вызывается по CTRL+ALT+Fn) Наберите:

$ cat > test.txt

После чего, можно вставлять буфер, как? Зависит от терминала, обычно работает CTRL+INS, может сработает левая или средняя кнопка мыши, а может в меню есть нужный пункт, после вставки нажмите CTRL+D, для указания того, что файл завершён. Кроме того, можно воспользоваться gvim'ом, либо любым другим текстовым редактором.

Теперь можно написать первый sed-скрипт:

$ sed '' test.txt

Этот скрипт просто выводит на экран терминала наш тестовый файл. Это не слишком интересно, точно так-же работает та-же команда cat. Этот примитивный пример говорит о многом: во-первых, две одиночные кавычки - это сам скрипт, между кавычками ничего нет, потому скрипт ничего не делает - не меняет никакой строчке в потоке.

Во-вторых, обратите внимание: сначала идёт скрипт, а после него идут файлы.

Теперь немного изменим наш "скрипт", заставим sed поменять все слова "Windows" на "Must Die", для этого нам понадобится sed-команда s, эта команда ищет в строке нужную одну строку, и заменяет её на другую:

$ sed 's/Windows/Must Die/' test.txt
В чём отличие Linux от Must Die?

Идеологические отличия

Отличия огромны. Достаточно сказать, что Linux всё-таки надо рассматривать как один из
диалектов операционной системы UNIX, в то время как Must Die является оригинальной
разработкой компании Microsoft и начиналась как надстройка над DOS. Таким образом всё что
появилось в Must Die спустя годы после выхода в свет: многозадачность, сетевые протоколы и
т.д., в Linux присутствовало практически изначально. Многие вещи были просто портированы
(перенесены) в Linux из UNIX. Многие вещи, которые есть в Linux недоступны в Must Die до сих
пор. Например, вы можете оценить многозадачность запустив в Must Die и Linux копирование
файлов на дискету. В то время как в Must Die до сих пор работать с чем-то ещё становится
просто невозможно, Linux ведёт себя так, как будто запись вообще не идёт - он не замечает
этот процесс. Если Must Die изначально строилась как средство улучшенного взаимодействия с
пользователем и не может работать без графического интерфейса, Linux вполне может обходится
без привычных окон, мышек и всего остально антуража, тем самым экономя память и снижая
требования к ресурсам машины при использовании Linux в качестве сервера.

Must Die имеет редакции Server (Сервер) и Workstation (Рабочая станция), но в Linux всё не
так. Устанавливая Linux вы получаете полный набор программного обеспечения и можете
использовать эту операционную систему и как сервер и как рабочую станцию. Вам
предоставляется полная свобода выбора, без всяких кодов и ключей и только от вас зависит как
вы будете использовать ваш Linux: хоть в качестве сервера на предприятии, где вы работает,
хоть дома в качестве рабочей машины или вообще на ноутбуке.

Ага, сработало!

Но не всё так радужно, если мы попробуем поменять "Linux" на "TRUE OS" нас ждёт разочарование:

Рисунок 2.1. Поиск 'Linux'

Не все слова "Linux" заменяются, некоторые остаются без изменений. Дело в том, что sed по умолчанию заменяет только первое найденное слово... Исправить это просто: достаточно в конце команды s добавить модификатор g (команда - это не только буква s, но и то что идёт в слешах: слово для поиска и слово для замены).

sed 's/Linux/TRUE OS/g' test.txt

Модификатор g позволяет заменять все совпадения. Имеются цифровые модификаторы, которые позволяют заменить лишь некоторые вхождения:

echo "aaaaaaa" | sed 's/a/A/3'
aaAaaaa

Меняется только третья буква «a».

Цифровой модификатор можно комбинировать с модификатором g:

echo "aaaaaaa" | sed 's/a/A/3g'
aaAAAAA

Как видите, меняется третья, и все последующие буквы. Т.о. модификатор g заставляет sed продолжать замены до тех пор, пока строка не кончится; а цифровой модификатор говорит о том, с какого совпадения мы начнём замены. Не надо думать, что модификатор g сильно замедлит работу, sed в любом случае просматривает всю строку, даже если она уже сделала единственную замену (безусловно, на сами замены время тратится. Кроме того, уходит время на сдвиг хвоста, после заменяемой части, если длинна заменяемой и заменяющей части не совпадают. При массовых заменах хвост приходится двигать множество раз, что может сильно замедлить выполнение программы).

Кроме модификатора g так-же имеются модификатор i, который приведёт к тому, что sed не будет различать малые и большие буквы (в прошлом примере будет заменено слово lINUX, а так-же LiNuX, и все прочие); Многие команды sed дублируются в модификаторах. К примеру существует команда w для записи в файл. Так же есть и модификатор w с точно таким-же функционалом. Кроме того, имеются и другие модификаторы, которые мы рассмотрим несколько позже.

На самом деле, sed ищет вовсе не слова, а Регулярные выражения. Регулярным выражением называется строка, в которой некоторые символы имеют специальное значение. Если обычный символ просто ищется в строке, то спец-символ задаёт особые правила для поиска.

Я обычно использую не простые, а расширенные регулярные выражения(ERE), ИМХО они более наглядные. Для их использования необходимо использовать sed с ключом -r. На самом деле это одно и то-же, отличие только в форме записи. Примеры:

Обычное регулярное выражение:

/\(.\+\)\{3\}/

Расширенное выражение:

/(.+){3}/

Как видите, расширенные выражения часто намного проще и короче. Впрочем, так это далеко не всегда, если мы используем спец-символы редко, то удобнее применять обычные выражения, в которых многие спец-символы не требуют экранирования обратным слешем.

Далее примеры совсем простые, потому мне достаточно всего одной строки, потому я буду передавать в sed строку командой echo, вот к примеру, эта команда поменяет первую букву D на z:

$ echo "ABCDEEEEDG" | sed -r 's/D/z/'
ABCzEEEEDG

Чаще всего встречается регулярное выражение «.*», оно состоит из двух спец-символов:

В целом это выражение читается так: Любой символ повторяется сколько угодно раз. С таким шаблоном совпадёт любая строка, в том числе и пустая.

$ echo "ABCDEEEEDG" | sed -r 's/.*/z/'
z

Вот более сложный пример со спец-символом:

echo "ABCDEEEEDG" | sed -r 's/DE*/z/'
ABCzDG

Регулярные выражения следует читать слева-направо, потому как именно так они и просматриваются командой sed. Это выражение означает: Найти букву D, за которой идёт буква E, которая повторяется любое число раз. Тут видно что во-первых, спец-символ «*» действует только на один обычный символ(на букву E в данном случае), и во-вторых, видна жадность звёздочки, она захватила не "любое" количество E, а всё что смогла. В sed все модификаторы ведут себя точно так-же, и нет никакой возможности изменить это поведение, это очень полезно для ускорения работы наших скриптов. На самом деле наша строка делится на четыре части:

Находится только первое совпадение в строке, причём это совпадение берётся с максимально большим числом повторений (если спец-символ повторений допускает любое число совпадений). Конечно, модификатор `g' позволяет найти и заменить все совпадения.

$ echo "ABC" | sed 's/E*/z/g'
zAzBzCz

Вот следующий пример:

echo "ABCDEEEEDG" | sed -r 's/D./z/g'
ABCzEEEz

Тут ищутся все совпадения с шаблоном /D./, что означает: Буква D, после которой идёт один любой символ, здесь найдено 2 совпадения сразу: DE и DG.

$ echo "ABCDEEEEDG" | sed -r 's/DE?/z/g'
ABCzEEEzG

$ echo "ABCDEEEEDG" | sed -r 's/D*/z/g'
zAzBzCzEzEzEzEzGz

$ echo "ABCDEEEEDG" | sed -r 's/D+/z/g'
ABCzEEEEzG

s/(.*)X.*/\1/

$ echo "___aaa" | sed -r 's/(.*)(a+)/\1~/'
___aa~

/[0123456789]/

/[0-9]/

/[^0-9]/

/[-+]?[0-9]+/

/Q{7}/

/Q{3,9}/

/Q{1,}/

/Q+/

s/.*([-+]?[0-9]+).*/\1/

s/(\S+\s+){3}//

/(.).*\1/

/^(.*)\n\1$/

символы `^' и `$' означаю начало и конец буфера sed соответственно. Напомню, позицией совпадения в sed считается позиция между символами, потому, $ это позиция между последним символом и концом строки. Если символов вообще нет, то $ совпадает с ^.

Имеются ещё два якоря: «\`» и «\'». Так же как и предыдущие, эти якоря задают начало и конец буфера sed. Различие между ними проявляется тогда, когда в буфере несколько строк. Мы рассмотрим их ниже.

В в заключение этой главы я хочу отметить, что написал я тут так мало вовсе не потому, что тема эта такая незначительная, нет! Просто про регулярные выражения и мною и без меня написано уже слишком много, повторять мне не хочется, в вашей ОС есть множество документации по RE, и её всегда можно найти даже без интернета, если у вас есть даже самый поганый выход в сеть, вы всегда сможете найти то-же самое ещё и по-русски! Регулярные выражения страшны и непонятны только первое время, уверяю вас, уже через недельку активного использования, вы не только станете их понимать, но и даже почувствуете красоту некоторых формул!

Удачи!

Чуть выше был пример с ошибкой. В чём-же заключается ошибка? Давайте попробуем:

$ echo "ABC-234XYZ+17sss" | sed -r 's/.*([-+]?[0-9]+).*/\1/'
7

Видно, что наше RE захватило всего-лишь последнюю цифру, а не число, как ожидалось. Это не баг, а фича. Далее подробно будет рассказано, почему так, и как добиться ожидаемого поведения. Сейчас только замечу, что выражения с квантификаторами sed делит на части, и ищет их все в строке, например здесь выражение делится на 4 части:

/.*/

/[-+]?/

/[0-9]+/

/.*/

Совпадение (а значит и замена) будет тогда, и только тогда, когда будут найдены все четыре части. Причём каждая часть ищется независимо и параллельно одна от другой. Причём каждое выражение захватывает сколько сможет. Выражение, которое стоит вначале, захватывает больше всех. Вот и в нашем случае, /.*/ пожрало все символы, кроме одной семёрки - одну семёрку ей пришлось оставить, т.к. выражение /[0-9]+/ совпадает только лишь с одним символом(или с несколькими, но не с пустой строкой), и если-бы звёздочка пожрала-бы и семёрку, то совпадения не было-бы вообще.

А вот + (плюс) от 17и был успешно пожран первой звёздочкой, она может это себе позволить, по той причине, что выражение /[+-]?/ может довольствоваться ничем. Вот оно ничто и получило. А именно место между `1' и `7'.