Sed
Шаблон:Заголовок со строчной буквы Шаблон:Карточка программы sed (от англ. Шаблон:Lang-en2) — потоковый текстовый редактор (а также язык программирования), применяющий различные предопределённые текстовые преобразования к последовательному потоку текстовых данных.
Первоначально был написан как UNIX-утилита Ли Макмэхоном (англ. Шаблон:Lang-en2) из Bell Labs в 1973—74 годах. Сейчас sed доступен фактически для любой операционной системы, поддерживающей работу с командной строкой.
Sed является Тьюринг-полным языком, так как на нём можно создать машину Тьюринга<ref>Шаблон:Cite web</ref><ref>Шаблон:Cite web</ref>.
Описание
sed получает входной поток (обычно файл) построчно, редактирует каждую строку согласно правилам, определённым в sed-скрипте с использованием простого языка sed, и затем выводит результат в выходной поток.
sed часто называют неинтерактивным текстовым редактором. Он отличается от обычных текстовых редакторов «инвертированностью» по отношению к тексту и набору команд редактирования. Обычные текстовые редакторы вначале загружают весь текст документа, а затем применяют к нему команды по одной, в то время как sed вначале загружает в себя набор команд, а затем применяет весь набор команд к каждой строке текста. Так как одновременно в памяти находится только одна строка, sed может обработать произвольно большие текстовые файлы.
Набор команд sed сделан по образцу редактора ed, однако необходимо помнить о его инвертированности. Например, команда 25d редактора ed означает «идите к строке 25 и удалите её», в то время как та же команда sed означает «если это строка с номером 25, то удалите (не выводите) её». Известное исключение — это команды копирования и перемещения, которые охватывают диапазон строк и таким образом не имеют прямых эквивалентов в sed. Вместо этого sed вводит дополнительный буфер, названный «пространством захвата», и дополнительные команды для управления им. Например, команда «скопировать строку 25 в строку 76» (25t76) в ed была бы закодирована как две отдельные команды (25h; 76g) в sed для того, чтобы сохранить строку в пространстве захвата до тех пор, пока данные не будут извлечены.
Следующий пример демонстрирует типичное использование sed:
<source lang="bash">
sed -e 's/oldstuff/newstuff/g' inputFileName > outputFileName
</source> Здесь s — замена; g — глобально, что означает «все вхождения искомого значения». После первого прямого слеша расположено регулярное выражение для поиска, после второго — выражение для замены. Однако, помимо слеша может использоваться и другой символ. Так, например, выражения
<source lang="bash"> echo 123123| sed 's/1/5/g' echo 123123| sed 's%1%5%g' echo 123123| sed 's$1$5$g' echo 123123| sed 's|1|5|g' </source> полностью равнозначны.
Команда замены (s///) является самой мощной и часто используемой командой sed. Перенаправление стандартного вывода «> outputFileName» можно опустить, тогда sed выведет результат на экран.
В Unix команда sed часто используется в виде фильтра в конвейере (| или pipe): <source lang="bash">
generate_data | sed -e 's/x/y/'
</source> Таким образом генерируются данные и передаются на конвейер, чтобы заменить x на y.
Несколько команд могут быть объединены в одном файле (например, subst.sed) и затем применены в виде:
<source lang="bash">
sed -f subst.sed inputFileName > outputFileName
</source>
Или можно написать файла скрипта, используя шебанг. Например, создав исполняемый файл subst.sed с содержимым:
<source lang=bash>
- !/bin/sed -f
s/x/y/g </source>
Его можно выполнять непосредственно: <source lang=bash> subst.sed inputFileName > outputFileName </source>
Помимо замены, возможны и другие формы простой обработки. Например, следующий сценарий удаляет пустые строки или строки, которые содержат только пробелы: <source lang="bash">
sed -e '/^\s*$/d' inputFileName
</source>
Последний пример использовал часть регулярных выражений-метасимволов:
- ^ Соответствует началу строки
- $ Соответствует концу строки
- . Соответствует любому единственному символу
- * Соответствует нулю или более повторений предшествующего символа
- [ ] Соответствуют одному любому из символов, включённых в квадратные скобки между [ и ]
- [^ ] Соответствуют одному любому из символов, не включённых в квадратные скобки между [^ и ]
- \буква соответствуют одному любому символу из определённого класса символов, в частности \s — это любой пробельный символ.
Комплексные конструкции sed возможны до такой степени, что он может быть представлен как высоко специализированный, хотя и простой, язык программирования. Потоком управления, например, можно управлять при помощи метки (двоеточие, за которым следует строка, которая должна быть именем метки) и инструкции ветвления b; инструкция b, за которой следует правильное имя метки, переместит обработку в блок после метки; если метка не существует, тогда ветвление завершит сценарий (скрипт).
sed — это одна из наиболее ранних команд Unix, которые позволяли обрабатывать файлы данных из командной строки. sed развился как естественный преемник популярной команды grep. Родственный более позднему языку программирования AWK, sed позволил применять в shell скриптах мощную и интересную обработку данных, и был одним из первых инструментов Unix, действительно поощрявшим адекватно использовать регулярные выражения.
sed и awk часто считаются прародителями и вдохновителями языка Perl, и в особенности синтаксиса «s///» из примера выше.
У языка sed нет переменных, есть только примитив GOTO и выполняющие ветвление функциональные возможности; тем не менее это тьюринг-полный язык.
GNU sed имеет несколько новых особенностей, например замещающая правка файлов (замена первоначального файла результатом работы sed). Замещающая правка часто используется вместо сценария ed, например <source lang="bash">
sed -i 's/abc/def/' file
</source> может использоваться вместо <source lang="bash">
ed file 1,$ s/abc/def/ w q
</source>
Существует расширенная версия sed, называемая Super-sed (ssed), которая включает регулярные выражения, совместимые с Perl.
Таблица соответствия спецсимволов
Использование HEX-16 позволяет вставлять спецсимволы
| Символ в ASCII | Соответствие в HEX-16 |
|---|---|
| " | \x22 |
| ' | \x27 |
| , | \x2C |
| $ | \x24 |
| ! | \x21 |
| ; | \x3B |
| ` | \x60 |
| | | \x7C |
Пример использования:
Требуется: заменить"hello" на "hello world"
<source lang="bash"> sed 's/\x22hello\x22\x2C/\x22hello world\x22\x2C/g' </source>Часть символов в HEX-16 продолжает восприниматься как регулярные выражения и требует экранирования.
Пример:
Требуется: заменить $config['default_host'] = ''; на $config['default_host'] = 'localhost';<source lang="bash"> sed -i 's/\x24config\[\x27default_host\x27\] = \x27\x27\x3B/\x24config\[\x27default_host\x27\] = \x27localhost\x27\x3B/g' /etc/roundcube/config.inc.php </source>
См. также
- grep — поиск текста по регулярным выражениям.
Примечания
Ссылки
- Системное руководство по sedШаблон:Ref
- Неинтерактивный текстовый редактор sedШаблон:Ref
- Документация по sedШаблон:Ref
- Однострочные скрипты sed Шаблон:WaybackШаблон:Ref
- Однострочные скрипты sedШаблон:Ref
- Редактирование /etc/network/interfaces в Debian средствами sed Шаблон:WaybackШаблон:Ref
- Просто о sedШаблон:Ref
- Шпаргалка SedШаблон:Ref
- sed на SourceForge.netШаблон:Ref
- The sed FAQШаблон:Ref