Непейвода Н.Н., Скопин И.Н. Основания программирования

Подождите немного. Документ загружается.

13.3. ЯЗЫКИ РАЗМЕТКИ

765

ся с использованием баз знаний-утверждений, являющихся следствиями из

имеющихся фактов, всегда можно было бы формулировать в такой разделен-

ной манере: сначала задаются факты, затем предложения-соотношения и да-

лее идет манипулирование информацией. На самом деле так формулируемые

решения пригодны только для весьма узкого класса задач, которые характе-

ризуются стабильностью фактов. Даже для лабиринта этого мало: должны

динамически включаться факты о посещении комнат. В результате разработ-

чикам языка пришлось искать дополнительные средства выражения требуе-

мых действий. Ничего лучшего по сравнению с известными операционными

методами они не нашли и включили соответствующие средства в язык, пол-

ностью потеряв концепцию Хорна.

Далее, нужно было бы значительно лучше и с самого начала продумать

вопросы связи с другими языками и использования языка идей в многоязыко-

вой и многостилевой методологии программирования. Впрочем, то же самое

относится и к языкам

Peфал

LISP

§ 13.3. ЯЗЫКИ РАЗМЕТКИ

Поскольку различные виды сентенциального программирования исполь-

зуют уже структурированную область видимости, возникает вопрос о спо-

собах описания структуры достаточно сложной информации. Эта область

лучшее всего разработана для информации, основную часть которой соста-

вляют тексты. Имеются специальные языки разметки, которые позволяют

выделять в тексте внутреннюю структуру и задавать его представление на

каком-либо внешнем носителе (экране либо печатном документе). Здесь мы

ознакомимся с двумя наиболее широко применяемыми языками разметки из

разных областей.

13.3.1. T

X и L

Д. Кнут, детально ознакомившись с типографским процессом в ходе под-

готовки к печати своих книг [40],предложил язык типа ассемблера для описа-

ния процесса верстки документа, содержащего сложнейшие математические

формулы. Этот язык T

до сих пор остается базовым языком для большин-

ства систем подготовки текстов, содержащих сложные формулы (математи-

Читается по-русски “тех”, поскольку, по разъяснению Кнута, буквы в названии не латин-

ские, а греческие, от слова τεχνικoς.

766

ГЛАВА 13. СЕНТЕНЦИАЛЬНЫЕ МЕТОДЫ

ческих, физических, химических).

Одновременно с ‘ассемблером’ T

X Д. Кнут описал технологию рабо-

ты на нем. Описывать структуру текста нужно не на уровне ассемблера, а

на уровне системы макроопределений над этим ассемблером, образующей

практически новый язык гораздо более высокого уровня (формат). Сам Кнут

предложил в качестве примера такого формата язык

plain

X; и T

X, и

plain

X описаны в книге [39].

X — формат T

Xа, ставший практически монополистом в настоящее

время. Он, в частности, практически вытеснил формат AMS-T

X, который

навязывался в качестве стандарта Американским математическим обществом,

при этом включив в себя самые привлекательные особенности языка AMS-

X четко проводит основную идею языков разметки: команды языка раз-

метки вставлены в массив данных, а не наоборот, как в языках программи-

рования.

При работе над текстом T

X постепенно преобразует данные в элемен-

тарные команды и в качестве последнего промежуточного представления да-

ет линейную последовательность команд, каждая из которых специфицирует

расположение на странице элементарного куска текста (например, символа

или графического файла) либо переход к следующей странице текста. На-

пример, лого T

X превращается в следующую последовательность элемен-

тарных команд:

\hbox(6.8831+2.15277)x18.6108

.\tenrm T

.\kern -1.66702

.\hbox(6.83331+0.0)x6.80567, shifted 2.15277

..\tenrm E

.\kern -1.25

.\tenrm X

Cентенциальность облегчает возможность делать активными структурные единицы пере-

рабатываемых данных, и именно это качество используется во всех языках, которые нагру-

жают разметку смыслом, в частности, выполнением определенных действий. В этом плане

уместно сравнить сентенциальный и функциональный стили, общность которых в том, что в

обоих случаях данные и действия естественно описывать сходными (и даже изоморфными)

структурами. В

LISP

на базе этого изоморфизма введен функционал

(EVAL Expression)

, по-

зволяющий проинтерпретировать как программу значение, получившееся в результате вы-

числения

Expression

. Но попытки прямой активизации данных чужеродны функциональ-

ным языкам.

13.3. ЯЗЫКИ РАЗМЕТКИ

767

Эта линейная последовательность команд интерпретируется в команды си-

стемы вывода (в нынешние времена обычно в язык

Postscript

То, что здесь речь идет именно о текстах, с концептуальной точки зрения

не принципиально (хотя данные других типов, разумеется, потребуют других

средств). Главное — факт активизации структурных единиц перерабатывае-

мого материала.

Структура обрабатываемого текста может быть в первом приближении

задана следующим индуктивным определением.

a) Последовательность символов является обрабатываемым текстом.

b) Обрабатываемый текст, заключенный в пару соответствующих друг дру-

гу скобок, является обрабатываемым текстом. Такая единица называется

группой.

c) Атом, после которого в случае, если определение этого атома требует па-

раметров, идут соответствующие параметры, называется командой. Доба-

вление команды к обрабатываемому тексту дает обрабатываемый текст.

Внутри разных групп один и тот же текст может пониматься по-разному. Да-

же конкретный синтаксис атомов может быть переопределен!

Таким образом, структура текста носит подчеркнуто иерархический ха-

рактер. Иерархия перекрещивается с другими структурами. Прежде всего,

это структура результирующего текста.

В стандартном конкретном синтаксисе группировку задают, в частности,

символы

{}

. Имеется потенциально бесконечное число других пар скобок,

например, пара команд

\begingroup

\endgroup

, выполняющих ту же функ-

цию, что и фигурные скобки. Важнейшими и наиболее часто используемыми

скобочными структурами являются окружения. Окружения выделяются па-

рой команд, имеющих в конкретном синтаксисе чаще всего форму, подобную

следующей:

\begin{example}

\end{example}

Некоторые окружения заданы в самом языке, а другие (как, например, при-

веденное только что) описываются программистом.

Далее, исключительно важными единицами структурирования являются

боксы, которым могут быть приписаны глобальные свойства, а внутри них

все форматирование и обработка осуществляется независимо от окружения.

Эта структура опускается вниз до результирующей последовательности ко-

манд (где уровни вложенности боксов отмечены точками в начале строк).

768

ГЛАВА 13. СЕНТЕНЦИАЛЬНЫЕ МЕТОДЫ

Например, текст вставка порожден при помощи

команды

\makebox[15em][c]{вставка},

которая превратила внутренний текст в нераздельное целое, объявила для

внешнего использования его длиной

15em

(ширину 15букв mтекущего шриф-

та) и поместила результат обработки текста в центр получившегося проме-

жутка. Текст, помещенный внутрь бокса, уже не может быть, например, раз-

бит переносами, он целиком размещается на одной строчке. С точки зрения

окружающего контекста бокс выглядит как один большой символ.

И, наконец, самый верхний этаж структуры текста — его рубрикация, си-

стема заголовков. Например, данный параграф описан при помощи команды

\subsection{\TeX{} и \LaTeX}

Хотя формально заголовки не входят в иерархическую структуру групп, все

группы, начатые после заголовка, должны быть завершены до следующего

заголовка.

С локальной точки зрения текст делится на:

a) символы, которые в свою очередь подразделяются, в частности, на:

i. буквы,

ii. пробелы,

iii. переводы строки,

iv. другие символы;

b) атомы (типичный пример атома — последовательность

\TeX

, производя-

щая лого);

c) активные символы (неявно вызывающие команды; в частности, в паке-

те

Babel

, поддерживающем разные языки, все русские буквы объявлены

активными символами; спасибо русским программистам!);

d) символы группировки: начало группы

{

и конец группы

}

;

e) символ комментария

(после него вся оставшаяся часть строки игнори-

руется;

Некоторые неприниципиальные классы символов опущены.

13.3. ЯЗЫКИ РАЗМЕТКИ

769

f) другие символы переключения режимов (например, символ ^ включает

режим верхнего индекса, символ \ переключает лексический анализатор

в режим создания атома).

Из сказанного выше видно, что обработка текста процессором языка раз-

метки T

X включает в себя прежде всего глубокое преобразование текста

на самом языке T

X, постепенно низводя его на самый низший уровень ко-

манд. Поэтому язык T

X снабжен мощной системой обобщенных вычисле-

ний, которая практически не видна его обычным пользователям, поскольку

они ограничиваются системами определений и метаопределений, образую-

щих пакеты и форматы языка T

В современной терминологии, формат языка T

X — глобальная система

определений, задающая практически новый язык разметки, в основном рас-

ширяющий T

Пакет аналогичен модулю в языках программирования

и пишется для более частных целей. Данный текст подготовлен с помощью

стандартного формата L

X2ε и пакета

fﬁt

, написанного одним из авторов.

Система обобщенных вычислений языка T

X важна еще и потому, что

она впитала в себя опыт мощного средства высокоуровневого программиро-

вания, бурно развивавшееся до 80-х гг. Возврат к этому средству на будущем

витке развития неизбежен, и поэтому забывать его не стоит. Это языки ма-

кроопределений или макрокоманд.

Основной внутренней единицей системы T

X является атом (токен, в

терминологии T

X) — последовательность символов, рассматриваемая как

неделимая. Обычные символы являются токенами. Далее, в обычном кон-

кретном синтаксисе как токен рассматривается последовательность, подоб-

ная

\this

, начинающаяся со спецсимвола

и содержащая лишь буквы. И, на-

конец, любой символ дает возможность определить простейший токен, на-

пример,

Каждому токену, не являющемуся символом, должно быть сопоставлено

определение, или (макро)раскрытие, имеющее вид

\def\ИМЯ ПАРАМЕТРЫ {ТЕКСТ ПОДСТАНОВКИ}

Внутри текста подстановки параметры обозначаются выражениями

, ...,

И что исключительно важно, одновременно запрещающий использование некоторых низ-

коуровневых возможностей языка T

X, замещенных более высокоуровневыми средствами

формата! В современных пакетах и инструментальных системах уж очень заботятся о со-

вместимости назад, стесняясь запретить низкоуровневые средства, вступающие в глубокое

концептуальное противоречие с предлагаемыми высокоуровневыми. Сообщество T

X с са-

мого начала отказалось от этого фетиша и не жалеет о нем.

770

ГЛАВА 13. СЕНТЕНЦИАЛЬНЫЕ МЕТОДЫ

. Таким образом, несимвольные атомы (и активные символы тоже) играют

роль имен.

Когда токен, которому сопоставлено определение, встречается в тексте в

‘нормальной’ позиции, следующий за ним текст отождествляется с его па-

раметрами, причем каждый параметр должен быть сбалансирован по сим-

волам группировки (в стандартном конкретном синтаксисе { и }), а в слу-

чае, если он является заключенной в такие скобки группой, охватывающие

группу скобки опускаются (следующая пара уже остается нетронутой) и про-

изводится замена вхождения вызова макрокоманды на текст подстановки, в

котором параметры заменяются их значениями. Например, при раскрытии

токена

\twophrases

, определенного как

\def\twophrases #1. #2. {(#1) (#2)}

формально-лексически (по критерию того, что предложение заканчивается

точкой, после которой идет пробельный символ) выделяются следующие за

командой два предложения и они заключаются в скобки.

На первый взгляд данная система кажется крайне бедной по своим воз-

можностям, но уже в ее основе заложена рекурсивность и взаимная рекур-

сивность вызовов, и, более того, возможность, которая отсутствует в т. н. вы-

сокоуровневых языках. Внутри подставляемого текста может быть оператор

\def

, который произведет в момент вызова макроса новое определение, при-

чем его текст может варьироваться в зависимости от значений параметров

объемлющего определения. Таким образом, новые определения могут поро-

ждаться динамически!

Чтобы отличать параметры внутренних определений от параметров внеш-

него, внутри текста подстановки символ

обозначается

, и, соответствен-

но, параметр

внутреннего определения обозначается как

##1

Конечно же, имеется система операторов выбора, и здесь стоит остано-

виться на одном красивом решении, которое является изобретением систе-

мы T

X. Стандартным способом создания условных операторов является их

определение оператором

\newif

,который одновременно вводит булевскую пе-

ременную, использующий ее логический оператор и операторы установки ее

значения.

Пример 13.3.1. Когда при подготовке данного текста возникла необходи-

мость срочно издать его сокращенный вариант для отчета по гранту, в пре-

амбулу текста был вставлен оператор

\newif\iffull

Тем самым были определены операторы установки новой логической пе-

13.3. ЯЗЫКИ РАЗМЕТКИ

771

ременной (не имеющей явного имени) в

истину

и в

ложь

, соответственно:

\fulltrue

\fullfalse

, а в тексте появилась дополнительная разметка типа

Эти соглашения \iffull для глобальных переменных заменяются на проти-

воположные. Глобальная переменная, определенная во внутреннем блоке,

отождествляется с глобальной переменной, определенной в самом внеш-

нем блоке. \else имеют исключения. \ﬁ

После этого достаточно заменить в начале текста

\fulltrue

на

\fullfalse

, чтобы

перейти от полного варианта к сокращенному.

Конец примера 13.3.1.

Конечно же, при программировании возникают переменные. Один вид пере-

менных в T

X мы уже видели: логические. Кроме них, имеются более явно

вводимые переменные для фиксированного множества других типов, в част-

ности:

• Целые, для 64-разрядных целых чисел.

• Переменные для длин, значениями которых служат размеры.

• Переменные для боксов.

Имеются функции вычисления размеров фрагментов текста, обозначаемые

подобно вызовам макрокоманд, операции присваивания и логические опера-

торы, причем для каждого типа они свои.

Заметим, что в некотором смысле любой токен является переменной, по-

скольку определение его в любой момент может быть заменено. Но для то-

кенов имеется и явная операция присваивания:

\let\this=\that

При этой операции токен

\this

получает то же определение, которое имеет

токен

\that

в момент исполнения присваивания.

Иерархичность доведена в языке T

X до логического конца. Локальны и

определения, и присваивания. После конца группы, вообще говоря, отменя-

ются все сделанные в ней определения и присваивания. Так что внутри груп-

пы можно изменять значения переменных, не беспокоясь о том, как это ска-

жется на глобальном контексте.

Проблемы конфликта определений в T

X вообще нет. Если дано новое

определение того же токена, то оно просто заменяет старое, и действует по-

следнее из определений, которое встретилось в данной группе или в ее объ-

емлющих. Более того, отсутствие определения для токена является семанти-

772

ГЛАВА 13. СЕНТЕНЦИАЛЬНЫЕ МЕТОДЫ

ческой, а не синтаксической ошибкой. Оно проверяется лишь в момент, ко-

гда токен оказывается в позиции имени макроса. Оно может быть проверено

с помощью оператора

\ifundeﬁned \this ... \ﬁ

Конечно же, предоставлены все возможности для (применяя собственное

выражение Д. Кнута) ‘грязных трюков’. В частности, любое определение ли-

бо присваивание может быть сделано глобальным (оно будет воздействовать

на экземпляр токена в самой внешней группе и отменит все более локальные

определения и присваивания), просто путем постановки перед ним

\global

Как и полагается по функциональной семантике, в момент обработки опре-

деления текст подстановки не раскрывается. Но имеется возможность дина-

мически раскрыть определение в тот момент, когда оно встретилось, и произ-

вести все возможные вызовы макросов внутри подставляемого текста зара-

нее. Для этого достаточно воспользоваться оператором

\edef

вместо

\def

. Со-

ответственно, есть и возможность при таком действии защитить некоторые

токены от преждевременного раскрытия.Для этого служит команда

\noexpand

которая при раскрытии исчезает, но запрещает раскрывать следующий за ней

токен.

Еще одна спецификация такова, что к грязным трюкам ее не отнесешь,

скорее стоит пожалеть об отсутствии такой возможности в ‘развитых’ язы-

ках. Специфицировав определение как

\outer

, мы требуем тем самым трак-

товать как ошибку вызов данной команды в операнде другой команды или

в альтернативе условного оператора. Именно такой статус имеют команды

рубрикации.

И, наконец, для людей с хакерскими наклонностями есть целый набор

тонких возможностей изменять порядок раскрытия определений.

•

\expandafter

сначала оставляет данный токен нераскрытым, раскрыва-

ет следующий за ним, ставит перед получившимся выражением запо-

мненный токен и возвращается к его раскрытию.

•

\futurelet

раскрывает следующий за присваиванием токен и уже после

этого производит присваивание.

•

\afterassignment

запоминает данный токен и возвращает его в текст по-

сле того, как будет выполнено какое-нибудь присваивание. Если это

присваивание боксовой переменной, то токен будет помещен в начало

запомненного бокса.

•

\aftergroup

запоминает данный токен и возвращает его в текст после

того, как завершится текущая группа.

13.3. ЯЗЫКИ РАЗМЕТКИ

773

Теперь несколько слов о наиболее популярном формате L

X. Эта над-

стройка приблизила структуру T

Xовского текста к структуре языков высо-

кого уровня. L

X формально запретил ряд низкоуровневых команд систе-

мы T

X, ввел новые конструкции высокого уровня (в частности, команды

\label{ИМЯ}

\ref{ИМЯ}

для автоматизации перекрестных ссылок). Он, хотя и

не запретил формально команду

\def

, но ограничил ее применение внутрен-

ними потребностями самой системы L

X и создаваемых пакетов.

Вместо нее предоставлена система определений более высокого уровня,

в которых обращение к новым командам стандартизовано, и производится в

момент их определения проверка конфликта описаний. Эти команды следу-

ющие.

•

\newcommand

дает ошибку, если такая команда уже есть в системе.

•

\renewcommand

наоборот, дает ошибку, если такой команды не было.

Эта команда используется в основном для локального переопределения

параметров.

•

\providecommand

ошибки не дает. Она проверяет, есть ли такая коман-

да. Если она уже есть, Ваше определение игнорируется, если ее нет,

оно принимается.

Макрогенерация, вообще говоря, включает возможность переопределе-

ния базовых символов, но это мало где реализовано. T

X является приятным

исключением. Роли особых символов, указанные в самом начале, также мо-

гут быть в любой момент переопределены, и эти переопределения также ло-

кальны.Этим,в частности,воспользовалась система L

Xдля создания имен

команд, недоступных внутри текста, обрабатываемого системой. Символ @

рассматривался в исходном T

Xе как буква. В ядре формата L

X определе-

ны, в частности, следующие две команды.

\makeatletter

исполняется внутри

тел подстановки команд и разрешает использование имен команд, содержа-

щих @,

\makeatother

исполняется перед началом основного форматируемого

текста и закрывает от пользователя такие команды.

В целом T

X сделал большой шаг по пути избавления языка от прокля-

тия конкретного синтаксиса: за счет системы макрогенерации, собравшей

практически все известные хорошие черты продвинутых макропроцессоров,

можно кардинально менять облик конкретного формата языка.

774

ГЛАВА 13. СЕНТЕНЦИАЛЬНЫЕ МЕТОДЫ

13.3.2. Языки разметки для Internet

Опыт языка T

X оказал громадное влияние на языки разметки. В духе

форматов T

Xа был выдержан

SGML

— стандарт для создания языков раз-

метки, принятый в 1988 г.

SGML

, в свою очередь, породил современные язы-

ки разметки для

Web

-документов.

HTML

Наиболее распространенным из языков разметки Web-страниц является

HTML

. Этот язык разметки был создан и рекламировался как одна из конкре-

тизаций

SGML

. Впервые предложенный в 1974 году Чарльзом Голдфарбом

и в дальнейшем после значительной доработки принятый в качестве офици-

ального стандарта ISO,

SGML

(

Standard Generalized Markup Language

) пред-

ставляет собой метаязык — систему для описания других языков. Он по-

казался слишком сложен для большинства браузеров

Web

, поскольку одна

спецификация языка

SGML

занимает свыше 500 страниц, а потрудиться кор-

ректно использовать внутренний механизм

SGML

для выделения несложного

конкретного полностью соответствующего его стандартам диалекта никто не

пожелал, пока возникшие проблемы не стали слишком острыми.

HTML

до сих пор используется как фактический стандарт представления

документов для показа их наиболее распространенными браузерами

. Тер-

мин ‘разметка’ применительно к документу означает обычно все, что не от-

носится к его информационному наполнению.

В данном пункте мы вернемся к задаче о словах (см. п. 10.2.5), где бы-

ла введена достаточная, но только для данной задачи, разметка. В качестве

разметки можно рассматривать все те элементы текста, которые выделяют

его структурные единицы: строки таблицы, условия, действия и переходы.

Разметка в

SGML

связана с тегированием, т. е. с расстановкой специальных

стандартизованных последовательностей вида

<тег>

содержание

</тег>

где

тег

— имя,которое может быть распознано браузером и каким-то образом

трактовано им,

<тег>

</тег>

— открывающая и закрывающая скобки выде-

ленного содержания — элемента информационного наполнения (им может

быть как обычный текст,так и целая структура,составленная из аналогичных

Стоит заметить, что,хотя

HTML

чаще всего предоставляется серверами по

HTTP

,он также

может использоваться на CD-ROM или в локальной сети. Универсальные языки разметки не

привязаны к какому-либо конкретному транспорту.