imported>Alex NB OT: унификация языковых шаблонов

2025-11-15T11:10:31Z

унификация языковых шаблонов

Новая страница

'''UTF-16''' ({{lang-en|Unicode Transformation Format, 16-bit}}) в [[Информатика|информатике]] — метод [[сериализация|сериализации]] юникодного текста (то есть последовательности ''кодовых позиций'' [[Юникод]]а) в последовательность 16-[[бит]]ных слов.

Данная кодировка позволяет записывать символы Юникода в диапазонах U+0000..U+D7FF и U+E000..U+10FFFF (общим количеством {{число|1112064}}). При этом каждый символ записывается одним или двумя словами (последнее называется '''суррогатная пара'''). Кодировка UTF-16 описана в приложении Q к международному стандарту [[ISO/IEC 10646]], а также ей посвящён IETF RFC 2781 «UTF-16, an encoding of ISO 10646».

С появлением UTF-16 название '''UCS-2''' (универсальная двухбайтовая кодировка) '''устарело'''.

== История появления ==
Первая версия Юникода (1991 г.) представляла собой 16-битную кодировку с фиксированной шириной символа; общее число разных символов было 216 ({{число|65536}}). Во второй версии Юникода (1996 г.) было решено значительно расширить кодовую область; для сохранения совместимости с теми системами, где уже был реализован 16-битный Юникод, и была создана UTF-16. Область 0xD800—0xDFFF, отведённая для суррогатных пар, ранее принадлежала к области «символов для частного использования».

Поскольку в UTF-16 можно отобразить {{math|220+216−211}} ({{число|1112064}}) символов, то это число и было выбрано в качестве новой величины кодового пространства Юникода.

== Принцип кодирования ==
{| align="right" class="standard" style="margin-left: 20px" cellpadding="8"
|
!DC00
!…
!DFFE
!DFFF
|-
!D800
|010000||…||0103FE||0103FF
|-
!D801
|010400||…||0107FE||0107FF
|-
!…
| colspan=4 align="center" |…
|-
!DBFF
|10FC00||…||10FFFE
| bgcolor="#666666" | 
|}

В UTF-16 символы кодируются двухбайтовыми словами с использованием всех возможных диапазонов значений (от 0 до FFFF16).
При этом можно кодировать символы Unicode в диапазонах 000016..D7FF16 и E00016..FFFF16.
Исключенный отсюда диапазон D80016..DFFF16 используется как раз для кодирования так называемых суррогатных пар — символов, которые кодируются двумя 16-битными словами.

Символы Unicode до FFFF16 включительно (исключая диапазон для суррогатов) записываются как есть 16-битным словом.

Символы же в диапазоне 1000016..10FFFF16 (больше 16 бит) кодируются по следующей схеме:

* Из кода символа вычитается 1000016. В результате получится значение от нуля до FFFFF16, которое помещается в разрядную сетку 20 бит.

* Старшие 10 бит (число в диапазоне 000016..03FF16) суммируются с D80016, и результат идёт в ведущее (первое) слово, которое входит в диапазон D80016..DBFF16.

* Младшие 10 бит (тоже число в диапазоне 000016..03FF16) суммируются с DC0016, и результат идёт в последующее (второе) слово, которое входит в диапазон DC0016..DFFF16.

== Порядок байтов ==

Один символ кодировки UTF-16 представлен последовательностью двух байтов или двух пар байтов.
Который из двух байтов идёт впереди, старший или младший, зависит от [[порядок байтов|порядка байтов]].
Систему, совместимую с процессорами [[x86]], называют {{lang-en2|[[порядок байтов|little endian]]}}, а с процессорами [[m68k]] и [[SPARC]] — {{lang-en2|[[порядок байтов|big endian]]}}.

Для определения порядка байтов используется [[Byte order mark|метка порядка байтов]] ({{lang-en|Byte order mark}}). В начале текста записывается код U+FEFF. При считывании, если вместо U+FEFF считалось U+FFFE, значит порядок байтов обратный (little endian), поскольку код U+FFFE в Юникоде не кодирует символ и зарезервирован как раз для целей определения порядка байтов. Так как в кодировке UTF-8 не используются значения 0xFE и 0xFF, можно использовать метку порядка байтов как признак, позволяющий различать UTF-16 и UTF-8.

=== UTF-16LE и UTF-16BE ===
Предусмотрена также возможность внешнего указания порядка байтов — для этого кодировка должна быть описана как '''UTF-16LE''' или '''UTF-16BE''' (little-endian / big-endian), а не просто UTF-16. В этом случае метка порядка байтов (U+FEFF) не нужна.

== UTF-16 в ОС Windows ==
{{main|Юникод в операционных системах Microsoft}}
В [[Интерфейс программирования приложений|API]] [[Win32]], распространённом в современных версиях операционной системы [[Microsoft Windows]], имеется два способа представления текста: в форме традиционных 8-битных [[кодовая страница|кодовых страниц]] и в виде UTF-16.

При использовании UTF-16, Windows не накладывает ограничений на прикладные программы касательно кодирования текстовых файлов, позволяя им использовать как UTF-16LE, так и UTF-16BE посредством установки и трактовки соответствующей [[Маркер последовательности байтов|метки порядка байтов]]. Однако внутренний формат Windows — всегда UTF-16LE. Этот момент следует учитывать при работе с [[Portable Executable|исполняемыми файлами]], использующими юникодовые версии функций WinAPI. Строки в них всегда кодируются в UTF-16LE<ref>{{Cite web |url=https://msdn.microsoft.com/en-us/library/windows/desktop/dd374101(v=vs.85).aspx |title=Using Byte Order Marks|lang=en|access-date=2016-02-18 |archive-date=2016-01-22 |archive-url=https://web.archive.org/web/20160122202803/https://msdn.microsoft.com/en-us/library/windows/desktop/dd374101(v=vs.85).aspx |url-status=live }}</ref>.

В [[файловая система|файловых системах]] [[NTFS]], а также [[File Allocation Table|FAT]] с поддержкой длинных имён, [[имя файла|имена файлов]] записываются также в UTF-16LE.

== Примеры процедур ==
Примеры ниже записаны на псевдокоде и в них не учитывается маска порядка байтов — они лишь показывают суть кодирования.
Порядок байтов — от младшего к старшему (Little-Endian, интеловский x86).
Тип <code>Word</code> — двухбайтовое слово (16-битное беззнаковое целое), а тип <code>UInt32</code> — 32-битное беззнаковое целое.
Шестнадцатеричные значения начинаются со знака доллара «$».

=== Кодирование ===
В примере <code>WriteWord()</code> — условная процедура, которая пишет одно слово (при этом сдвигает внутренний указатель).
Функция <code>LoWord()</code> возвращает младшее слово от 32-битного целого (старшие биты, не глядя, отбрасываются).

<source lang="pascal">
// Допустимые значения Code: $0000..$D7FF, $E000..$10FFFF.
Procedure WriteUTF16Char(Code: UInt32)
If (Code < $10000) Then
WriteWord(LoWord(Code))
Else
Code = Code - $10000
Var Lo10: Word = LoWord(Code And $3FF)
Var Hi10: Word = LoWord(Code Shr 10)
WriteWord($D800 Or Hi10)
WriteWord($DC00 Or Lo10)
End If
End Procedure
</source>

=== Декодирование ===
В примере <code>ReadWord()</code> читает слово из потока (сдвигая при этом внутренний указатель).
Она же при необходимости может корректировать порядок байтов.
Функция <code>WordToUInt32</code> расширяет двухбайтовое слово до четырёхбайтового беззнакового целого, заполняя старшие биты нулями.
<code>Error()</code> прерывает выполнение (по сути [[Обработка исключений|исключение]]).

<source lang="pascal">
// В случае успеха возвращаются значения
// в диапазонах $0000..$D7FF и $E000..$10FFFF.
Function ReadUTF16Char: UInt32
Var Leading: Word // Лидирующее (первое) слово.
Var Trailing: Word // Последующее (второе) слово.

Leading = ReadWord();
If (Leading < $D800) Or (Leading > $DFFF) Then
Return WordToUInt32(Leading)
Else If (Leading >= $DC00) Then
Error("Недопустимая кодовая последовательность.")
Else
Var Code: UInt32
Code = WordToUInt32(Leading And $3FF) Shl 10
Trailing = ReadWord()
If ((Trailing < $DC00) Or (Trailing > $DFFF)) Then
Error("Недопустимая кодовая последовательность.")
Else
Code = Code Or WordToUInt32(Trailing And $3FF)
Return (Code + $10000)
End If
End If
End Function
</source>

== Примечания ==
{{примечания}}

== Ссылки ==
* [http://www.unicode.org/notes/tn12/ Unicode Technical Note #12: Обработка UTF-16]{{ref|en}}
* [http://www.unicode.org/faq/utf_bom.html#utf16-11 Unicode FAQ: В чём разница между UCS-2 и UTF-16?]{{ref|en}}
* {{Inet-note-ref|type=rfc|id=2781|text=RFC 2781: UTF-16, an encoding of ISO 10646}}{{ref|en}}
* [http://www.unicode.org/ Полное описание стандарта Unicode]{{ref|en}}
* [http://www.cl.cam.ac.uk/~mgk25/ucs/ISO-10646-UTF-16.html ISO-10646-UTF-16 (Информация о конвертировании больших значений в два слова UTF-16)]{{ref|en}}

{{Кодировки символов}}

[[Категория:Юникод]]
[[Категория:Компьютерные кодировки]]

UTF-16 - История изменений

imported>Alex NB OT: унификация языковых шаблонов