ZIP

Шаблон:Значения Шаблон:Файловый формат ZIP — формат архивации файлов и сжатия данных без потерь. Архив ZIP может содержать один или несколько файлов и каталогов, которые могут быть сжаты разными алгоритмами. Наиболее часто в ZIP используется алгоритм сжатия Deflate. Формат был создан в 1989 году Филом Кацем и реализован в программе PKZIP компании PKWARE<ref>Шаблон:Cite news</ref> в качестве замены формату архивов ARC Тома Хендерсона. Формат ZIP поддерживается множеством программ, в том числе операционными системами Microsoft Windows (с 1998 года) и Apple macOS (с версии 10.3). Многие свободные операционные системы также имеют встроенную поддержку ZIP-архивов.

Архивы ZIP обычно хранятся в виде файлов с расширением «.zip» или «.ZIP» и используют MIME-типapplication/zip<ref name="iana"/>. Для создания ZIP-архивов и извлечения (распаковки) содержащихся в них файлов могут использоваться специальные утилиты, например терминальные PKZIP и PKUNZIP<ref>Шаблон:Cite web</ref> или графические WinZip, WinRAR, Info-ZIP, 7-Zip, PeaZip и многие другие. При необходимости ZIP-архив может быть объединён с модулем-распаковщиком в единый исполняемый файл (так называемый SFX-архив).

История

В начале 1980-х годов развивались BBS и FidoNet, и компания Software Enhancement Associates (SEA) придумала формат сжатия ARC, основанный на кодах Хаффмана. Программа распространялась по модели shareware, при этом зарегистрировавшемуся поставлялись исходные тексты.

Программист Фил Кац написал свои программы для работы с такими архивами — PKARC и PKXARC. Работали они вдесятеро быстрее ARC (движок был написан на ассемблере), стоили дешевле, последняя была распаковщиком и распространялась бесплатно. Программы получили такой успех, что Кац бросил работу и основал компанию PKWARE<ref>Шаблон:Cite news</ref>.

В 1988 году SEA засудили Каца за плагиат<ref name="applicrpyto2007-pkzipciph">Шаблон:Книга</ref><ref>Phil Katz (PKARC author) sued by SEA (ARC author) Шаблон:Wayback, 14 Jun 1988, comp.sys.ibm.pc; «Shareware Developers Fight Court Battle Over Copyright Infringement», Daniel J. Lyons, PCWEEK (May 31, 1988)Шаблон:Ref</ref>, при этом онлайн-общественность была против — казалось, что они задним числом делают формат ARC проприетарным и «Голиаф» судит «Давида» (на поверку обе компании состояли из нескольких человек). Оказалось, что в исходном тексте Каца были те же орфографические ошибки, что у SEA. В результате пришли к такому соглашению: Кац платит более 60 тыс. долларов, отчисляет процент от всех будущих продаж ПО для ARC, делает окончательную программу PKPAK и переходит на новый формат.

Так и появился формат ZIP. Название «zip» (со значением «быстро двигаться») было предложено другом Каца, Робертом Махони (Robert Mahoney). Таким названием они подразумевали, что их приложение быстрее ARC и других архиваторов того времени. Наиболее ранняя известная версия спецификации формата ZIP — .ZIP File Format Specification — была опубликована как часть поставки PKZIP 0.9 в файле APPNOTE.TXT в 1989 году. При этом Кац пообещал, что любой может свободно писать свои реализации<ref>Шаблон:Citation</ref><ref>Шаблон:Cite web</ref><ref>Шаблон:Cite web</ref><ref>Шаблон:Cite web</ref><ref>Шаблон:Cite web</ref>.

Репутация Каца как «хорошего парня» быстро сделала ZIP основным форматом архивов на BBS. А SEA не оправилась от плохого пиара и была свёрнута в 1992 году.

История версий

У каждой спецификации формата ZIP есть свой собственный номер, который может не совпадать с номерами версий PKZIP (особенно это справедливо для PKZIP 6 и более новых версий). PKWARE постоянно добавляет возможности в свой формат, но новая версия формата становится доступной только при выходе следующего старшего выпуска программы PKZIP.

Версия спецификации	Год	Новые возможности
2.0	1993	Файлы могут сжиматься методом Deflate<ref name="iana"/>
2.1	1996	Сжатие Deflate64
4.5	2001	Описан 64-битный формат ZIP<ref name="zip45">Шаблон:Cite web</ref>
4.6	2001	Сжатие bzip2 (опубликовано позднее с APPNOTE 5.2)
5.0	2002	Поддержка шифрования DES, 3DES, RC2, RC4 (опубликовано позднее с APPNOTE 5.2)
5.2	2003	Поддержка шифрования AES<ref>Шаблон:Cite web</ref><ref>Шаблон:Cite web</ref>, исправление спецификации шифрования RC2-64
6.1	2004	Описано хранение сертификатов<ref>Шаблон:Cite web</ref>
6.2.0	2004	Описано шифрование центрального каталога<ref name="zip620">Шаблон:Cite web</ref>
6.3.0	2006	Описано хранение имен файлов в формате Юникод (UTF-8)<ref name="zip630">Шаблон:Cite web</ref>; расширен список поддерживаемых алгоритмов шифрования, сжатия (добавлены такие современные методы, как LZMA и PPMd+) и хеширования
6.3.1	2007	Исправлены стандартные значения хеш-функций SHA-256/384/512<ref name="zip-spec">Шаблон:Cite web</ref>
6.3.2	2007	Описан метод сжатия 97 (WavPack)<ref name="zip-spec"/>
6.3.3<ref name="zip-spec"/>	2012	Изменения форматирования документов для облегчения ссылки на PKWARE Application Note от других стандартов, используя такие методы, как JTC 1 REFERENCING пояснительный доклад (RER) в соответствии с указаниями JTC 1 / SC 34 N 1621.
6.3.4<ref name="zip-spec"/>	2014	Обновление адреса офиса PKWARE, Inc.
6.3.5	2018	Задокументированы методы сжатия 16, 96 и 99. DOS метки времени/эпохи и точности. Добавлены дополнительные поля для ключей и расшифровки, а также опечатки и пояснения.
6.3.6	2019	Исправлена типографская ошибка.
6.3.7	2020	Добавлен метод сжатия Zstandard с идентификатором 20.
6.3.8	2020	Идентификатор метода сжатия Zstandard изменён с 20 на 93, что делает предыдущий устаревшим. Задокументированы идентификаторы методов 94 и 95 (MP3 and XZ, соответственно).
6.3.9	2020	Исправлена опечатка в описании выравнивания потока данных.
6.3.10	2022	Добавлено несколько атрибутов для z/OS

Утилита WinZip (начиная с версии 12.1) использует файловое расширение .zipx для ZIP-архивов с современными методами сжатия. В ZIPX в дополнение к классическому Deflate могут применяться методы BZip, LZMA, PPMd, JPEG и WavPack<ref>Шаблон:Cite web</ref><ref>Шаблон:Cite web</ref>. По этой причине файлы ZIPX могут не распознаваться классическими утилитами распаковки ZIP, в которых реализован лишь метод Deflate.

Структура

Формат ZIP-64

ZIP-файлы представляют собой архивы, хранящие несколько файлов. Составляющие архив файлы могут быть сжаты различными способами, в том числе, сохранены без сжатия. Сжатие файлов внутри архива независимо, что позволяет легко извлекать их или добавить новые, без необходимости распаковки или перепаковки всего архива. Такая возможность является явным преимуществом по сравнению с форматом сжатых tar-файлов, которые не допускают простой обработки содержимого с произвольным доступом.

В конце ZIP-файла располагается специальная секция, называемая каталогом. В нем хранится список файлов, находящихся в ZIP-архиве, и данные о местонахождении каждого сжатого файла внутри архива. С использованием данных каталога приложения могут быстро получить полный список файлов из архива, не читая весь ZIP-архив. Файл ZIP-архива также может включать дополнительные данные, не связанные с хранением сжатых данных. В частности, эта возможность позволяет создавать самораспаковывающиеся архивы (SFX), состоящие из приложения-распаковщика и сжатых данных. Такие архивы начинаются с программного кода и распознаются операционной системой в качестве исполняемого файла. При запуске приложение находит ZIP-архив и его каталог и распаковывает файлы, что может быть удобным для передачи архивов пользователям, не имеющим установленных приложений для работы с форматом ZIP. Так как многие приложения распознают формат ZIP по наличию каталога в конце файла, становится также возможным применить простейший стеганографический прием для скрытия архива, добавив архив вслед за каким-либо безобидным файлом, например изображением формата GIF и поменяв расширение файла (по аналогии с так называемым методом «RARJPG»). Большинство приложений отобразит изображение, проигнорировав архив как незначимые мусорные данные, тогда как получатель файла сможет открыть архив после восстановления расширения «.ZIP».

Формат .ZIP использует 32-битный алгоритм CRC для контроля целостности. Также файлы архивов включают в себя две копии каталога архива в целях повышения защиты файлов от порчи данных в процессе передачи или хранения.

Проблемы интернационализации

Версии формата до 6.3.0 не поддерживали хранение имён файлов в Unicode<ref name=":0">Шаблон:Cite web</ref>. Согласно стандарту<ref name=":0" />, имена файлов должны храниться в кодировке CP437, стандартной для IBM PC<ref name=":0" />, однако на практике DOS-архиваторы использовали установленную в системе кодировку. Встроенный архиватор Windows вплоть до 11 версии также использовал при создании архивов кодировку DOS, соответствующую выбранному языку системы, для обеспечения обратной совместимости. В дальнейшем в стандарт были добавлены две возможности хранения имён файлов в Unicode: 1) при установленном бите 11 в поле Флаги общего назначения (General purpose bit flag) имя файла в поле «File name» заголовка должно считаться содержащим UTF-8, а не однобайтную кодировку, и 2) добавлено поле Unicode Path Extra Field, предназначенное для хранения имени файла только в кодировке UTF-8<ref name=":0" />. Некоторые версии архиваторов на платформе Windows в прошлом также использовали кодировку ANSI. Таким образом, для корректной распаковки файлов с именами, содержащими символы отличных от английского языков, необходимо:<ref name=":2">Шаблон:Cite web</ref>

1. Проверить наличие поля Unicode Path Extra Field, и, если оно есть, использовать имя файла из него, оно в кодировке UTF-8.
2. Проверить наличие флага 11 в поле General purpose bit flag, и, если он установлен, считать кодировкой имён файлов в поле «File name» UTF-8.
3. Если поле «ОС упаковки» содержит значение 11 (NTFS, Windows), а значение поле «версия упаковщика» больше или равно 20, считать кодировкой имён файлов в поле «File name» ANSI (Windows) кодировку, соответствующую установленной в системе локали, если такую удаётся подобрать, в противном случае — CP437.
4. Если поле «ОС упаковки» содержит значение 0 (FAT, DOS), а значение поле «версия упаковщика» между 25 и 40 включительно, считать кодировкой имён файлов в поле «File name» локального заголовка ANSI (Windows) кодировку, а центрального заголовка — OEM (DOS) кодировку, соответствующую установленной в системе локали, если такую удаётся подобрать, в противном случае — CP437.
5. В остальных случаях, если поле «ОС упаковки» содержит значение 0 (FAT, DOS), 6 (HPFS, OS/2) или 11 (NTFS, Windows), считать кодировкой имён файлов в поле «File name» OEM (DOS) кодировку, соответствующую установленной в системе локали, если такую удаётся подобрать, в противном случае — CP437.
6. Во всех остальных случаях кодировкой имён файлов в поле «File name» считать установленную в системе кодировку.

Некоторые реализации распаковщиков zip не реализовывали этот алгоритм или реализовывали только частично, вследствие чего при просмотре архива и его распаковке вместо букв национального алфавита пользователь видел хаотичный набор символов, т.н. «крокозябры». С 2016 года данная проблема решена в менеджере файлов и архивов far2l для Linux, BSD и Mac<ref>Шаблон:Cite web</ref>, в 2024 году аналогичное решение добавлено<ref name=":1">Шаблон:Cite web</ref> в версию 7zip, используемую в дистрибутиве Debian и его производных, а также в версию unzip, используемую в дистрибутиве Ubuntu и его производных<ref name=":2" />.

ZIP сегодня

В настоящее время формат ZIP считается общепризнанным форматом для многих приложений<ref name="applicrpyto2007-pkzipciph"/>, включающих функции сжатия, резервного копирования и обмена данными. Наряду с большим количеством утилит, работающих с ZIP-файлами из командной строки, в середине 1990-х годов появились и графические программы для работы с ними. Поддержка формата ZIP включена во множество современных операционных систем.

Множество конкурирующих архиваторов, помимо своего собственного формата, также поддерживает формат ZIP.

Этот способ сжатия также широко используется в других программах и даже в некоторых форматах файлов. Например, файлы *.odt и *.docx — это в действительности ZIP-архивы, содержащие в себе XML-файлы разметки страницы и дополнительные ресурсы (например, изображения). Также ZIP-алгоритм может использоваться в распространённом файловом формате изображений − TIFF.

Существуют сторонние архиваторы, создающие ZIP-архивы с методом сжатия Deflate, но с большей степенью сжатия, чем у оригинальных утилит. Среди них — 7-Zip и модифицированный Кеном Сильверманом архиватор kzip.

Восстановление ZIP-архивов

Поскольку формат ZIP не поддерживает специальных данных для восстановления (в отличие от, например, RAR), следует помнить, что при повреждении ZIP-архива можно восстановить только его структуру (то есть сделать вновь доступным оглавление архива), но восстановить данные, пострадавшие из-за повреждения, не удастся. Для восстановления повреждённых ZIP-архивов существуют специализированные утилиты, например, бесплатные:

• Object Fix Zip<ref>Шаблон:Статья</ref>
• DiskInternals ZIP Repair<ref>Шаблон:Статья</ref>

Ссылки

• Компания PKWARE
• Info-Zip.Org, программы zip и unzip с открытым исходным кодом для множества ОС и аппаратных платформ.