Электронный словарь
Электронный словарь — программное обеспечение, которое позволяет быстро найти нужное слово, часто с учётом морфологии и возможностью поиска словосочетаний (примеров употребления), а также с возможностью изменения направления перевода (например, англо-русский или русско-английский).
Внутренне устроен как база данных со словарными статьями.
Машиночитаемые словари (Machine-readable dictionary, кратко MRD) используются компьютерными программами для решения различных задач, например, для обработки текстов на естественном языке. Машиночитаемые словари являются разновидностью электронных словарей.
Машиночитаемые словари
Создание машиночитаемых словарей
В проекте Leipzig Corpora Collection<ref>Шаблон:Cite web</ref> (LCC) корпуса и одноязычные словари строятся на основе текстов, извлекаемых из сети ИнтернетШаблон:Sfn. LCC включает около 400 словарей. В качестве затравки для поиска текстов в Интернете в проекте LCC использовали текст Всеобщей декларации прав человека, поскольку Декларация содержит около 2000 общеупотребимых слов и переведена на 370 языков и диалектовШаблон:Sfn. Из 200 Википедий были отобраны тексты для компиляции всего 70 словарей. Тексты не всех Википедий были включены в корпус LCC, поскольку многие вики-проекты начинаются с создания статей-заготовок, содержащих почти одинаковые предложенияШаблон:Sfn.
Такой подход трудно реализуем для малоресурсных языков, но проект Crúbadán<ref>Шаблон:Cite web</ref>, собрав данные для более чем 2200 языков, показывает, что автоматический поиск для языков, представленных в сети Интернет малым или единичным числом текстов, также возможенШаблон:Sfn. В дальнейшем эти тексты используются для создания словарей, например, в проекте Crúbadán было собрано более 100 млн валлийских слов и половина валлийских текстов с этими словами были переданы Уэльскому университету для создания валлийского словаряШаблон:Sfn.
Использование машиночитаемых словарей
В работах 1980-х годов предполагали, что на основе машиночитаемых словарей можно построить большие базы знаний. Но в дальнейшем признали, что для этого нужно использовать множество ресурсов, в первую очередь корпусыШаблон:Sfn.
Максимум того, что получилось добиться при извлечении знаний из словарей — это автоматически построить несколько несовершенных таксономийШаблон:Sfn.
Трудности извлечения информации из словарей:
- Преобразование из исходного формата требует больших усилий и эта задача достойна отдельного исследования, однако учёные предпочитают заниматься более научными задачамиШаблон:Sfn. Трудность в том, что неоднозначности и противоречия в правилах организации исходного словаря исключают возможность построения полностью автоматического парсера словаря. Построение таких парсеров — задача времязатратная и неблагодарная, поэтому словарей, доступных для компьютерной обработки крайне малоШаблон:Sfn.
- Противоречия и несогласованность в словарях приводят к построению очень разных семантических сетей по разным словарямШаблон:Sfn. Проверка фрагментов пяти главных английских словарей показала, что в 50-70% случаев информация в толкованиях словарей искажена или отсутствуетШаблон:Sfn. Та же плачевная картина получена при анализе трёх главных французских словарей. Из этого следует, что те методы WSD, которые основаны на анализе текстов толкований, в этих многочисленных случаях не будут работатьШаблон:Sfn.
- Необходима частичная ручная проверка для построения качественных баз знаний по словарямШаблон:Sfn.
- Необходима интеграция множества источников данных. В комбинировании информации из нескольких словарей есть смысл, поскольку неполнота одного словаря компенсируется другим, имеющим другие лакуны и пропуски информации. В небольшом эксперименте в построении иерархии по пяти английским словарям процент ошибок был снижен с 55-70% до 5%. Качество извлекаемой информации при объединении словарей повысилось, но ручная проверка нужнаШаблон:Sfn. С другой стороны, анализ 12 русских словарей показал, что существуют большие размеры пересечений словников словарейШаблон:Sfn. На рисунке представлена доля «уникальной» лексики в каждом из рассмотренных русских словарейШаблон:Sfn.
Формат машиночитаемых словарей
Для использования машиночитаемых словарей их необходимо преобразовать в удобный для работы формат. Формат должен быть достаточно общим для совместимости между разными словарями, для создания единого ПО и повторного использования словарейШаблон:Sfn. Примером является формат, выработанный сообществом TEIШаблон:Sfn.
С выбором формата словаря тесно связана задача выбора подходящей модели для представления данных машиночитаемого словаря. Если посмотреть любую словарную статью, то можно увидеть, что организация лексикографических данных намного сложнее, чем данные в задаче «товары-поставщик» или организация «базы данных сотрудников». Классические (реляционные) базы данных не являются идеальным решением для лексических баз данныхШаблон:Sfn.
В работах<ref>Ide, N., Le Maitre, J., & Véronis, J. (1994). Outline of a model for lexical databases Шаблон:Wayback. In Current Issues in Computational Linguistics: In Honour of Don Walker (pp. 283—320). Springer, Dordrecht.</ref><ref>Véronis, J., & Ide, N. (1992, August). A feature-based model for lexical databases Шаблон:Wayback. In Proceedings of the 14th conference on Computational linguistics-Volume 2 (pp. 588—594). Association for Computational Linguistics.</ref>, посвящённых исследованиям в области проектирования баз данных, предложена альтернативная модель для лексической базы данных на основе свойств. Особенности этой модели: (1) поддержка вложения значений, (2) есть механизм наследования для исключения избыточной информации.
Популярные электронные словари
Словари
- Free On-line Dictionary of Computing
- FreeDict
- Jargon file
- Slovoed
- WordNet
- Lingvanex Dictionary
- Wooordhunt
Программы
Программы, сайты и др.
- ABBYY Lingvo
- DICT — сетевой протокол
- Мультитран
- Polyglossum
- МультиЛекс — русско-английские, немецкие, французские, испанские, итальянские, португальские и многоязычные словари. Включают толковые словари и тематические словарные базы для перевода специализированной лексики.