imported>SmetaninLV: /* Использование машиночитаемых словарей */ пунктуация

2026-02-17T09:17:49Z

Использование машиночитаемых словарей: пунктуация

Новая страница

'''Электронный словарь''' — [[программное обеспечение]], которое позволяет быстро найти нужное [[слово]], часто с учётом [[Морфология (лингвистика)|морфологии]] и возможностью поиска словосочетаний (примеров употребления), а также с возможностью изменения направления перевода (например, англо-[[русский язык|русский]] или русско-[[английский язык|английский]]).

Внутренне устроен как [[база данных]] со [[словарная статья|словарными статьями]].

Машиночитаемые словари (Machine-readable dictionary, кратко MRD) используются [[Компьютерная программа|компьютерными программами]] для решения различных задач, например, для [[Обработка естественного языка|обработки текстов на естественном языке]]. Машиночитаемые словари являются разновидностью электронных словарей.

== Машиночитаемые словари ==

=== Создание машиночитаемых словарей ===

В проекте Leipzig Corpora Collection<ref>{{Cite web |url=http://corpora.uni-leipzig.de/ |title=Leipzig Corpora Collection |access-date=2019-05-05 |archive-date=2016-05-30 |archive-url=https://web.archive.org/web/20160530143452/http://corpora.uni-leipzig.de/ |url-status=live }}</ref> (LCC) корпуса и одноязычные словари строятся на основе текстов, извлекаемых из сети Интернет{{sfn|Goldhahn et al.|2012|страницы=760}}. LCC включает около 400 словарей. В качестве затравки для поиска текстов в Интернете в проекте LCC использовали текст [[Всеобщая декларация прав человека|Всеобщей декларации прав человека]], поскольку Декларация содержит около 2000 общеупотребимых слов и переведена на 370 языков и диалектов{{sfn|Goldhahn et al.|2012|страницы=762}}. Из 200 Википедий были отобраны тексты для компиляции всего 70 словарей. Тексты не всех Википедий были включены в корпус LCC, поскольку многие вики-проекты начинаются с создания статей-заготовок, содержащих почти одинаковые предложения{{sfn|Goldhahn et al.|2012|страницы=762}}.

Такой подход трудно реализуем для малоресурсных языков, но проект Crúbadán<ref>{{Cite web |url=http://crubadan.org/ |title=An Crúbadán — Corpus Building for Minority Languages |access-date=2019-05-05 |archive-date=2019-04-23 |archive-url=https://web.archive.org/web/20190423182020/http://crubadan.org/ |url-status=live }}</ref>, собрав данные для более чем 2200 языков, показывает, что [[Поисковый робот|автоматический поиск]] для языков, представленных в сети Интернет малым или единичным числом текстов, также возможен{{sfn|Scannell|2007}}. В дальнейшем эти тексты используются для создания словарей, например, в проекте Crúbadán было собрано более 100 млн [[Валлийский язык|валлийских]] слов и половина валлийских текстов с этими словами были переданы [[Уэльский университет|Уэльскому университету]] для создания валлийского словаря{{sfn|Scannell|2007|страницы=9}}.

=== Использование машиночитаемых словарей ===
В работах 1980-х годов предполагали, что на основе машиночитаемых словарей можно построить большие [[База знаний|базы знаний]]. Но в дальнейшем признали, что для этого нужно использовать множество ресурсов, в первую очередь [[Корпус текстов|корпусы]]{{sfn|Ide, Véronis|1994|страницы=137—138}}.

Максимум того, что получилось добиться при [[извлечение знаний|извлечении знаний]] из словарей — это автоматически построить несколько несовершенных таксономий{{sfn|Ide, Véronis|1994|страницы=138}}.

Трудности извлечения информации из словарей:
[[Файл:Unique words in Russian dictionaries 2015.png|мини|Число уникальных русских слов в академических словарях (вертикальная полоса) и число уникальных слов по всем 12 словарям (круговая диаграмма), 2015{{sfn|Kiselev et al.|2015}}]]
* ''Преобразование из исходного формата'' требует больших усилий и эта задача достойна отдельного исследования, однако учёные предпочитают заниматься более научными задачами{{sfn|Ide, Véronis|1994|страницы=139}}. Трудность в том, что [[Неоднозначность|неоднозначности]] и [[Непротиворечивость|противоречия]] в правилах организации исходного словаря исключают возможность построения полностью автоматического парсера словаря. Построение таких парсеров — задача времязатратная и неблагодарная, поэтому словарей, доступных для компьютерной обработки крайне мало{{sfn|Ide, Véronis|1994|страницы=139}}.
* ''Противоречия и несогласованность'' в словарях приводят к построению очень разных [[Семантическая сеть|семантических сетей]] по разным словарям{{sfn|Ide, Véronis|1994|страницы=141}}. Проверка фрагментов пяти главных английских словарей показала, что в 50-70% случаев информация в толкованиях словарей искажена или отсутствует{{sfn|Ide, Véronis|1994|страницы=140}}. Та же плачевная картина получена при анализе трёх главных французских словарей. Из этого следует, что те методы [[Разрешение лексической многозначности|WSD]], которые основаны на анализе текстов толкований, в этих многочисленных случаях не будут работать{{sfn|Ide, Véronis|1994|страницы=140}}.
* Необходима ''частичная ручная проверка'' для построения качественных баз знаний по словарям{{sfn|Ide, Véronis|1994|страницы=143}}.
* Необходима ''интеграция множества источников данных''. В комбинировании информации из нескольких словарей есть смысл, поскольку неполнота одного словаря компенсируется другим, имеющим другие лакуны и пропуски информации. В небольшом эксперименте в построении иерархии по пяти английским словарям процент ошибок был снижен с 55-70% до 5%. Качество извлекаемой информации при объединении словарей повысилось, но ручная проверка нужна{{sfn|Ide, Véronis|1994|страницы=143}}. С другой стороны, анализ 12 русских словарей показал, что существуют большие размеры пересечений словников словарей{{sfn|Kiselev et al.|2015}}. На рисунке представлена доля «уникальной» лексики в каждом из рассмотренных русских словарей{{sfn|Kiselev et al.|2015}}.

=== Формат машиночитаемых словарей ===
[[Файл:Contrastive use of kratka and breve.JPG|thumb|250px|Фрагмент страницы в русско-[[w:en:Tundra Nenets language|ненецком]] словаре. Словарные статьи краткие, но включают большой объём разнородных данных: толкование, перевод, словообразование, ударение, грамматические и диалектные пометы]]

Для использования машиночитаемых словарей их необходимо преобразовать в удобный для работы формат. Формат должен быть достаточно общим для совместимости между разными словарями, для создания единого [[Программное обеспечение|ПО]] и [[Повторное использование кода|повторного использования]] словарей{{sfn|Ide, Véronis|1994|страницы=143}}. Примером является формат, выработанный сообществом [[w:Text Encoding Initiative|TEI]]{{sfn|Ide, Véronis|1994|страницы=143}}.

С выбором формата словаря тесно связана задача выбора подходящей модели для представления данных машиночитаемого словаря. Если посмотреть любую словарную статью, то можно увидеть, что организация лексикографических данных намного сложнее, чем данные в задаче «[[Система управления складом|товары-поставщик]]» или организация «базы данных сотрудников». Классические ([[Реляционная база данных|реляционные]]) базы данных не являются идеальным решением для лексических баз данных{{sfn|Ide, Véronis|1994|страницы=144}}.

В работах<ref>Ide, N., Le Maitre, J., & Véronis, J. (1994). [https://www.cs.vassar.edu/~ide/papers/IPM.pdf Outline of a model for lexical databases] {{Wayback|url=https://www.cs.vassar.edu/~ide/papers/IPM.pdf |date=20170809124944 }}. In Current Issues in Computational Linguistics: In Honour of Don Walker (pp. 283—320). Springer, Dordrecht.</ref><ref>Véronis, J., & Ide, N. (1992, August). [https://www.aclweb.org/anthology/C92-2089 A feature-based model for lexical databases] {{Wayback|url=https://www.aclweb.org/anthology/C92-2089 |date=20190714154719 }}. In Proceedings of the 14th conference on Computational linguistics-Volume 2 (pp. 588—594). Association for Computational Linguistics.</ref>, посвящённых исследованиям в области [[Проектирование баз данных|проектирования баз данных]], предложена альтернативная модель для лексической базы данных на основе свойств. Особенности этой модели: (1) поддержка вложения значений, (2) есть механизм наследования для исключения избыточной информации.

== Популярные электронные словари ==

=== Словари ===
* [[Free On-line Dictionary of Computing]]
* [[FreeDict]]
* [[Jargon file]]
* [[Slovoed]]
* [[WordNet]]
* Lingvanex Dictionary
* Wooordhunt

=== Программы ===
* [[AtomicDic]]
* [[GoldenDict]]
* [[StarDict]]

=== Программы, сайты и др. ===
* [[ABBYY Lingvo]]
* [[DICT]] — [[сетевой протокол]]
* [[Мультитран]]
* [[Polyglossum]]
* [[МультиЛекс]] — русско-английские, немецкие, французские, испанские, итальянские, португальские и многоязычные словари. Включают толковые словари и тематические словарные базы для перевода специализированной лексики.

== См. также ==
* [[Онлайн-словарь]]

== Примечания ==
{{примечания}}

== Литература ==
* {{статья
| автор = Goldhahn D., Eckart T., Quasthoff U.
| заглавие = Building Large Monolingual Dictionaries at the Leipzig Corpora Collection: From 100 to 200 Languages
| ссылка = https://pdfs.semanticscholar.org/1b56/0f892432fb853d233c92f9294640bc91de3c.pdf
| язык = en
| тип = Istanbul, Turkey
| издание = [[w:en:International Conference on Language Resources and Evaluation|LREC]]
| год = 2012
| том = 29
| страницы = 759—765
| ref = Goldhahn et al.
}}
* {{статья
| автор = Ide, N., & Véronis, J.
| заглавие = Machine Readable Dictionaries: What have we learned, where do we go
| ссылка = http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.34.9121&rep=rep1&type=pdf
| язык = en
| тип = Beijing, China
| издание = Proceedings of the International Workshop on the Future of Lexical Research
| год = 1994
| страницы = 137—146
| ref = Ide, Véronis
}}
* {{статья
| автор = Kiselev Y., Krizhanovsky A., Braslavski P., Menshikov I., Mukhin M., Krizhanovskaya N.
| заглавие = Russian lexicographic landscape: a tale of 12 dictionaries
| ссылка = http://www.dialog-21.ru/digests/dialog2015/materials/pdf/KiselevYABraslavskiPIetal.pdf
| язык = en
| издание = Computational Linguistics and Intellectual Technologies: “Dialogue”
| место = Moscow
| издательство = RGGU
| год = 2015
| выпуск = 14 (21)
| страницы = 254—271
| ref = Kiselev et al.
}}
* {{статья
| автор = Scannell K. P.
| заглавие = The Crúbadán Project: Corpus building for under-resourced languages
| ссылка = https://cs.slu.edu/~scannell/pub/wac3.pdf
| язык = en
| издание = Building and Exploring Web Corpora: Proceedings of the 3rd Web as Corpus Workshop
| год = 2007
| том = 4
| страницы = 5—15
| ref = Scannell
}}

{{нет ссылок|дата=2021-05-25}}

{{Лексикография}}

[[Категория:Электронные словари| ]]

Электронный словарь - История изменений

imported>SmetaninLV: /* Использование машиночитаемых словарей */ пунктуация