Избыточность языка (N[Qdmkcukvm, x[dtg)

Избыточность языка — статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке.

Математическое определение

Математически данная величина определяется как

$D=R-r$

где $R$ — абсолютная энтропия языка, $r$ — фактическая энтропия языка.

Если принять фактическую энтропию английского языка за 1,3 бита на букву, то его избыточность равна 3,4 бита на букву (абсолютная энтропия — 4,7 бита на букву).

Избыточность естественных языков

В лингвистике избыточность означает информацию, повторяющуюся более одного раза. Примерами избыточности служат элементы множественного согласования в морфологии, множественные признаки отличающие фонемы в фонологии, или использование нескольких слов для выражения одной идеи в риторике.

Величина избыточности разных языков мира колеблется в пределах 70-80%. Во всех языках на всех уровнях присутствуют избыточные элементы. Избыточность в языке неслучайна: её функция — облегчить коммуникацию при неблагоприятных условиях передачи информации. Избыточность представляет собой систему предупреждения возможных ошибок.

Грамматика

Избыточность может возникать на любом уровне грамматики из-за согласования – необходимого условия во многих языках, позволяющего формам различных слов сочетаться друг с другом во фразе или предложении – одна и та же семантическая информация может быть передана несколько раз. Например, в испанском во фразе los árboles verdes («зелёные деревья») артикль los, существительное árboles и прилагательное verdes преобразованы и указывают на форму множественного числа. В английском таким примером будет that man is a soldier по сравнению с those men are soldiers. («Этот человек солдат» по сравнению с «эти люди солдаты»).

В фонологии, избыточность возникает в минимальных парах – пары слов или фраз, отличающихся друг от друга только одной фонемой, самой маленькой отличительной единицей звуковой системы. Тем не менее, фонемы могут отличаться по нескольким фонетическим признакам. Например, в английском фонемы /p/ и /b/ в словах pin и bin имеют различную звонкость, придыхание и произносятся с разным уровнем напряжения. Любого из этих признаков достаточно, чтобы отличить /p/ и /b/ в английском.

В генеративной грамматике избыточность используется для упрощения формы грамматического описания. Любой признак, который может быть предсказан (выведен) на основании другого признака (например как придыхание напрямую зависит от звонкости) не должен быть включён в грамматические правила. Следовательно, неизбыточные признаки, которые должны быть описаны в грамматических правилах называются дифференциальными признаками.

Наряду с согласованием в морфологии, фонологически обусловленное чередование, такое как коартикуляция и ассимиляция добавляют избыточность на фонологический уровень. Избыточность фонологических правил может объяснить некоторые неясности в устной коммуникации. Согласно психологу Стивену Пинкеру, «В понимании речи избыточность в фонологических правилах может компенсировать некоторые неточности звуковой волны. Например, говорящий знает, что thisrip должно быть this rip а не the srip,потому как сочетание согласных sr в английском не употребляется.

Именно эта особенность избыточности, отмеченная как важная, позволяет людям осваивать сложные грамматические системы. Усвоение языка детьми должно быть абстрагировано от грамматических правил и основано на информации, которую они слышат. Избыточность языка позволяет детскому индуктивному мышлению укрепляться посредством представления более значимых доказательств для индукций, на которых оно основано. Следовательно, избыточность обеспечивает достаточный стимул, необходимый для освоения сложной грамматической системы.

Риторика

Часто в речи избыточность возникает непреднамеренно, однако, избыточные фразы могут быть составлены умышленно для усиления, для уменьшения вероятности того, что фраза будет интерпретирована неверно. В риторике термин «избыточность», как правило, имеет негативную коннотацию и может казаться неуместным из-за повторяющейся или излишней формулировки (некоторые для расширения определения используют противоречащую самой себе формулировку, такую как двойное отрицание), однако, это остаётся лингвистически действительным способом делать акцент на определённой идее. Благодаря использованию повторений определённых понятий, избыточность увеличивает вероятность предсказуемости значения сообщения и понимания другими.

Обычно избыточность имеет форму тавтологии: фразы повторяющие значение посредством использования семантически схожих слов. Распространёнными примерами являются «разнообразие разных предметов», «дополнительные бонусы», «сверх-преувеличивать», «и и так далее», «конечный результат», «бесплатный подарок», «будущие планы», «неподтверждённый слух», «убить, умертвить, довести до смерти казнью на электрическом стуле», «прошлая история», «безопасное убежище», «потенциальная опасность», «полностью окружён», «мошеннический обман», и так далее. Существует также «шуточная организация», известная как «Избыточность общества избыточности», также называемая «Общество избыточного общества».

Разновидностью тавтологии является RAS синдром, в котором одно из слов уже содержащееся в аббревиатуре повторяется после аббревиатуры: "АГМ машина", "вирус ВИЧ", "ПИН номер", и "ИМНД массив". Эти фразы расшифровываются как «автоматически говорящая машинa машина». «вирус иммунодефицита человека вирус», «персональный идентификационный номеp номер», «избыточный массив независимых дисков массив», соответственно. Само название «RAS синдром» представляет собой иронический пример «RAS синдрома», это можно расшифровать как «синдром избыточности в аббревиатурах синдром». Другой распространённый пример избыточности фраза "i ily you" («я ялт тебя») короткая фраза для сообщений, что в развёрнутом виде звучит как «я я люблю тебя тебя».

Более общая классификация избыточности – это плеоназм, который представляет собой употребление лишнего слова (или его части). Учитывая риторическую тавтологию и RAS синдром, он также включает диалектическое использование технически ненужных частей как в «off of» в сравнении с «off». Плеоназм также может принимать форму чисто семантической избыточности, что является нормой употребления в языке и понятно для говорящего (например, во французском вопрос "Qu'est-ce que c'est?" означает «Что это такое? Или «Что это?», что буквально переводится как «Что это, это что?»). Термин плеоназм, однако, чаще всего используется как синоним тавтологии.

Избыточность и сжатие текстов

С точки зрения теории информации, большая избыточность позволяет хорошо сжимать тексты с помощью энтропийного кодирования.

Литература

• Шнайер Б. Глава 11. Математические основы. Энтропия языка. // Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си = Applied Cryptography. Protocols, Algorithms and Source Code in C. — М.: Триумф, 2002. — С. 269. — 816 с. — 3000 экз. — ISBN 5-89392-055-4.