С чем связана избыточность информации языка
Совершенно секретные системы
Энтропия и неопределенность
Так как в данной формуле используется двоичный логарифм, то энтропия измеряется в битах, что общепринято в криптографии, теории информации и в компьютерных науках.
Определим энтропию второго источника:
Неопределенность оказалась равной одному биту. Найдем теперь энтропию третьего источника:
Неопределенность у третьего источника меньше, чем у второго, так как из двух возможных сообщений, генерируемых третьим источником, одно более вероятно, чем другое.
Норма языка и избыточность сообщений
Для каждого языка можно ввести величину, называемую нормой языка r и определяемую по формуле
Абсолютной нормой языка R называют максимальное количество бит информации, которое может быть передано одним символом рассматриваемого языка, при условии, что все последовательности символов равновероятны. Абсолютная норма языка, алфавит которого состоит из L символов, может быть вычислена как
Для русского языка, алфавит которого состоит из 33 букв, абсолютная норма языка
Избыточность языка D оценивают как
Минимальной избыточностью сообщений D = 0 обладал бы язык, в котором все символы равновероятны и могут встречаться в сообщениях независимо друг от друга в любом порядке.
Понятие совершенно секретной системы
Криптографическая система называется совершенно секретной, если анализ зашифрованного текста не может дать никакой информации об открытом тексте, кроме, возможно, его длины.
На практике возможна следующая реализация совершенно секретной системы, называемая одноразовая лента (или одноразовый блокнот, или шифр Вернама по имени американского инженера, предложившего эту систему в первой половине ХХ века). Будем предполагать, что процессу шифрования подвергаются двоичные данные. На передающей и приемной сторонах подготавливаются две одинаковые ленты, например, магнитные. Они содержат ключ шифрования. На передающей стороне лента помещается в устройство шифрования, а на принимающей стороне – в идентичное устройство, используемое для расшифрования. Когда отправитель хочет передать сообщение, он складывает по модулю два один бит исходного сообщения и один бит с магнитной ленты. После этого лента перемещается в следующее положение и можно шифровать второй бит сообщения, используя второй бит ключа. Таким образом шифруется все сообщение. На принимающей стороне лента с ключом используется аналогично.
Например, пусть исходное сообщение m содержит следующие двоичные цифры:
Предположим, в качестве ключевой используется последовательность:
избыточность языка
Смотреть что такое «избыточность языка» в других словарях:
Избыточность языка — Избыточность языка статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке. Содержание 1 Математическое определение 2 … Википедия
ИЗБЫТОЧНОСТЬ ЯЗЫКА — ИЗБЫТОЧНОСТЬ ЯЗЫКА. Наличие в языке элементов, несущих повторную информацию, т. е. информацию, уже переданную другими элементами языка. В русском языке избыточными являются большинство сдвоенных букв, повторные указания на род, число, падеж и др … Новый словарь методических терминов и понятий (теория и практика обучения языкам)
Избыточность информации — В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете … Википедия
избыточность знаковой системы языка — 1) Возможность предсказания вероятности появления каждого следующего элемента в линейном ряду сообщения, обусловленная ограничениями семиологического характера: черные ночи, весенние дни, белая стена. 2) Повтор одной и той же информации с целью… … Словарь лингвистических терминов Т.В. Жеребило
избыточность — 1. Универсальное свойство любого естественного языка, связанное с возможностью данной мысли меньшим числом звуков или букв, чем это осуществляется обычно. 2. Мера экономичности передачи сообщения. 3. Возможность предсказания вероятности появления … Толковый переводоведческий словарь
ИЗБЫТОЧНОСТЬ ИНФОРМАЦИИ — величина, которой измеряется относительная доля излишне используемых сообщений в некотором алфавите. Определяется формулой: где Н энтропия сообщения, п средняя длина кодового слова, М число символов алфавита. Естественным языкам свойственна… … Энциклопедический словарь по психологии и педагогике
ЛИНГВИСТИЧЕСКИЕ ОСНОВЫ МЕТОДИКИ — аббревиатура, абзац, автоматическая обработка текста, автоматический перевод, автономная речь, адаптация речевая, адаптация текста, адресант, адресат, азбука, акт речевой, активная грамматика, активная лексика, активная речь, активное владение… … Новый словарь методических терминов и понятий (теория и практика обучения языкам)
UML — (англ. Unified Modeling Language унифицированный язык моделирования) язык графического описания для объектного моделирования в области разработки программного обеспечения. UML является языком широкого профиля, это открытый… … Википедия
Unified Modeling Language — UML (сокр. от англ. Unified Modeling Language унифицированный язык моделирования) язык графического описания для объектного моделирования в области разработки программного обеспечения. UML является языком широкого профиля, это открытый стандарт … Википедия
Гради Буч — UML (сокр. от англ. Unified Modeling Language унифицированный язык моделирования) язык графического описания для объектного моделирования в области разработки программного обеспечения. UML является языком широкого профиля, это открытый стандарт … Википедия
Избыточность языка
Избыточность языка — статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке.
Содержание
Математическое определение
Математически данная величина определяется как
где 
— абсолютная энтропия языка, 
— фактическая энтропия языка.
Если принять фактическую энтропию английского языка за 1,3 бита на букву, то его избыточность равна 3,4 бита на букву (абсолютная энтропия — 4,7 бита на букву).
Избыточность естественных языков
Избыточность и сжатие текстов
С точки зрения теории информации большая избыточность позволяет хорошо сжимать тексты с помощью энтропийного кодирования.
Литература
Примечания
Полезное
Смотреть что такое «Избыточность языка» в других словарях:
ИЗБЫТОЧНОСТЬ ЯЗЫКА — ИЗБЫТОЧНОСТЬ ЯЗЫКА. Наличие в языке элементов, несущих повторную информацию, т. е. информацию, уже переданную другими элементами языка. В русском языке избыточными являются большинство сдвоенных букв, повторные указания на род, число, падеж и др … Новый словарь методических терминов и понятий (теория и практика обучения языкам)
избыточность языка — 1. Необходимое условие передачи и приема сообщения. Она не только способствует надежности коммуникации, но и создает условия порождения и восприятия речи. Без существующей избыточности языка человек не смог бы перерабатывать всю поступающую или… … Толковый переводоведческий словарь
Избыточность информации — В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете … Википедия
избыточность знаковой системы языка — 1) Возможность предсказания вероятности появления каждого следующего элемента в линейном ряду сообщения, обусловленная ограничениями семиологического характера: черные ночи, весенние дни, белая стена. 2) Повтор одной и той же информации с целью… … Словарь лингвистических терминов Т.В. Жеребило
избыточность — 1. Универсальное свойство любого естественного языка, связанное с возможностью данной мысли меньшим числом звуков или букв, чем это осуществляется обычно. 2. Мера экономичности передачи сообщения. 3. Возможность предсказания вероятности появления … Толковый переводоведческий словарь
ИЗБЫТОЧНОСТЬ ИНФОРМАЦИИ — величина, которой измеряется относительная доля излишне используемых сообщений в некотором алфавите. Определяется формулой: где Н энтропия сообщения, п средняя длина кодового слова, М число символов алфавита. Естественным языкам свойственна… … Энциклопедический словарь по психологии и педагогике
ЛИНГВИСТИЧЕСКИЕ ОСНОВЫ МЕТОДИКИ — аббревиатура, абзац, автоматическая обработка текста, автоматический перевод, автономная речь, адаптация речевая, адаптация текста, адресант, адресат, азбука, акт речевой, активная грамматика, активная лексика, активная речь, активное владение… … Новый словарь методических терминов и понятий (теория и практика обучения языкам)
UML — (англ. Unified Modeling Language унифицированный язык моделирования) язык графического описания для объектного моделирования в области разработки программного обеспечения. UML является языком широкого профиля, это открытый… … Википедия
Unified Modeling Language — UML (сокр. от англ. Unified Modeling Language унифицированный язык моделирования) язык графического описания для объектного моделирования в области разработки программного обеспечения. UML является языком широкого профиля, это открытый стандарт … Википедия
Гради Буч — UML (сокр. от англ. Unified Modeling Language унифицированный язык моделирования) язык графического описания для объектного моделирования в области разработки программного обеспечения. UML является языком широкого профиля, это открытый стандарт … Википедия
Альманах педагога
Автор: Богданская Екатерина Сергеевна
Должность: учитель английского языка
Учебное заведение: МБОУ «Школа №14 с углубленным изучением английского языка» г. Рязани
Населённый пункт: г. Рязань
Наименование материала: статья
Тема: Понятие языковой избыточности
Раздел: среднее образование
Понятие языковой избыточности
единицы, при котором одна и та же идея выражается несколькими способами, используя
большее количество информации, чем то, которое является достаточным для понимания
идеи. Зачастую избыточность не является намеренной, что в большей степени характерно
для разговорной речи, так как она всегда спонтанна и не продумана заранее. Однако
избыточные конструкции довольно часто употребляются для большего воздействия и
употребление двойного отрицания является неграмотным, однако для усиления зачастую
используются такие конструкции не только в разговорной речи, но и в литературе. Тем не
менее, избыточность является средством языка для придания большей выразительности
речи с одной стороны, и избежания недопонимания или неверного понимания выражаемой
Избыточность нередко принимает форму тавтологии – выражения одной и той же
идеи с помощью лексических или морфологических единиц, имеющих одно и то же
прояснить неопределенность в разговорной речи: «собеседник в любом случае понимает,
что фраза «thisrip» может расшифровываться только как «this rip», а не «thi srip», так как
группа согласных «sr» не является разрешенной в английском языке» (Pinker, 1994, p. 178).
грамматической системы. Таким образом, ребенку, изучающему родной язык на основе
соотнести полученную информацию с существующими правилами. Так, например фраза
likes» с точки зрения грамматики является избыточной, так как грамматическая
категория третьего лица, единственного числа выражена дважды: сначала это значение
заложено в самом личном местоимении «he», а так же в окончании глагола «s». Но для
ребенка, только начинающего познавать свой язык, такая фраза является более понятной.
Плеоназм так же является проявлением избыточности. Однако не все лингвисты
литературным приемом, помогающим создать необходимую для произведения атмосферу.
значением, расположенных в тексте, начиная с единицы с самым слабым денотацинным
значением и заканчивая наиболее ярко-окрашенным словом.
Существует так же факт межъязыковой избыточности, когда понятие в одном языке
имеет несколько эквивалентов в другом языке. Так например рассматриваются способы
выражения того факта внеязыковой реальности, который по-русски называется палец.
«Чтобы назвать этот предмет по-английски, необходимо уточнить, что имеется в виду:
палец руки или ноги, и если руки, то какой палец, потому что, как известно, пальцы руки,
кроме большого, у англичан называются fingers большой палец — thumb а пальцы ноги —
toes Русскому словосочетанию десять пальцев эквивалентно английское eight fingers and
two thumbs [восемь пальцев и два больших пальца], а двадцать пальцев — это eight fingers
(на ногах)]. Форма выражения одного и того же кусочка реального мира вызовет у
русского, изучающего английский язык, ощущение избыточности (зачем делить пальцы на
(три разных с точки зрения английского языкового мышления понятия объединены в одно
— палец)»(Е. М. Верещагин, В. Г. Костомаров. Язык и культура. М., 1990, с. 51). Изучение
межъязыковой избыточности является обязательным для переводчиков, так как
неграмотное употребление лексики такого рода может привести к неверному пониманию
Таким образом, можно сделать вывод, что избыточность характерна для всех
уровней языка. Однако стоит отметить, что грамматическая избыточность в большей
степени характеризует языки синтетические, в то время, как синтаксическая избыточность
встречается в основном в аналитических языках.
Говоря об английском языке, стоит отметить, что претерпевая исторические
изменения в структуре грамматики, английский язык перешел из разряда синтетических
Энтропия и избыточность языка.
Свойства текстов изучаются методами теории информации, разработанной К. Шенноном. Ключевое понятие – энтропия, определяемая функцией от вероятностного определения и характеризующая количество неопределенности или информации в случайном эксперименте. Неопределенность и информацияизмеряются одной и той же мерой. Применительно к независимым испытаниям случайной величины x с распределением вероятностей
энтропия H(x) определяется формулой
Единицей количества информации считается 1 бит. При pi = 1/n при всех 
, то
.
Мерой среднего количества информации, приходящейся на одну букву открытого текста языка L (рассматриваемого как источник случайных текстов), служит величина HL, называемая энтропией языка L. вычисляется последовательными приближениями позначных моделей текста: H1, H2, … Hr.
Для каждого языка значение HL стремится к определенному пределу (после r = 30 предел уже устанавливается):
.
определяет избыточность языка RL. Разговорные языки имеют весьма большую избыточность. Избыточность текста в 75% означает, что при оптимальном кодировании текста (например использование кодов Хаффмена, Фано или других) его можно сжать до четверти без потери информации.
Энтропию можно определить и по другому. Для n-буквенного алфавита число текстов длины L, удовлетворяющих статистическим ограничениям, равно (при достаточно больших L) не 
как это было бы, если бы мы имели право брать любые наборы из L букв, а всего лишь
По сути это приближенное число осмысленных текстов длины L для данного языка L. Исходя из этого можно определить энтропию языка формулой