<< Вернуться у выбору материала

Измерение информации

Введите ваш запрос для начала поиска.

Смотрите подробности купить кондиционер симферополь здесь.

Количество информации, заключенное в сообщении, определяется объемом знаний, которые несет это сообщение получающему его человеку. Сообщение содержит информацию для человека, если заключенные в нем сведения являются для этого человека новыми и понятными и, следовательно, пополняют его знания.

Единица измерения количества информации называется бит.

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность обозначает, что не одно событие не имеет преимуществ перед другими). Тогда количество информации, заключенная в этом сообщении,  - х бит и число N связаны формулой:

2х=N

Решение такого уравнения имеет вид:

Х=log2N

Пример 1. При бросании монеты сообщение в результате жребия (например, выпал орел) несет один бит информации, поскольку количеству возможных вариантов результата равно двум (орел или решка). Оба эти варианта равновероятны.

Ответ может быть получен из решения уравнения:

2х=2, откуда, очевидно, следует: х равен 1 бит.

Вывод: В любом случае сообщение об одном событии из двух равновероятных несет 1 бит информации.

Алфавитный подход позволяет определить количество информации, заключенное в тексте. Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ вычисляется по формуле:

i=log2N,

где N – мощность алфавита. Следовательно, в 2-х символьном алфавите каждый символ «весит» один бит (log22=1); в 4-х символьном алфавите каждый символ несет 2 бита информации (log24=2); в восьми символьном – 3 бита (log28=3) и т.д.

Один символ из алфавита мощностью 256 (28) несет в тексте 8 бит информации. Такое количество информации называется байт. Алфавит из 256 символов используется для представления текстов в компьютере.

1 байт = 8 бит.

Если весь текст состоит из К символов, то при алфавитном подходе размер содержащейся в нем информации равен:

I=K log2N,

1 Кбайт (килобайт) = 210 байт = 1024 байта

1 Мбайт (мегабайт) = 210 Кбайт = 1024 Кбайта

1 Гбайт (гигабайт) = 210  Мбайт = 1024 Мбайта

Количество информации и вероятность

Если N- общее число возможных исходов какого-то процесса, и из них интересующее нас событие  может произойти K раз, то вероятность этого события равна K/N.

Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар), вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Количественная зависимость между вероятностью события (р.) и количеством информации в сообщении о нем (i) выражается формулой:

N

I= -∑pi log2pi.

i=1

Пример. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадается белый шар больше, чем вероятность попадания черного.

Определим количество информации в сообщении о попадании белого шара и черного шара:

Iб=log2(1/0.8)=log2(1.25)=0.321928;

Iч=log2(1/0.2)=log2(5)=2.321928.

Вероятностный метод применим и для алфавитного подхода к измерению информации, заключенной в тексте. Известно, что разные символы (буквы алфавита, знаки препинания и др.) встречаются в тексте с разной частотой и, следовательно, имеют разную вероятность. Значит, измерять информационный вес каждого символа в тексте так, как это делалось раньше (в предположении равновероятности), нельзя.

Представление числовой информации

Рейтинг@Mail.ru