Лекция Теория информации: сигналы, данные, информация




НазваЛекция Теория информации: сигналы, данные, информация
Дата канвертавання07.12.2012
Памер190.18 Kb.
ТыпЛекция
Лекция 1. Теория информации: сигналы, данные, информация.

Сбор, передача, обработка.



    1. Определение понятия информатики.

Приступая (или продолжая) к изучению информатики, мы должны осознавать, насколько ёмко и многогранно это понятие: оно служит для обозначения(3в1) – науки, учебной дисциплины, индустрии, нацеленных на использование компьютеров, информационных технологий и сетей ЭВМ в различных сферах экономики и образования.

Сам термин «Информатика», слово, составленное из двух французских слов information(информация) и automatique (автоматика), и обозначает «информационную автоматику».

Инфоpматика как НАУКА (смысловое ударение на слове information) изучает процессы передачи и обработки информации.

Практическое использование результатов информатики как фундаментальной науки (смысловое ударение на слове automatique) воплощается в информатике как в отрасли производства, яркими представителями которой, например, являются два гиганта и вечных конкурента IBM и Apple.

Информатика как учебная ДИСЦИПЛИНА (смысловое ударение на обе части слова informatique) основана на использовании компьютера, изучает способы создания, поиска, преобразования, передачи, и использования информации в различных сферах человеческой деятельности. ( ССПППИИ…).

Широко распространен также англоязычный вариант этого термина - "Сomputer science"– междисциплинарная наука, объединяющая, в частности,

  • теорию алгоритмов,

  • языки программирования;

  • вопросы построения компьютерных сетей;

  • искусственный интеллект и т.д.

Для нас информатика: обработка информации с помощью компьютера.

Прародительницами информатики считаются математика, кибернетика1, электроника, логика2 и лингвистика3.


Таблица Отцы-основатели информатики











Готфрид Лейбниц

1646 - 1716,немецкий философ, математик, юрист, дипломат

Джодж Буль

1815 — 1864 английский математик и логик

Чарльз Бэббидж

1791 — 1871, английский математик, изобретатель первой вычислительной машины

Алан Тьюринг

1912 — 1954, английский математик, логик, криптограф, пионер кибернетики и первый хакер

Норберт Винер

1894 — 1964, американский учёный, основоположник кибернетики и теории искусственного интеллекта


























Клод Шеннон

1916 — 2001, американский инженер-связист и математик, основатель теории информации


Джон фон Нейман

1903 — 1957, математик, сделавший важный вклад в квантовую физику, квантовую логику

Алексей Ляпунов

1911 — 1973, основоположник кибернетики, программист

Андрей Ершов

1931 – 1988, советский учёный, один из пионеров теоретического и системного программирования

Исаак Брук

1902 — 1974, советский учёный в области электротехники и вычислительной техники



Поскольку информатика – точная наука, в нашей стране у нее есть точная дата рождения – 4 декабря 1948 года, в этот день Государственный комитет Совета министров СССР по внедрению передовой техники в народное хозяйство зарегистрировал за номером 10475 изобретение И.С.Бруком цифровой электронной вычислительной машины.

4 декабря в России отмечается День информатики.

    1. Состав информатики. Информатику обычно представляют состоящей из трёх, неразрывно связанных частей (трех «китов»):


ИНФОРМАТИКА
c:\users\ирина\desktop\image001.gif

Hardware, Software, Brainware


-технические и аппаратные средства компьютеров, в английском языке обозначаемая словом Hardware;

-программные средства – программное обеспечение средств вычислительной техники (Software);.

- алгоритмические разработки, для которой российский академик А.А. Дородницин предложил название Brainware (от англ. brain - интеллект).


    1. Различные уровни представлений об информации.

  • Понятие «информация» (от латинского слова «informatio» — сведения, данные, знания) рассматривается в качестве важнейшей сущности мира, являющейся отражением реального мира и охватывающую всю жизнь, Вселенную и всё, что есть в жизни.

Пример 1.3.1:

Генетический код ДНК является прекрасным примером хранения информации, и исследователи используют теорию информации для расшифровки геномов живых организмов.



Пример 1.3.2:

Всё больше физиков-теоретиков, считают, что ключевой идей, ведущей к «великому объединению» гравитации и квантовой теории, может стать изменение взглядов на природу не в терминах материи и энергии, а в терминах информации. Одним из первых об этом заговорил Джон Арчибальд Уилер, подаривший миру термин «черная дыра».




Джон Арчибальд Уилер (1911 - 2008) — американский физик-теоретик

и фантазия на тему черных дыр.

  • В теории информации под информацией понимают динамический объект, образующийся в момент взаимодействия объективных данных и адекватных им субъективных методов, который уменьшает степень неопределенности, неполноты имеющихся знаний.

  • В практической информатике термин информация – это сведения, которые необходимо обработать с помощью компьютера.

Наряду с информацией в информатике часто употребляется понятие данные. Данные могут рассматриваться как признаки или записанные наблюдения, которые по каким-то причинам не используются, а только хранятся.

Пример 1.3.3. Разница между большим объемом данных и информацией примерно такая же, как между телефонной книгой, в которой миллионы имен и фамилией, и местом работы и адресом нужного вам человека.


    1. Передача информации. Все (или почти все) определения понятия информации имеют смысл, и относятся к разным сторонам информационного процесса. Можно сказать, что информационный процесс описывает действия с данными, при их поступлении от источника информации к ее потребителю.

Источник передаёт (отправляет) сообщение (знак, сигнал), а приёмник его получает (воспринимает). Передаваемая информация добирается от источника до приёмника с помощью сигнала (кода) по каналу связи, с помощью которого осуществляется передача сигнала.

7fa4131eea0f767fbb7e29ac0915f36e

Пример 1.4.1.Сообщениями являются: музыкальное произведение, телепередача, команды регулировщика, текст, распечатанный на принтере и т.д.

В общем случае сигнал – это изменяющийся во времени процесс. Такой процесс может содержать различные характеристики (например, при передаче электрических сигналов могут изменяться эл. напряжение или сила тока). Та из характеристик, которая используется для представления сообщений, называется параметром сигнала.

При аналоговом представлении физическая величина может принимать множество значений, причем эти значения непрерывно меняются.

http://2.bp.blogspot.com/_sjmxrhygbno/rx0hcwlntpi/aaaaaaaaafa/ijgpqhzlueq/s1600/analog%2bdigital.gif

Звуковые аналоговый и цифровой сигналы


При дискретном (цифровом) представлении физическая величина принимает конечное множество значений, её величина меняется скачкообразно.

Важной проблемой является передача информации (сигнала) без искажений (с минимальными искажениями).


Рисунок показывает, что цифровой сигнал в меньшей степени подвержен искажениям, чем аналоговый. Если выявить параметры искаженного аналогового сигнала (левая колонка) затруднительно, то определить, что за цифровой сигнал справа (0 или 1), можно, несмотря на искажения.

В компьютерах используются цифровые сигналы. Если от внешнего устройства в компьютер идет аналоговый сигнал (видео, звук), то этот сигнал надо оцифровать (кодировать). Оцифровка аналогового сигнала производится специальными устройствами (платами): аналого-цифровыми преобразователями (АЦП).

http://upload.wikimedia.org/wikipedia/commons/thumb/a/a9/wm_wm8775seds-ab.jpg/200px-wm_wm8775seds-ab.jpg

Четырёхканальный аналого-цифровой преобразователь

Для кодирования надо:

  • провести дискретизацию4 сигнала: с определенной частотой (частотой дискретизации) через равные промежутки времени измерять мгновенное значение аналогового сигнала,

http://upload.wikimedia.org/wikipedia/commons/thumb/8/88/sampled.signal.svg/150px-sampled.signal.svg.png

Сигнал с дискретным временем

  • и квантование5 сигнала. Мгновенное измеренное значение аналогового сигнала округляется до ближайшего уровня из нескольких заранее определённых значений. Количество уровней берётся кратным степени двойки, например, 256=28, 4096=212, 65536=216. Показатель степени называют разрядностью АЦП (8-и, 12-и, 16-и разрядные). Таким образом, на выходе АЦП получается цифровой сигнал.

http://upload.wikimedia.org/wikipedia/commons/thumb/7/70/quantized.signal.svg/150px-quantized.signal.svg.png

Квантованный сигнал

200px-pcm.svg.png

Итог: оцифрованный сигнал

На рисунке красной кривой представлен аналоговый сигнал, черными ступеньками - цифровой сигнал, полученный после кодирования аналогового. По горизонтальной оси (внизу) отложены моменты времени (32 точки), когда измеряли мгновенное значение аналогового сигнала. Если считать, что аналоговый сигнал имеет период 1с (частоту 1 Гц), то частота дискретизации 32 Гц. По вертикальной оси отложены уровни от 0 до 15 (всего 16=24). Если считать, что график описывает работу АЦП, то это АЦП 4-х разрядное с частотой дискретизации 32 Гц.

1.5.Основные свойства информации


Объективность — не зависит от чего-либо мнения и метода получения.

Пример 1.5.1.

http://www.litnasledie.ru/site/9/3355.jpg

http://artinvestment.ru/content/download/news/20081008_ahmatova_modiliani.jpg

Фотография А. Ахматовой

Карандашный портрет А. Ахматовой работы Модильяни

Полнота — достаточна для понимания и принятия решений, неполная или избыточная информация снижает эффективность принимаемых решений.

Достоверность — отражает истинное положение дел. Причинами недостоверности могут быть как преднамеренное искажение информации (дезинформация), так и искажение информации из-за помех, ошибок фиксации информации.

Доступность информации — возможно ли получить ту или иную информацию.

Ценность (полезность, значимость) — обеспечивает решение поставленной задачи, нужна для того, чтобы принимать правильные решения.

Понятность (ясность) — выражена на языке, доступном получателю.

Пример 1.5.2. Операция «Хоровод».

http://www.inosmi.ru/images/15973/77/159737764.jpg

В 1955 году во время авиационного парада над Красной площадью, звено за звеном, прошла целая армада советских тяжелых бомбардировщиков нового типа. На этом же параде показали ракеты, якобы составлявшие основу советских ракетных войск стратегического назначения, которая, по западным оценкам, имела весьма большую вероятную круговую ошибку.

На параде присутствовала большая группа иностранных корреспондентов, гостей из стран НАТО. У иностранных военных атташе наблюдавших это поистине грандиозное зрелище, сложилось твердое убеждение о наличии у СССР значительного количества самолетов этого класса. Иностранные наблюдатели решили, что Москва сделала ставку на авиацию в качестве носителя ядерного оружия.

Проанализируйте полученную иностранцами информацию с точки зрения её свойств.

(Успешная оперативная игра по стратегической дезинформации американцев в области ракетно-космических технологий. На самом же деле, по кругу летала одна и та же эскадрилья, через каждые три минуты вновь и вновь появляясь над головами ошеломленных иностранцев. Ставка в вопросе доставки была сделана на ракеты.).

1.6.Классификация информации


Информацию можно разделить на виды по разным критериям.

  • Способ восприятия

    • Визуальная — воспринимаемая органами зрения.

    • Аудиальная — воспринимаемая органами слуха.

    • Тактильная — воспринимаемая тактильными рецепторами.

    • Обонятельная — воспринимаемая обонятельными рецепторами.

    • Вкусовая — воспринимаемая вкусовыми рецепторами.



Форма представления

    • Текстовая — передаваемая в виде символов, предназначенных обозначать лексемы языка.

    • Числовая — в виде цифр и знаков, обозначающих математические действия.

    • Графическая — в виде изображений, предметов, графиков.

    • Звуковая — устная или в виде записи передача лексем языка аудиальным путём.

  • Комбинированная – смешанная



1.7. Количество информации. Оценка количества информации, так же, как вещества и энергии, может быть субъективной и объективной. В первом случае важен смысл информации, а во втором её измеримость.

I ПОДХОД. Семантический (смысловой) подход к измерению информации. Для человека информация – это знания человека. Количество информации (обозначим буквой I) в сообщении зависит от того, насколько ново это сообщение для получателя и насколько он готов к пониманию этой информации. Сообщение информативно (содержит не нулевую информацию), если оно пополняет тезаурус6 человека, уменьшает неопределенность его знания.

Пример 1.7.1. Оценим количество семантической информации, содержащейся в небольшом отрывке из стихотворения английского поэта Уильяма Блейка:

В одном мгновенье видеть вечность,

Огромный мир – в зерне песка,

В единой горсти – бесконечность

И небо – в чашечке цветка.

http://cs301513.userapi.com/v301513946/ee7/inhteyzvw60.jpg

(прекрасные поэтические метафоры и …. суть интегрального мышления)


      1. Если полученные сведения, совершенно не понятны и не знакомы субъекту (отсутствуют в его тезаурусе), количество полученной информации равно нулю: I = 0.

http://www.interfax.by/files/2008-05/20080523-115811-574.jpg

Новая, но не понятная: «На каком же это языке читается лекция?»

      1. Если пользователь всё знает, и поступающая информация ему не нужна, то количество полученной информации равно нулю: I = 0.




Понятно, но не ново: «Сколько можно твердить об одном и том же!»



      1. Максимальное количество семантической информации потребитель получает, когда поступающая информация понятна пользователю и несёт ранее не известные сведения, I = Imax.




От простого к сложному: базовые знания + новое знание

Нетрудно понять, что информативность одного и того же сообщения может быть различной для разных людей. Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного.

II ПОДХОД – синтаксический уровень (алфавитный).

Этот подход не связывает количество информации с содержанием сообщения. В этом случае теряют смысл понятия «новые — старые», «понятные — непонятные» сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного семантического подхода.

Проще всего разобраться в этом на примере сообщения, состоящего из букв алфавита (для нас удобнее, чтобы это был русский язык).

Все множество используемых в языке символов (буквы, цифры, скобки, знаки препинания, пробел и т.п.) будем традиционно называть алфавитом. Полное количество символов алфавита (N) принято называть мощностью алфавита.

Представим себе, что каждый символ алфавита несёт закодированную информацию о встрече с целью передачи сведений с одним из N связных - засекреченных агентов российской разведки во Франции в начале 19 века. Резидентом русской разведки в ту пору был блистательный ротмистр Чернышев, переигравший самого Наполеона.

. светлейший князь александр иванович чернышев

Светлейший князь Александр Чернышев

( 1786-1857)

Предположим, что каждый появляющийся символ с одинаковой вероятностью может быть любым символом алфавита (резидент заранее не знает, с каким из связных будет назначена встреча), т.е. существует неопределенность сообщения. В информации меру неопределенности (неосведомленности) принято называть энтропией7. Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности8.



http://marklv.narod.ru/inf/image2.gif

В теории информации понятие энтропии помогает ввести единицу измерения информации. Эта единица носит название «бит». Ее определение звучит так:

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит9 информации.

Количество информации I, выраженное в битах, должно удовлетворять условиям:

  • если неопределенности нет, то I = 0. ( «Мы всё уже знаем, нового ничего нам не сообщают»).

  • если есть неопределенность, то и информация должна быть положительной.

  • если два полученных сообщения рассматривать как одно, то информация в таком составном сообщении должна равняться сумме информаций в полученных сообщениях (аддитивность информации).

Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных вариантов сообщения, определяется формуле, предложенной Р.Хартли формулу для вычисления количества информации:

I = log2N

220px-hartley_ralph-vinton-lyon-001.jpg


Ральф Винтон Лайон Хартли (1888 - 1970). Американский учёный-электронщик.

То есть, если в Русском алфавите 33 буквы, а каждая буква кодирует псевдоним связного, то количество информации, полученной Чернышевым перед встречей с конкретным связным составляет I = log2 33= 5 бит.
Пример 1.7.2.

В алфавите одна буква: А. Сообщение содержит один символ. Число вариантов N = 1, I = log21= 0 бит.

Пример 1.7.3.

В алфавите две буквы: А и Б. Сообщение содержит один символ. Число вариантов N =2, I = log22= 1 бит.

Пример 1.7.4.

В алфавите две буквы: А и Б. Первое и второе сообщения содержат один символ. Тогда в первом и во втором сообщениях по одному биту информации. Число вариантов N =4 (АА, АБ, БА, ББ), I = log24= 2 бита. Свойство аддитивности информации выполняется.

Пример 1.7.5: Подбрасываемая один раз монета как сообщение: в алфавите две буквы: орел и решка. Сообщение содержит один символ. I = 1 биту.

Пример 1.7.6: Подбрасываемый один раз кубик как сообщение: в алфавите шесть букв: 1, 2, 3, 4, 5, 6. Сообщение содержит один символ. I = log26= 2.6 бит.

Можно использовать логарифмы с другими основаниями:

I = log21= 0 бит = ln 1 = 0 нат = lg 1 = 0 дит

I = log22= 1 бит = ln 2 = 0.7 нат = lg 2 = 0.3 дит

I = log24= 2 бита = ln 4 = 1.4 нат = lg 4 = 0.6 дит

I = log26= 2.6 бита = ln 6 = 1.8 нат = lg 6 = 0.8 дит

Как же вычислить количество информации для неравновероятных событий?

Пример 1.7.7. Резиденту российской разведки Александру Чернышеву из Санкт-Петербурга послано зашифрованное сообщение, являющееся сигналом к началу одной из возможных операций: выкрасть документы противника, завербовать высокопоставленного чиновника (осведомителем Чернышева был сам министр Талейран!), организовать покушение на Наполеона. За время выполнения своей миссии резидент выполнил 50 заданий: 1 неудавшееся покушение, 5 вербовок высокопоставленных чиновников, 44 раза организовывал похищение документов. Вероятности получения этих разных заданий составляют соответственно 1/50, 5/50 и 44/50 (неравновероятные события). С точки зрения на информацию как на снятую неопределенность количества информации в сообщении, полученном разведчиком, зависит от вероятности10 получения данного сообщения. Причем, чем больше вероятность события, тем меньше количество информации в сообщении о таком событии (тем яснее разведчику его дальнейшие действия).

Предположим, что разведчик (система) может оказаться с разной вероятностью в различных состояниях (операциях):

состояния

X1

X2

X3

вероятности

P1

P2

P3

Информация I1 о том, что разведчик (система) будет находиться в состоянии X1 равна:

I1 = log2(1/P1).

Это формула К. Шеннона, предложенная им 1948 году.

220px-shannon.jpg

Клод Элвуд Шеннон

(1916 — 2001) — американский инженер и математик.



Виды операций

1.Похищение документов

2.Похищение высокопоставленного чиновника

3.Покушение на главу государства

вероятности

0.88

0.1

0.02



I1 = log2(1/0.88) = 0,18 бит

I2= log2(1/0.1) = 3,3 бит = 1 дит

I3 = log2(1/0.02) = 5,6 бит !!!


Единицы измерения информации

Удобнее всего измерять информацию, когда размер алфавита N равен целой степени двойки. Например, если N=16, то каждый символ несет 4 бита информации потому, что 24 = 16. А если N =32, то один символ «весит» 5 бит.

Кратные единицы измерения информации.

8 бит = 1 байт

1 Кбайт = 210 байт = 1024 байт

1 Мбайт = 220 байт = 210 Кбайт = 1024 Кбайт

1 Гбайт = 230 байт = 220 Кбайт = 210 Мбайт = 1024 Мбайт

1 дит = 3.3 бит

Согласно ГОСТ 8.417-2002: 1 кибибайт = 210 байт, 1 килобайт = 103 байт


Итог лекции: составление Mind-map темы «Информация и её свойства»






1 - наука об управлении в машинах и живых системах

2 - наука о законах правильного мышления наука

3 наука о естественном человеческом языке вообще и обо всех языках мира как индивидуальных его представителях.


4 Для выбора частоты дискретизации применяют теорему В.А. Котельникова

Владимир Александрович Котельников (1908 — 2005) — советский и российский учёный в области радиотехники, радиосвязи и радиоастрономии.



5 Квантование (англ. quantization) — в информатике разбиение диапазона значений непрерывной или дискретной величины на конечное число интервалов.

6 Тезаурус (от греч. θησαυρός — сокровище) в теории информации используется для обозначения совокупности всех сведений, которыми обладает субъект.


7 Термин энтропия используется и в физике как мера беспорядка.

8 Неопределённость знаний о некотором событии – это количество возможных результатов события. Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, о том, что произошло одно из N с

9



10



Теория информации: сигналы, данные, информация.
Сбор, передача, обработка
Страница

Дадаць дакумент у свой блог ці на сайт

Падобныя:

Лекция Теория информации: сигналы, данные, информация iconТеория информации. Мера количества информации лобач Г. С., Саттаров И. Д
Теория информации – комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи,...

Лекция Теория информации: сигналы, данные, информация iconТематическое планирование 10 класс
Основные подходы к определению понятия «информация». Системы, образованные взаимодействующими элементами, состояния элементов,...

Лекция Теория информации: сигналы, данные, информация icon«Тематические новости» Бюллетень содержит данные
Дайджест статей в демонстрационном выпуске не представлен. Для наших клиентов информация предоставляется в полном объеме, в том числе...

Лекция Теория информации: сигналы, данные, информация iconЛекция от 13. 12. 2010
Целью разработки базы данных является хранение и использование информации для заданной предметной области. Предметная область это...

Лекция Теория информации: сигналы, данные, информация iconЛекции по истории зарубежной журналистики
Понятия «журналистика» и «информация» неразрывно связаны в нашем сознании. Информация появляется вместе с человеком и распространяется...

Лекция Теория информации: сигналы, данные, информация iconI. Теория и практика журналистики
Журналистский текст как носитель информации. Потенциальная, принятая и реальная информация. Информационная насыщенность и информативность...

Лекция Теория информации: сигналы, данные, информация iconЦентральное казачье войско Костромское отдельское казачье общество
Информация от 1 января 2011г имеются данные о составе правления обществ, численность, об атаманах и данные о регистрации

Лекция Теория информации: сигналы, данные, информация iconИстория светофора
В тёмное время суток использовался вращающийся газовый фонарь, с помощью которого подавались, соответственно, сигналы красного и...

Лекция Теория информации: сигналы, данные, информация iconСводные данные международных мероприятий в области образования, науки и инноваций на 2012 г
...

Лекция Теория информации: сигналы, данные, информация icon1. Для передачи 7 Мбайт информации с одного компьютера на другой (компьютеры в одном помещении) предпочтительнее использовать
Информация передаётся со скоростью 2,5 Кбит/с. Какой объём информации будет передан за 20 минут?

Размесціце кнопку на сваім сайце:
be.convdocs.org


База данных защищена авторским правом ©be.convdocs.org 2012
звярнуцца да адміністрацыі
be.convdocs.org
Галоўная старонка