Лекция №1 по дисциплине




НазваЛекция №1 по дисциплине
старонка7/13
Дата канвертавання30.10.2012
Памер2.67 Mb.
ТыпЛекция
1   2   3   4   5   6   7   8   9   10   ...   13
ТЕМА: 10. Достоверность и полнота содержания информации. Базы данных статистической информации. Планирование и анализ данных.


СОДЕРЖАНИЕ


1. Трансляционная информационно-кммуникационная модель принятия решений в процессе формирования и реализации таможенной политики. 2. Окружение таможни как системы (принцип Бира). 3. Иерархия и характеристика плоских параметров при управлении ВЭД. 4. Коммуникация и таможня. 5. Человек - продукт коммуникаций. 6. Типы общения. 7. Функциональные различия коммуникаций. 8. Факторы коммуникационной политики. 9. Распределённые технологии обработки и хранения данных. 10. Использование в ФТС РФ систем, ориентированных на анализ данных. 11. Хранилища данных. 12. Модели данных, используемые для хранилищ. 13. Методы аналитической обработки данных в хранилище. 14. Особенности использования ОLАР-технологий при формировании таможенной статистики.


Функционирование любой организации возможно лишь в пространстве разнородных коммуникаций. Понятие коммуникации связано со структурой и содержанием связей, определяющих технологии, формы и оперативность прохождения внешних и внутренних по отношению к таможенной службе, материальных и информационных потоков. Коммуникации интерпретируются также как связующий процесс: между организацией разработки таможенной политики и другими государственными ведомственными политиками; между деятельностью таможенной службы по ее реализации и деятельностью других государственных ведомств, связанных с реализацией политики в сфере внешней торговли; между уровнями организационной иерархии таможенной службы (вертикальная составляющая) и подразделениями одного уровня (горизонтальные составляющие). Конкретная структура и функции коммуникаций определяются на основе анализа модели деятельности государственных органов, участвующих в формировании таможенной политики, и таможенной службы, реализующей эту политику. В общем случае эту модель деятельности можно представить как организованную совокупность взаимосвязанных процессов. К их числу относятся процессы в сфере материального производства и обслуживания, процессы административно-управленческой и хозяйственной деятельности, организации товарных, транспортных, финансовых и информационных потоков, информационно-аналитическое обеспечение и прочие процессы. Развитость (мощность) коммуникаций - это один из наиболее важных факторов, определяющих жизнеспособность любой организации независимо от того, является она государственной или коммерческой структурой, поскольку коммуникационный фактор во многом определяет возможности этих структур разрабатывать и проводить эффективную политику в сферах их интересов и деятельности, а также стратегию собственного развития и обеспечить организационную целостность. Прозрачная и четко функционирующая система коммуникаций - это, прежде всего, достаточно надежная гарантия обоснованности, действенности, и контролируемости выполнения принимаемых решений, а также наблюдаемости и управляемости материальных и информационных потоков. Увеличение разнообразия управляемых коммуникаций делает организацию и её систему управления более гибкими, обеспечивая своевременное выявление угроз и возможностей и создавая определенный ситуационный запас для адаптации к изменениям внешних условий. Коммуникации включают в себя все формы человеческого общения и являются источником и носителем информации, поскольку участники коммуникативного процесса получают и передают информацию посредством общения внутри и вне организации. Роль коммуникаций - вносить согласованность, обеспечивать; хорошее функционирование внутренней среды таможенной службы и ее взаимодействие с внешней средой. Они выступают в качестве инструмента, механизма или его основного звена при определении целей таможенной политики, выработке стратегии их достижения, обеспечивает сохранение ее целостности в процессе реализации таможенной службой.

В коммуникации любой организации можно выделить следующие уровни.

  1. Уровень общей коммуникации, в рамках которого разрабатываются стратегия и тактика поддержания и развития коммуникаций в соответствии с целями и интересами данной организации, базовые инструменты и механизмы осуществления коммуникаций.

  2. Уровень структурной коммуникации органов и подразделений, для которых принимаются решения об использовании механизмов и средств коммуникации.

  3. Социальный и личностный уровни (группы, неформальные лидеры) формирования коммуникативных инструментов управления, организации, регулирования.

Исходя из рассмотренного выше, можно говорить о необходимости проектирования коммуникаций для разработки комплекса мероприятий по обеспечению эффективного делового и социального взаимодействия таможенной службы с ее окружением, между уровнями и звеньями ее организационно-функциональной структуры, внутри коллективов и между ними. По своей природе коммуникации являются социально-техническими структурами. В их состав входят: технический компонент, представляющий собой технические комплексы для обслуживания материальных и информационных потоков (абонентские комплекты, коммутационные узлы, станции, порты, таможенные терминалы и склады и т. п); коммуникационные каналы (линии передач информации, энергии, продукции); социальный компонент - пользователи (физические и юридические лица). Социально - техническая природа коммуникаций, их экономическая функция определяют принципиальные подходы к описанию, построению, оптимизации, проектированию этих структур, т.е. к решению теоретических и практических задач. Таким образом, коммуникация в организациях, организаций с обществом и общества с окружающим миром - это категория, имеющая экономическую, социальную, моральную, нравственную составляющие. Трудности ее описания и исследования обусловлены, прежде всего, отсутствием развитого языка для описания такого класса структур. Понятия, вокруг которых складывается структура описания коммуникаций, должны характеризовать сущность протекающих в них процессов, связанных с материальными и информационными потоками, их взаимодействием и преобразованиями. Общие подходы к изучению коммуникационных структур общества и его институтов, к выявлению основных принципов и закономерностей коммуникационных процессов в них и между ними в настоящее время разрабатываются на основе логистических концепций. Основным в этой системе понятий является определение коммуникации как явления и процесса. Как термин коммуникация имеет достаточно широкое толкование в различных словарях и содержательно означает: делаю общим, связываю, общаюсь; пути сообщения, связи; общение, передача информации от человека к человеку в процессе деятельности; общение с помощью языка, передача и восприятие при помощи языка некоторого мыследеятельностного содержания; акт или процесс взаимодействия между двумя или более социальными и политическими субъектами путем непосредственного общения или обмена информацией с использованием соответствующих средств; применительно к системам: процесс обмена информацией в системе.

Во многих приложениях понятие «коммуникации» отождествляются со средствами и процессами регулярной связи и обмена веществом, энергией, информацией. Прилагательные «коммуникационный» и «коммуникативный», согласно словарю С.И.Ожегова, относятся, соответственно, к материальным и информационным коммуникациям, однако такое подразделение все же достаточно условно и,- как правило, строго не соблюдается. Применительно к рассматриваемым проблемам коммуникаций в сфере таможенного дела, будем считать, что коммуникации означают устойчивые повторяющиеся связи между рассматриваемыми объектами, имеющие место в процессах материального и информационного обмена между ними, не обсуждая пока конкретно ни природу, ни закономерности процессов обмена, ни содержание характеристик устойчивости и повторяемости. Общее понятие коммуникации позволяет классифицировать эти связи и потоки: 1. по продуктам обмена: вещественные, энергетические, информационные; 2. по способам обмена: непосредственные (личные), дистанционные; 3. по средствам обмена: транспортные, проводные, беспроводные линии. На реальных объектах все перечисленные виды, средства и способы могут иметь место в явном или неявном виде, в том или ином, отношении друг к другу. Например, в таможне: собственно перемещение товаров, услуг, транспортных средств, людей, информации; управление их перемещением; поддержание параметров функционирования таможни.

Основными типами коммуникаций являются: человек - человек, человек - техническая система, техническая система - техническая система, техническая система - человек. Начальным и конечным звеном коммуникации всегда выступает человек. Определение коммуникации как связи предполагает наличие, по крайней мере, двух объектов, между которыми происходит обмен. Эти объекты принято называть «коммуникаторами».

Коммуникатор - источник материального и/или информационного потока: отправитель, создатель сообщения (человек, организация). Коммуникатор-приемник материального и/или информационного потока: получатель материальных, финансовых отправлений, сообщения.

В систему базисных понятий входят также понятия: канал обмена или «коммуникант», объект обмена - «объект коммуникации» или рабочее тело коммуникации и средство коммуникации - средство перемещения этого рабочего тела. Объект коммуникации - материальный или информационный поток, для передачи, приема которого осуществляется коммуникация. Канал коммуникации - средство или комплекс технических средств, обеспечивающих потокообменной или иной природы от коммуникатора-источника к коммуникатору-приёмнику.

Результат коммуникации - изменения состояния потока, а также изменения в знаниях, установках, поведении, действиях у коммуникатора-приемника.

Коммуникативные и коммуникационные структуры формируются и функционируют в виде, представляемом сетевыми моделями (обратная связь - реакция получателя). Сеть - соединение некоторой совокупности компонентов между собой в структуру для совместного пользования (по обмену информацией, энергией, веществом). Коммуникация является динамической структурой и потому все величины, ее характеризующие, являются функциями времени: непрерывными, дискретными, или кусочно-непрерывными, и поэтому имеет смысл говорить о границах изменения этих величин. К таким предельным характеристикам относятся: емкость коммуникатора - максимальное количество продукта обмена, которое может «вместить в себя» и сохранить коммуникатор; пропускная способность коммуниканта - максимальное количество продукта обмена, пропускаемого в единицу времени; предельная мощность средства коммуникации - предельное количество перемещаемого продукта обмена, перемещаемого одновременно.

На функциональном уровне различают:

основные коммуникации, непосредственно обеспечивающие достижение цели функционирования объекта; коммуникации поддержания, обеспечивающие поддержание заданных характеристик функционирования объекта; -гуморальные коммуникации - сопутствующие основным, выполняющие, как правило, координирующую, обеспечивающую основные коммуникации роль.

Приведенные термины и понятия описывают коммуникацию как обменный процесс в самом общем представлении, Они конкретизируются при рассмотрении реальных объектов и процессов коммуникаций, наполняя введенные абстрактные термины конкретным содержанием и характеристиками. При этом вводятся необходимые новые понятия, исходя из сущности предмета исследования и конкретных целей этого исследования. В деятельности таможенной службы и ее органов наибольший Удельный вес составляют коммуникации, обеспечивающие процесс обмена информацией между субъектами: руководством, службами и подразделениями, группами и отдельными лицами, которые связаны общеорганизационными, групповыми, индивидуальными целями, интересами и определенным уровнем соучастия в их реализации. По направленности потоки информации могут быть прямые и обратные; вертикальные - в соответствии с иерархией структуры, организации; горизонтальные, связывающие подразделения, группы лиц одного уровня иерархии; диагональные - между подразделениями, группами, лицами вышестоящих и нижестоящих иерархических уровней. С формальной точки зрения процесс коммуникаций представляет собой совокупность актов передачи информации от одного лица другому. В этом процессе участвуют:

-отправитель - лицо, располагающее информацией и передающее эту информацию другому лицу (коммуникатор-источник); - сообщение (коммуникант) - передаваемая информация, представленная в том или в ином виде; -средство коммуникации - техническое средство или комплекс таких средств для приема, передачи и контроля доставки сообщения адресату; -получатель (коммуникатор-приемник) - посредник или адресат; -лицо, получающее информацию, интерпретирующее её при необходимости в интересах собственной деятельности, передающее адресату; -исполнителю или останавливающее её дальнейшее продвижение. Отправитель или получатель с техническими средствами приема-передачи информации, имеющимися в их распоряжении, образует звено коммуникации. Совокупность таких звеньев, соединенных между собой коммуникационными каналами (средствами связи), образуют цепочки коммуникации, состоящие из звеньев-источников, промежуточных звеньев и оконечных звеньев-потребителей. Они и образуют коммуникационную сеть в организации, охватывающую собой иерархические уровни, подразделения, персонал организации, а также элементы надсистемы и внешнего окружения, с которыми у этой организации существуют отношения взаимодействия. Под коммуникационным (коммуникативным) каналом будем понимать частично упорядоченное множество различных посредников - лиц, технических средств, обеспечивающих доведение информации от звена-источника сообщения до потребителя - оконечного звена. По отношению к организации коммуникационные каналы могут быть внешними и внутренними.

Потоки информации по коммуникационным каналам, а также внутри каждого из них в каждом конкретном случае проходят через конкретную коммуникационную цепь. Коммуникационная цепь - это линейно упорядоченное множество участников информационно-коммуникационного процесса, осуществляющих операции по доведению информационных сообщений от одного звена коммуникаций до другого. Внутри одного коммуникационного канала могут параллельно функционировать несколько таких цепей. Их можно классифицировать как регулярные, стабильные и неупорядоченные, иррегулярные, возникающие стихийно. Раскрывая закономерности формирования, содержания и функционирования коммуникаций, можно определить полезные, защитные, ущербные коммуникации в сфере таможенной и внешнеэкономической деятельности (в обществе и его социумах). Снижение затрат по перемещению требует перехода на интенсивные коммуникационные технологии. В частности, для информационных коммуникаций - это телекоммуникации, которые обеспечивают: замену перемещения людей, документов в решении задач управления, разработку проектов развития системы управления, информационно-технического обеспечения, инфраструктуры, технологий таможенного обслуживания, организации и рационализации процессов перемещения товаров, людей, транспортных средств, через таможни и под таможенным контролем и т.д. Обязательными элементами в структуре коммуникаций являются люди как участники коммуникации - факторы, субъекты с присущей им внутренней активностью, и индивидуальные социально-психологические характеристики, которых и отношения между ними существенно влияют на реализацию коммуникационного процесса. Коммуникационные отношения между ними выступают: как связь, возможно исключающая реальное взаимодействие участников (таможенное оформление, контроль документов, например, обмен информацией); как взаимодействие, связанное с необходимостью координации совместной деятельности нескольких участников, создание общего информационного поля. Комплекс отношений в сфере коммуникации - это совокупность связей и отношений между участниками коммуникационного взаимодействия, занимающими различные позиции и обладающие соответственно различными статусами в системе и структурах обмена и его формальной и неформальной организациях. С учетом этого различают формальную и реальную структуры коммуникаций. «Формальная» или официальная структура коммуникаций представлена комплексом преимущественно документированных норм, правил, предписаний, инструкций и т. д, регламентирующих позиции и взаимодействие в процессах обмена. «Реальная» структура коммуникаций - результат воплощения формальной структуры в реальном поведении и отношениях участников коммуникации в процессах обмена.

К группам факторов, определяющих характеристики коммуникаций, относятся: факторы - условия - те, которые определяют, принципиальны условия устойчивого функционирования и развития коммуникационной системы; факторы-каналы - действующие и потенциальные канал доступа - обмена, распределения, преобразования; факторы-объемы, характеризующие затраты и производительность; факторы контролируемости - находящиеся под доминирующим контролем рассматриваемой коммуникационной системы, под контролем «дружественно» взаимодействующих коммуникационных систем, не находящихся под контролем.

К числу специфических факторов, снижающих эффективности коммуникаций в управлении, относятся следующие: отсутствие модели делового общения; неопределенность, неоднозначность целей делового общения; непонимание персоналом своих обязанностей; разобщенность коллективов. Важнейшими из качественных характеристик коммуникационной системы являются оперативность доведения сообщений и помехоустойчивость. Итеративность и помехи - одни из наиболее частых причин возникновения разрывов в управлении. К основным помехам относятся: - фильтрация сообщений, т.е. отбор, задержка, отсеивание, селекция информации при передаче и приеме сообщений; - выборочное восприятие, предполагающее интерпретацию информации в соответствии с опытом, знаниями и отношением, как отправителя, так и получателя, - психологический, эмоциональный, языковый барьеры; -несправедливая система стимулирования. К числу мер защиты от помех относятся: дублирование сообщений, использование внешних источников контроля, уменьшение числа уровней подготовки и приема сообщений, исправление искажений. Повышение оперативности и помехоустойчивости коммуникаций, а также снижение загруженности информацией потребителей и достижение высокого эффекта её восприятия может быть достигнуто на основе интеграции коммуникационных процессов. Функциональная интеграция - формирование системы инструментальных средств для реализации общих коммуникативных целей. Инструментальная интеграция - согласование различных коммуникативных элементов и координация коммуникативных мероприятий в пределах отдельных инструментов коммуникации. Горизонтальная - согласование (увязка) коммуникаций на одном уровне.

При использовании информационных сетевых технологий становится возможной реализация территориального распределения обработки информации.

Для руководства таможенного органа безразлично, где именно находится тот или иной таможенный пост или где производится та или иная операция по таможенному оформлению или контролю. Появляются совсем другие проблемы, такие как бесперебойность и качество работы коммутационных машин и каналов передачи информации. И, безусловно, первая в ряду этих проблем - информационная безопасность.

Одной из важнейших сетевых технологий является распределенная обработка данных. Персональные компьютеры стоят на рабочих местах, то есть на местах возникновения и использования информации. Они соединены каналами связи. Это дало возможность распределить их ресурсы по отдельным функциональным сферам деятельности и изменить технологию обработки данных в направлении децентрализации. Распределенная обработка данных позволила повысить эффективность удовлетворения изменяющейся информационной потребности сотрудника таможенного органа и тем самым обеспечить гибкость принимаемых им решений. Преимущества распределенной обработки данных:

большое число взаимодействующих между собой пользователей, выполняющих функции сбора, регистрации, хранения, передачи и выдачи информации; снятие пиковых нагрузок с централизованной базы путем распределения обработки и хранения локальных баз данных на разных ЭВМ для обеспечения доступа информационного работника к вычислительным ресурсам сети ЭВМ; обеспечение симметричного обмена данными между удаленными пользователями.

Введение классификации моделей представления данных на иерархические, сетевые и реляционные отразилось на архитектуре систем управления базами данных (СУБД) и технологии их обработки. Архитектура СУБД описывает ее функционирование как взаимодействие информационных процессов двух типов: клиента и сервера.

Распределенная обработка и распределенная база данных не синонимы. Если при распределенной обработке производится работа с базой, то подразумевается, что представление данных, их содержательная обработка, работа с базой на логическом уровне выполняются на персональном компьютере клиента, а поддержание базы в актуальном состоянии на сервере. В случае использования распределенной базы данных последняя размещается на нескольких серверах. Работа с ней осуществляется на тех же персональных компьютерах или на других, и для доступа к удаленным данным надо использовать сетевую СУБД.

В системе распределенной обработки клиент может послать запрос к собственной локальной базе или удаленной. Удаленный запрос - единичный запрос к одному серверу. Несколько удаленных запросов к одному серверу объединяются в удаленную транзакцию. Если отдельные запросы транзакции обрабатываются различными серверами, то транзакция называется распределенной. При этом один запрос транзакции обрабатывается одним сервером. Распределенная СУБД позволяет обрабатывать один запрос несколькими серверами. Такой запрос называется распределенным. Только обработка распределенного запроса поддерживает концепцию распределенной базы данных.

Созданы распределенные базы данных по всем направлениям человеческой деятельности: финансовой, экономической, научно-технической, электронной документации, кредитной, статистической, маркетинга, газетных сообщений, правительственных распоряжений, патентной информации, библиографической и так далее. Таможенные информационные технологии опираются на базы нормативно-справочной информации.

При построении 1-й очереди ЕАИС акцент делался на классические методы проектирования базы данных, то есть на системы, направленные на обработку транзакций в реальном времени (Оn-Line Transaction Processing - OLTP).

OLTP -системы ориентированы на выполнение транзакций, информация в них носит оперативный характер. Записи в OLTP -системах могут регулярно добавляться, удаляться и редактироваться.

OLTP -система выдает ответы на простые вопросы типа «Каков был уровень импорта товара N в регионе М в январе 2004 года?». Традиционные системы OLTP оперируют такими понятиями, как сущность, связь, функциональная декомпозиция и анализ изменения состояний.

В системах OLTP информация хранится в виде, пригодном для детальной ревизии данных. Если пользователя интересует кредитный счет экспортера, он должен получить подробную информацию о каждой операции. С этим прекрасно справляется система OLTP, которая обеспечивает строжайшую секретность и максимальную закрытость. Неудивительно поэтому, что с помощью таких систем невозможно получить ответ на аналитические вопросы типа «Будет ли получена от этого прибыль?», «Какие клиенты наиболее выгодны с позиции таможенных платежей и почему?» или «Какие возможности в технологии валютного контроля упускаются?».

В реляционных моделях связи отображаются явно. Понятие «сущность-связь» составляет основу реляционной модели. Например, явное описание связи между потребителями и заказами закладывается в саму конструкцию реляционной БД.

К сожалению, размещаемая в базах данных OLTP -систем информация мало пригодна для глобального прогнозирования состояния системы. Поэтому данные с разных информационных конвейеров отправляются (в смысле, копируются) на «склады данных», называемые «информационными хранилищами данных».

Для получения интересующей информации лица, принимающие решение (ЛПР), или аналитики, обращаются к СППР с запросами. Эти запросы в большинстве случаев более сложные, чем те, которые применяются в системах операционной обработки данных, например, «Найти среднее значение промежутка времени между выставлением счета и оплатой его участником ВЭД в текущем и прошедшем году отдельно для разных групп участников ВЭД».

В большинстве случаев сложный аналитический запрос невозможно сформулировать в терминах языка SQL, поэтому для получения информации применяют специальные языки, ориентированные на аналитическую обработку данных. К их числу можно, например, отнести язык Express 4GL фирмы Огас1е. Также для выполнения запросов могут быть использованы приложения, написанные специально для решения тех или иных задач.

Для того чтобы можно было извлекать полезную информацию из данных, они должны быть организованы особым образом. Связано это со следующими факторами.

Во-первых, для выполнения аналитических запросов необходима обработка больших информационных массивов. Чем выше степень нормализации базы данных и чем больше в ней таблиц, тем медленнее выполняется анализ. Происходит это, прежде всего, потому, что увеличивается число операций соединения отношений. Нормализация таблиц БД позволяет устранить избыточность данных, уменьшив тем самым объем действий, необходимых при обновлении информации. Поэтому в них нет необходимости менять одни и те же значения в различных отношениях. В аналитических системах данные практически не обновляются - в системе производится лишь их накопление и чтение. Поэтому проблема нормализации БД в них не столь актуальна.

Во-вторых, выполнение некоторых аналитических запросов, например, анализ тенденций и прогнозирование, требует хронологической упорядоченности данных. Реляционная модель не предполагает существования порядка записей таблицы.

В третьих, при обслуживании аналитических запросов чаще используются не детальные, а обобщенные (агрегированные данные). Так, например, для прогнозирования объема импорта в некотором регионе будет излишним иметь информацию о каждом пересекающем таможенную границу контейнере, достаточно знать значение прогнозируемой величины за несколько предыдущих лет.

Перечисленные особенности СППР привели к тому, что данные, используемые для анализа, стали выделять в отдельные базы данных, получившие название хранилищ данных (ХД).

Концепция информационных хранилищ данных (первоначально она так и называлась Information Ware House) зародилась в 80-х гг. XX в. в недрах корпорации IВМ, но все же «отцом» технологии считается Б. Инмон, технический директор компании Prism.

Существует два основных подхода к построению хранилищ данных: подход, основанный на многомерной модели БД, и подход, использующий реляционную модель БД.

При использовании многомерной модели данные хранятся не в виде плоских таблиц, как в реляционных БД, а в виде гиперкубов -упорядоченных многомерных массивов. Такое представление является наглядным и позволяет резко уменьшить время поиска в хранилище данных, поскольку отсутствует необходимость многократно соединять таблицы.

Основные понятия многомерной модели - измерение и значение (ячейка). Измерение - это множество, образующее одну из граней гиперкуба (аналог домена в реляционной модели). Измерения играют роль индексов, используемых для идентификации конкретных значений в ячейках гиперкуба. Значения - это подвергаемые анализу количественные или качественные данные, которые находятся в ячейках гиперкуба .

В многомерной модели вводятся следующие основные операции манипулирования измерениями: 1) сечение; 2) вращение; 3) детализация; 4) свертка.

При выполнении операции сечения формируется подмножество гиперкуба, в котором значение одного или более измерений фиксировано. Например, если на рис. 10.16 зафиксировать значение измерения «Время» равным «январь 1993 г.», то получится двухмерная таблица с информацией о значениях всех параметров для всех субъектов РФ в январе 1993 года.

Операция вращения изменяет порядок представления измерений. Она обычно применяется к двухмерным таблицам, обеспечивая представление их в более удобной для восприятия форме. Если в исходной таблице по горизонтали были расположены субъекты РФ, а по вертикали - параметры внешнеэкономической деятельности, то после операции вращения параметры будут размещены по горизонтали, а названия субъектов РФ - по вертикали.

Для выполнения операций свертки и детализации должна существовать иерархия значений измерения, то есть некоторая подчинённость одних значений другим. Например, 12 месяцев образуют год, субъекты РФ образуют регионы. При выполнении операции свертки одно из значений измерения заменяется значением более высокого уровня иерархии. Например, аналитик, узнав значения параметров для января 2004 г., желает получить их значения за весь 2004 год. Чтобы это сделать, необходимо выполнить операцию свертки. Операция детализации - это операция, обратная свертке. Она обеспечивает переход от обобщенных к детализированным данным.

Основой при построении хранилища данных может служить традиционная реляционная модель данных. В этом случае гиперкуб эмулируется СУБД на логическом уровне. В отличие от многомерных реляционные СУБД способны хранить огромные объемы данных, однако они проигрывают по скорости выполнения аналитических запросов.

При использовании реляционных СУБД для организации ХД данные организуются специальным образом. Чаще всего используется так называемая радиальная схема. Другое ее название - «звезда». В этой схеме используются два типа таблиц: таблица фактов (фактологическая таблица) и несколько справочных таблиц (таблицы измерений).

В таблице фактов обычно содержатся данные, наиболее интенсивно используемые для анализа. Если проводить аналогию с многомерной моделью, то запись фактологической таблицы соответствует ячейке гиперкуба. В справочной таблице перечислены возможные значения одного из измерений гиперкуба. Каждое измерение описывается своей собственной справочной таблицей. Фактологическая таблица индексируется по сложному ключу, скомпонованному из индивидуальных ключей справочных таблиц. Это обеспечивает связь справочных таблиц с фактологической по ключевым атрибутам.

На базе реляционных СУБД строятся системы аналитической обработки данных ROLAP (Ralation On-Line Analitical Processing), служащие для связи с системами принятия решений. В таких системах доставкой информации конечному пользователю занимаются системы аналитической обработки данных в реальном времени (On-Line Analitical Processing), которые обеспечивают исключительно простой доступ к данным за счет удобных средств генерации запросов и анализа результатов.

В OLAP-системах ценность информации увеличивается благодаря применению разнообразных методов анализа и статистической обработки. Кроме того, эти системы оптимизированы с точки зрения скорости извлечения данных, сбора обобщенной информации и ориентированы на рядовых пользователей, так как имеют интуитивно понятный интерфейс.

Многомерный анализ данных, часто называемый системой аналитической обработки, позволяет задавать сложные вопросы, а ответы представляют собой некие выборки данных или агрегированные показатели.

В настоящее время средства анализа данных используют базы данных, составляющие основу OLAP-систем, позволяющие обслуживать сотни и тысячи пользователей; современные программные средства для оперативной аналитической обработки позволяют осуществлять доступ к базе данных OLAP из системы Web или корпоративной сети Internet.

Ситуация, когда для анализа необходима вся информация, находящаяся в хранилище, возникает довольно редко. Обычно каждый аналитик или аналитический отдел обслуживает одно из направлений деятельности организации, поэтому в первую очередь ему необходимы данные, характеризующие именно это направление. Реальный объем этих данных не превосходит ограничений, присущих многомерным СУБД. Возникает идея выделить данные, которые реально нужны конкретным аналитическим приложениям, в отдельный набор. Такой набор мог бы быть реализован в многомерной БД. Источником данных для него должно быть центральное хранилище организации.

Если проводить аналогии с производством и реализацией продукции, то многомерные БД выполняют роль мелких складов. В концепции ХД их принято именовать витринами данных. Витрина данных - это специализированное тематическое хранилище, обслуживающее одно из направлений деятельности организации. Такая схема позволяет эффективно использовать возможности реляционных СУБД по хранению огромных объемов информации и способность многомерных СУБД обеспечивать высокую скорость выполнения аналитических запросов.

Системы, использующие хранилище данных, как правило, строятся на основе архитектуры клиент-сервер. Хранилище данных размещается на специальном сервере (сервере хранилища данных). Для его реализации используются мощные многопроцессорные вычислительные системы таких производителей, как IBM, Hewlett-Packard, DEC, NCR и другие. В качестве СУБД применяется одна из СУБД, поддерживающих параллельную обработку запросов: Teradata (фирма NCR), DВ/2 (фирма IBM), Огас1е, Informix и другие. Витрины данных реализуются с использованием серверов многомерных БД: Еssbase (Arbor Software), Огас1е Express (Огас1е), Gentium (Planning Sciences) и другие.

В аналитических системах для обработки данных используются различные методы. Это и традиционные статистические методы регрессионного, факторного, дисперсионного анализа, анализа временных рядов, а также методы, основанные на искусственном интеллекте. К последним, как правило, относят: нейронные сети, нечеткую логику, генетические алгоритмы, методы извлечения знаний.

В большинстве случаев средства анализа данных в СППР на основе ХД используются для решения задач, таких как:

  1. выделение в данных групп сходных по некоторым признакам записей (кластерный анализ);

  2. нахождение и аппроксимация зависимостей, связывающих анализируемые параметры или события, а также поиск параметров, наиболее значимых в терминах конкретной задачи;

  3. поиск данных, существенно отклоняющихся от выявленных закономерностей (анализ аномалий);

  4. прогнозирование развития объектов различной природы на основе хранящейся ретроспективной информации об их состоянии в прошлом.

Таможенная служба ежедневно получает информацию о том, что происходит на территории страны с точки зрения оформления товаров и получения соответствующих платежей, являясь единственным источником сведений о том, что же конкретно в Россию ввезено и что из нее вывезено. Сбор и подсчет статистических данных внешней торговли - государственная задача, которой таможенная служба занимается с 1991 года. Но если в начале работы Управление таможенной статистики ФТС (ГТК) России рассчитывало все формы вручную, то сегодня специалисты уже занимаются разработкой методов повышения точности, способов формирования отчетности, а вся расчетная часть и работа с базами данных возложены на автоматизированную систему. Ежеквартально выпускается сборник статистики ФТС на 150-200 страниц с подробными таблицами по каждому региону, стране назначения, отправления, по всем кодам товаров.

Сегодня многие министерства пользуются статистической информацией, обработанной специализированной информационной системой ФТС. На основании этих сведений о том, что происходит в торговле, принимаются решения в Министерстве экономического развития РФ и Министерстве финансов. Статистика, которую ФТС отправляет в правительство, очень точна. Информационная система статистики ФТС создана на базе СУБД Огас1е с применением средств ОLАР, и в ней реализованы все новейшие достижения в области статистики - это математико-экономические методы, методы выявления недостоверности данных, перекрестные ссылки, гиперкубы, зеркальная статистика и многое другое. На конференции Огас1е в 2001 г. система получила признание как крупнейшая в Европе разработка на базе технологий Огас1е.


Литература:


1. Азаров Ю. Ф. Основы таможенного дела. Учебное пособие под общей редакцией М.: РИО РТА 2005 г

2. Афонин П.Н., Глебов В.Е., Талюкин Ю.А. Планирование таможенной деятельности: технологии и решения // Ученые записки Санкт-Петербургского им. В.Б. Бобкова филиала РТА, 2003. № 1 (20). С. 107-111.

3. Афонин П.Н., Фетисов В.А.Введение в проектирование правовых и экономических баз данных: Учеб. пособие. СПб.: СПб. им. В.Б. Бобкова филиал РТА, 2001. 104 с.

4. Афонин П.Н., Фетисов В.А. Программа дисциплины «Информационные таможенные технологии». Специальность: 350900. СПб.: РИО СПб. им. Бобкова филиала РТА, 2003. 12 с.

5. Афонин П.Н., Фетисов В.А. Разработка методики создания программного обеспечения учебного назначения // Материалы VII межд. конф. «Современные технологии обучения "СТО-2002"». СПб., 24 апреля 2002 г. СПб., 2001. С. 193-194.

6. Белоножкин ЮН. Модель таможни как основа исследования ее деятельности // Исследование проблем таможенного дела: Сб. научн. тр. М.: РИО РТА, 2000. С. 126-131.

7. Бобков В.Б. Формирование информационной системы управления таможенной деятельностью. СПб.: СПб. филиал РТА, 1996.

8. Ершов А.Д., Копанева П.С. Информационное обеспечение в таможенной системе: Монография. СПб.: Знание, 2002. 232 с.

9. Карпова Т. Базы данных: модели, разработка, реализация. СПб.: Питер, 2001. 304 с.

10. Коренеев В.В., Гарев А.Ф., Васютин СВ., РайхВ.В. Базы данных. Интеллектуальная обработка информации. М.: Нолидж, 2000. 325 с.

11. ЛозбенкоЛ.А. Конвенциальное регулирование внешнеэкономической деятельности: Монография. М.: РИО РТА, 2000.

12. Макрусев В.В. Проблемные направления и задачи автоматизации процессов управления таможенной службой России // Проблемы теории и практики таможенного дела: Сб. науч. тр.: В 2 ч. Ч. 1 / Под ред. Н.М. Блинова. М.: РИО РТА, 1997. С. 282-295.

13. Малышенко Ю.В. Информационные технологии в таможенном деле: Учеб. пособие: В 2 ч. Ч. 1. Владивосток: ВФ РТА, 2003. 265 с.

14. Матвеев Л.А. Компьютерная поддержка решений: Учеб. СПб.: Специальная литература, 1998. 472 с.

15. Чеботов Ю.А. Автоматизация деятельности таможенных органов России. М.: РИО РТА, 1998..

Лекция № 11. Дисциплина: Автоматизированная деятельность в таможенных органах России.


1   2   3   4   5   6   7   8   9   10   ...   13

Падобныя:

Лекция №1 по дисциплине iconЛекция №12. По дисциплине: «Автоматизированная деятельность в таможенных органах»

Лекция №1 по дисциплине iconКалендарно-тематический план по дисциплине «Математика» весенний семестр 2011-2012 уч г
Лекция Выпуклые множества. Теорема о замкнутом, ограниченном выпуклом многограннике. Пересечение выпуклых множеств 07. 02. 2012

Лекция №1 по дисциплине iconЛекция религии современных неписьменных народов: человек и его мир лекция шаманизм приложение список сокращений Лекция предмет и основные понятия истории религий слово «религия»
Редактор Т. Липкина Художник Л. Чинёное Корректор Г. Казакова Компьютерная верстка М. Егоровой

Лекция №1 по дисциплине iconЛекция 2
Лекция Насекомые энтомофаги, акарифаги и зоофаги в экосистемах. Основные направления их использования. Прин­ципы регуляции численности...

Лекция №1 по дисциплине iconУчебно-методический комплекс по дисциплине «Оценка земли и земельный кадастр»
Срс по дисциплине, систему оценки знаний студента, политику курса, тематический план курса, список рекомендуемой литературы

Лекция №1 по дисциплине iconТамара Моисеевна Шнейдер
Интеграция различных предметов, изучающихся в музыкальной школе, очевидна. Эта лекция не единственная, проведено несколько лекций...

Лекция №1 по дисциплине iconМетодология научного творчества лекция 4 лекция 4
Суть математического моделирования (ММ) заключается в замене изучаемого объекта (процесса) адекватной математической моделью и последующем...

Лекция №1 по дисциплине iconЛекция «Международное сотрудничество как основа для антитеррористической деятельности» 4 Лекция «Позитивная и негативная роль сми в формировании образа террориста у молодого поколения»
Лекция «Позитивная и негативная роль сми в формировании образа террориста у молодого поколения»

Лекция №1 по дисциплине iconПособие по дисциплине основы творческой деятельности журналиста для студентов факультета журналистики
Ш 79 Оперативная журналистика: пособие по дисциплине «Основы творческой деятельности журналиста» / М. И. Шостак. – М. Импэ им. А....

Лекция №1 по дисциплине icon«Российский новый университет» 142003, Московская обл., г. Домодедово
География, Иностранный язык (второй); экзамену по дисциплинам – Технологии гостиничной деятельности; темы курсовой работы по дисциплине...

Размесціце кнопку на сваім сайце:
be.convdocs.org


База данных защищена авторским правом ©be.convdocs.org 2012
звярнуцца да адміністрацыі
be.convdocs.org
Галоўная старонка