Основные понятия процесса накопления данных

Методология функционального моделирования SADT

Методология SADT разработана Дугласом Россом и получила дальнейшее развитие в работе. На ее основе разработана, в частности, известная методология IDEF0 (Icam DEFinition), которая является основной частью программы ICAM (Интеграция компьютерных и промышленных технологий), проводимой по инициативе ВВС США.

Методология SADT представляет собой совокупность методов, правил и процедур, предназначенных для построения функциональной модели объекта какой-либо предметной области. Функциональная модель SADT отображает функциональную структуру объекта, т.е. производимые им действия и связи между этими действиями. Основные элементы этой методологии основываются на следующих концепциях:

· графическое представление блочного моделирования. Графика блоков и дуг SADT-диаграммы отображает функцию в виде блока, а интерфейсы входа/выхода представляются дугами, соответственно входящими в блок и выходящими из него. Взаимодействие блоков друг с другом описываются посредством интерфейсных дуг, выражающих "ограничения", которые в свою очередь определяют, когда и каким образом функции выполняются и управляются;

· строгость и точность. Выполнение правил SADT требует достаточной строгости и точности, не накладывая в то же время чрезмерных ограничений на действия аналитика. Правила SADT включают:

· ограничение количества блоков на каждом уровне декомпозиции (правило 3-6 блоков);

· связность диаграмм (номера блоков);

· уникальность меток и наименований (отсутствие повторяющихся имен);

· синтаксические правила для графики (блоков и дуг);

· разделение входов и управлений (правило определения роли данных).

· отделение организации от функции, т.е. исключение влияния организационной структуры на функциональную модель.

Методология SADT может использоваться для моделирования широкого круга систем и определения требований и функций, а затем для разработки системы, которая удовлетворяет этим требованиям и реализует эти функции. Для уже существующих систем SADT может быть использована для анализа функций, выполняемых системой, а также для указания механизмов, посредством которых они осуществляются.

При создании информационной базы ЕАИС в основном использу­ются подходы: файловый и основанный на концепции базы данных. Ос­новным разработчиком баз данных ФТС России является ГНИВЦ.

В ходе развития информационных систем были сформулированы принципы организации больших массивов данных:

• принцип интеграции данных, в соответствии с которым все данные на­капливаются и хранятся централизовано, образуя динамически обновляемую модель предметной области;

• принцип независимости прикладных программ от данных, т.е. отделе­ния логической модели данных от средств управления ими.

Удовлетворение этим принципам связано с созданием единого для всех задач блока данных, называемого базой данных, и разработкой единой управляющей программы для манипулирования данными, называемой системой управления базой данных - СУБД.

База данных (БД) представляет собой данные, организованные и обрабатываемые в накопителях в соответствии с определенными правила­ми хранения и доступа. Выделением базы данных как особой части программного обеспечения преследуется не­сколько целей:

• эффективная структуризация информации;

• сведение к минимуму повторяющихся данных;

• обеспечение быстрого доступа к информации прямо на носителе;

• удобство дополнения информации новыми сведениями;

• обеспечение целостности данных;

• предотвращение несанкционированного доступа к информации;

• облегчение автоматизации обработки данных и ведения отчетности.

Объекты, процессы, явления предметной области представляются в базах данных коллекциями записей (сущностей) определенной структуры. Различают иерархическую, сетевую и реляционную модели данных.

Иерархическая модель отражает структуру, аналогичную файловой системе. Это дерево с узлами, в которых хранятся данные, и ветвями, свя­зывающими их между собой. Узел, в который не входит ни одна ветвь, на­зывается корнем. В свою очередь, любой узел дерева - это в то же время и корень поддерева. Число таких поддеревьев именуется степенью узла. Концевой узел, имеющих нулевую степень, называется листом. Таким об­разом, граф иерархической модели должен удовлетворять определенным ограничениям.

Если же эти ограничения убрать, получится граф произвольного вида, отображаемый сетью. Сетевая модель рассматривает базу данных как абстрактное хранилище связанных друг с другом записей, то есть объ­ектами такой базы являются и записи, и связи между ними. Форма хране­ния информации в базе данных сетевого типа напоминает способ хранения образов в мозгу человека. Между элементами данных существует отноше­ние наследования типа "родитель-потомок", причем любой элемент может оказаться наследником нескольких родителей и наоборот. Связи в базе данных сетевого типа реализуются с помощью сложной системы указате­лей. Поскольку каждый элемент данных должен содержать ссылки на дру­гие элементы, такая модель такая модель требует значительных ресурсов памяти и высокого быстродействия компьютера. В настоящее время ведут­ся исследования в области создания объектно-ориентированных сетевых баз данных, финансируемых такими компаниями, как например, 1ВМ в США.

В основе автоматизированной реляционной или табличной модели лежит понятие бинарного отно­шения как двухмерной таблицы единой структуры. Значения элементов её являются атомарными (неделимыми) величинами и не содержат других отношений. В этом заключается главное отличие реляционной модели от иерархической и сетевой. Сравнительная простота инструментальных средств поддержки реляционной модели является ее достоинством, тогда как жесткость структуры и зависимость от скорости работы, от размера ба­зы данных относятся к недостаткам.

Системы управления базой данных

Системой управления базой данных называется программа, выпол­няющая управление и поиск в базах данных, их систематизацию и актуали­зацию. Под управлением данными понимается, во-первых, манипулирова­ние записями, выполняемое пользователем, а во-вторых - задание и кор­рекция схемы базы данных, т.е. ее логической или физической структуры, выполняемое программистом. В наиболее полном варианте СУБД содер­жит свой интерфейс пользователя, дающий возможность непосредственно­го управления данными; язык для программирования прикладных задач обработки данных; средства для придания завершенной программе вида готового коммерческого продукта. Будучи механизмом пользователя, СУБД предусматривает систематизацию и оперативный поиск данных и имеющихся в них сведений, а также поддержание данных в актуальном со­стоянии - их добавление, изменение, выборку, отображение. Будучи инст­рументом программиста, СУБД помогает ему в проектировании, преду­сматривая следующие этапы:

• определение объектов - источников данных и выявление связей меж­ду ними,

• определение свойств объектов и выявление связи между свойствами,

• создание словаря данных,

• разработка операций над данными,

• назначение пользователей и разграничение их прав доступа

Пользователь общается с базой данных через копии ее фрагментов. Для этого он либо осуществляет фильтрацию записей, либо обращается к базе данных с запросом.

Более 15 лет представлен на мировом рынке пакет Огас1е. Долгое время каждая третья продаваемая в мире СУБД работала под Огас1е. На Огас1е разработано значительное число прикладных систем для банков, промышленных предприятий, энергетических объектов, учреждений здра­воохранения и таможни. Она обеспечивает целостность баз данных при выполнении распределенных запросов, автономию узлов базы и высокую производительность. Система поддерживает открытую архитектуру: в едином приложении ее могут согласованно работать компоненты СУБД различных фирм, файлы операционной системы, аппаратура (промышлен­ные контроллеры, кассовые аппараты). Инструментарий Огас1е позволяет создавать графический интерфейс пользователя со сложной логикой обра­ботки данных. Постепенно реляционная СУБД Огас1е преобразуется в объ­ектно-ориентированную систему на основе языка SQL++, хранящую дан­ные в виде объектов вместо таблиц.

Особенности баз данных, используемых в ФТС России

Объем центральной базы данных ФТС России составляет сотни те­рабайт: это архивы оформляемых таможенных деклараций (более 2,5 млн документов в год, по несколько десятков килобайт каждый) плюс специа­лизированные базы данных документов контроля доставки товаров и транспортных средств, таможенных приходных ордеров, сертификатов и нормативно-справочной информации, а также БД по участникам ВЭД.

Приказ ГТК России от 12 мая 2003 года №499 «О порядке сбора, проведения форматно-логического контроля и передачи электронных ко­пий грузовых таможенных деклараций» утвердил:

1. Порядок сбора, проведения форматно-логического контроля и пере­дачи электронных копий грузовых таможенных деклараций на всех уровнях системы таможенных органов в рамках Единой автоматизи­рованной информационной системы (ЕАИС) ГТК России

2. Регламент сбора, форматно-логического контроля и передачи элек­тронных копий грузовых таможенных деклараций

3. План мероприятий по повышению достоверности информации в центральной базе данных ЕАИС ГТК России

В таблице приведен ряд новых терминов и определений, впервые введенных Приказом №499 от 12 мая 2003 года.

Центральный элемент комплексной системы таможенного оформ­ления - база данных ГТД. Каждый товар, приходящий на границу, имеет множество сопроводительных документов - накладные, контракт, паспорт сделки, которая предваряет поставку, книжки перевозчиков и т. п. Вся ин­формация из этих документов сводится в один - грузовую таможенную декларацию; этот документ в настоящее время наиболее важен в работе таможенных служб. В ГТД описывается сам товар, его отправитель, полу­чатель, указывается таможенная стоимость, вес, способ доставки и т. п. Форма этого документа вписана в структуру БД, и каждое его поле имеет под собой информационную поддержку.

Формирование ГТД и ее использование включает несколько этапов. При поступлении груза на границу таможенник проверяет товаросопроводительные документы и формирует на их основе электронный документ контроля доставки, который по электронной почте направляется в тамож­ню назначения этого груза, а точнее, в ее вычислительный центр. Одно­временно информация идет в центральную базу данных ФТС, где прове­ряются сведения о юридическом или физическом лице, которому предна­значен данный груз.

Таможня назначения, получив груз, помещает его на склад временно­го хранения и проверяет соответствие заявленных кодов, наименования, объема и стоимости фактически поступившему товару, после чего форми­рует ГТД и направляет ее в центральную БД, а товар выпускает в свобод­ное обращение.

ГТД, появившись на таможне назначения, становится тем докумен­том, вокруг которого в дальнейшем проводятся все проверки, а сведения, осевшие в БД грузовых таможенных деклараций, подвергаются различной обработке. Помимо проверки правильности оформления ГТД и при необходимости ее корректировки, центральная БД ФТС России преду­сматривает возможности перекрестной проверки данных ГТД и других специализированных документов, проведения статистической обработки информации о поступивших в Россию товарах и их объемах (для предос­тавления сведений экономическим и финансовым ведомствам), а также функции "зеркальной статистики" - сопоставления экспортных данных Евросоюза с информацией о реально поступивших в Россию грузах.

Центральная база данных многократно продублирована: в частно­сти каждая региональная БД хранит всю информацию, накопленную РТУ за все время работы, и каждая таможня имеет полную информацию о своей деятельности. Такое многоуровневое резервирование позволяет в любой момент восстановить информацию, если что случится с центральной ба­зой.

Доступ к центральной БД опосредован промежуточными Intel-серверами. Современные операционные системы позволяют непосредст­венно работать с массивами информации, что предопределяет возмож­ность несанкционированного доступа к хранящейся информации. Поэтому в ФТС прежде всего формализована специфика работы каждого таможен­ного подразделения, и сотрудники могут работать только с определенными полями таможенных деклараций в соответствии со своими задачами. На­пример, управление контроля таможенной стоимости работает с полями "Стоимость", "Вес нетто", "Вес брутто", а также с количеством наименова­ний товаров. При этом сведения которые запрашивает пользователь, вы-гражаются на промежуточный сервер, и обратного хода нет. Таким обра­зом, исходная информация центральной БД развязана с теми данными, ко­торые обрабатываются в повседневной деятельности.

Термины, введенные приказом ГТК России от 12 мая 2003 года №499

Распределенная обработка и распределенная база данных не синони­мы. Если при распределенной обработке производится работа с базой, то подразумевается, что представление данных, их содержательная обработ­ка, работа с базой на логическом уровне выполняются на персональном компьютере клиента, а поддержание базы в актуальном состоянии на сер­вере. В случае использования распределенной базы данных последняя раз­мещается на нескольких серверах. Работа с ней осуществляется на тех же персональных компьютерах или на других, и для доступа к удаленным данным надо использовать сетевую СУБД.

В системе распределенной обработки клиент может послать запрос к собственной локальной базе или удаленной.

Удаленный запрос - единич­ный запрос к одному серверу. Несколько удаленных запросов к одному серверу объединяются в удаленную транзакцию. Если отдельные запросы транзакции обрабатываются различными серверами, то транзакция называ­ется распределенной. При этом один запрос транзакции обрабатывается одним сервером. Распределенная СУБД позволяет обрабатывать один за­прос несколькими серверами. Такой запрос называется распределенным. Только обработка распределенного запроса поддерживает концепцию рас­пределенной базы данных.

Таможенные информационные технологии опираются на базы нормативно-справочной информации.

ИСПОЛЬЗОВАНИЕ В ФТС РОССИИ СИСТЕМ ОРИЕНТИРОВАННЫХ НА АНАЛИЗ ДАННЫХ

При построении 1-й очереди ЕАИС акцент делался на классические методы проектирования базы данных, то есть на системы, ориентирован­ные на обработку транзакций в реальном времени (On-Line Transaction Processing- OLTP)

Система выдает ответы на простые вопросы типа "каков был уровень импорта товара N в регионе М в январе 2004 года?). Традицион­ные системы OLTP оперируют такими понятиями, как сущность, связь, функциональная декомпозиция и анализ изменения состояний.

В системах OLTP информация хранится в виде, пригодном для де­тальной ревизии данных. Если пользователя интересует кредитный счет экспортера, он должен получить подробную информацию о каждой опера­ции. С этим прекрасно справляется система OLTP, которая обеспечивает строжайшую секретность и максимальную закрытость. Неудивительно по­этому, что с помощью таких систем невозможно получить ответ на анали тические вопросы типа "Будет ли получена от этого прибыль?", "Какие клиенты наиболее выгодны с позиции таможенных платежей и почему?" или "Какие возможности в технологии валютного контроля упускаются?".

В реляционных моделях связи отображаются явно. Понятие "сущ­ность-связь" составляет основу реляционной модели. Например, явное описание связи между потребителями и заказами закладывается в саму конструкцию реляционной БД.

К сожалению, размещаемая в базах данных OLTP- систем информация мало пригодна для глобального прогнозирования состояния системы. По­этому данные с разных информационных конвейеров отправляются (в смысле, копируются) па "склады данных", называемые "информационны­ми хранилищами данных".

Хранилища данных

Для получения интересующей их информации лица, принимающие решение (ЛПР), или аналитики обращаются к СППР с запросами. Эти за­просы в большинстве случаев более сложные, чем те, которые применяют­ся в системах операционной обработки данных, например, "Найти среднее значение промежутка времени между выставлением счета и оплатой его участником ВЭД в текущем и прошедшем году отдельно для разных групп участников ВЭД".

В большинстве случаев сложный аналитический запрос невозможно сформулировать в терминах языка SQL, поэтому для получения информа­ции применяют специальные языки, ориентированные на аналитическую обработку данных. К их числу можно, например, отнести язык Ехрress 4GL фирмы Огас1е. Также для выполнения запросов могут быть использованы приложения, написанные специально для решения тех или иных задач.

Дата добавления: 2014-01-06