Автоматизация решения регламентных статистических задач

Регламентные задачи решаются с помощью КЭОИ, обеспечивающих обработку данных статистической отчетности и данных различных стати­стических обследований, проводимых в отдельных отраслях статистики. В большинстве случаев каждый КЭОИ обрабатывает одну из форм стати­стической отчетности. Однако некоторые из них объединяют в своем со­ставе несколько технологий, реализующих обработку связанных между собой форм статистической отчетности.

В Госкомстате России функционируют два вида КЭОИ, которые ус­ловно названы системными и локальными КЭОИ. В системных КЭОИ используется типовая информационная технология на всех уровнях, уча­ствующих в решении данной задачи, с обменом данными между уровнями на технических носителях и по каналам связи. Локальные КЭОИ разрабатываются обычно для высшего уровня управления) обеспечивают автоматизированное решение статистических задач, в которых первичные отчеты предприятия и организации направляют сразу в Главный вычисли­тельный центр (ГВЦ) Госкомстата России.

В настоящее время эксплуатация КЭОИ носит в основном системный характер, что определяется рядом причин.

Во-первых, в решении регламентных задач участвуют вычислитель­ные установки различных уровней Госкомстата России.

Во-вторых, технология функционирования КЭОИ охватывает все эта­пы прохождения статистической отчетности, начиная от поступления пер­вичных отчетов от предприятий и организаций на нижестоящий уровень и кончая выпуском сводных отчетов (таблиц) на вышестоящем уровне Госкомстата России. При этом технология на каждом последующем уров­не является логическим продолжением технологии предыдущего уровня.

В-третьих, в процессе реализации технологического процесса выде­ляются процедуры (автономные программы), многие из которых являют­ся типовыми для всех вычислительных установок, а некоторые - для их подмножества.

Проиллюстрируем технологию решения регламентных статистиче­ских задач на примере типовых технологических процедур эксплуатации системных КЭОИ для почтовой отчетности.

Процедура 1. Подготовка к работе с КЭОИ.

Происходит загрузка на магнитный диск (МД) программ и библиотеч­ного массива со всеми элементами информационного фонда КЭОИ (ката­логами, словарями, справочниками и др.). При необходимости осуществ­ляется корректировка отдельных элементов информационного фонда.

Процедура 2. Подготовка исходной информации к обработке.

Осуществляются визуальный контроль и подготовка форм первичных статистических отчетов, перенос исходной информации этих отчетов на магнитные носители. Процедура выполняется только на региональном (рай­онном) уровне.

Процедура 3. Ввод и запись исходной информации.

Данные первичных статистических отчетов, размещенные на машин­ных носителях, вводятся в ЭВМ; осуществляются все виды контроля с выдачей протокола ошибок и корректировка введенной информации. Да­лее она объединяется с данными каталога в единый массив и копируется для организации архива.

Процедура 4. Обработка, контроль, корректировка и печать сводных таблиц.

Происходят формирование на МД промежуточных итоговых числовых матриц и предварительная (так называемая «рабочая») печать сводных таблиц, при которой не используются библиотечные текстовые наборы данных (справочники, словари и др.). Проводится контроль таблиц, а в случае корректировки первичных данных выполняются повторный рас­чет, контроль и «рабочая» печать отдельных таблиц (во многих КЭОИ предусмотрена возможность корректировки сформированных результатных числовых матриц без пересчета). Затем печатаются сводные таблицы.

Процедура 5. Подготовка материалов для передачи на вышестоя­щий уровень.

Осуществляется вывод на магнитный носитель передаваемых на вы­шестоящий уровень массивов в виде промежуточных итоговых числовых матриц или в виде сводных таблиц, полученных в процессе реализации процедур 3 и 4, а также печать справки о передаваемой информации. За­тем магнитные носители с выходными массивами, итоговые распечатки выходных таблиц, а также контрольные и справочные сведения о переда­ваемой информации отправляются почтой на вышестоящий уровень. Для ряда КЭОИ отправляются также формы первичных отчетов по опре­деленному кругу отчитывающихся объектов.

Процедура 6. Подготовка к объединению массивов сводных данных, полученных с нижестоящего уровня.

Поочередно для каждого из полученных магнитных носителей выдаются справочные сведения о поступившей информации, осуществляются контроль балансовой и логической увязки таблиц и в случае необходи­мости корректировка и повторная их запись по каждой объединяемой тер­ритории.

Процедура 7. Объединение массивов сводных данных, получен­ных с нижестоящего уровня.

Происходят предварительное накопление таблиц с объединяемых но­сителей без суммирования данных, формирование для ряда КЭОИ ката­лога по разрезам обработки (министерствам и ведомствам, отраслям и др.), расчет и печать сводных таблиц по всем разрезам обработки, кон­троль балансовой и логической увязки этих таблиц. При необходимости производятся их корректировка и повторная печать, формирование и пе­чать сводных таблиц по территории в целом, выдача справочных данных о структуре сводной информации на машинных носителях.

Процедура 8. Обработка и получение сводных таблиц, отчетность которых не централизована.

Эта процедура выполняется во многих КЭОИ на федеральном уров­не и предусматривает прием сводных таблиц ряда министерств, отчет­ность которых не централизована в органах статистики. В этом случае осуществляются: прием сводных итогов по этим министерствам, подго­товка их к вводу в ЭВМ, запись с контролем и корректировкой, а также машинная распечатка сводных таблиц. Информация, полученная в ре­зультате этой процедуры по нецентрализованным министерствам, вы­водится на машинные носители, которые используются наряду с носите­лями, полученными с нижестоящего уровня, при выполнении описан­ной выше процедуры 7.

Процедура 9. Получение таблиц для местных руководящих органов.

Операция выполняется на региональном, районном или кустовом уров­не. Кустовой уровень может организовываться для ряда региональных (районных) органов статистики, где нет необходимых средств вычисли­тельной техники, удовлетворяющих требованиям системной обработки информации. На этих уровнях формируются промежуточные числовые матрицы с данными специальных (не входящих в централизованную раз­работку) таблиц для местных руководящих органов и выполняется печать этих таблиц. Во многих КЭОИ проводятся дополнительная разработка первичных отчетов, подготовленных в виде массива исходных данных в процессе реализации процедуры 3, с целью получения сводных таблиц (например, по административным районам) и печать этих таблиц. Спе­циальные сводные таблицы, а также сводные таблицы, полученные в ре­зультате дополнительной разработки, передаются местным руководя­щим органам.

Рассмотренные выше типовые технологические процедуры полно­стью реализуют процесс обработки почтовой отчетности на всех уров­нях Госкомстата России в виде следующих макротехнологий:

для регионального (районного) уровня: процедура 1

- процедура 2 - процедура 3 - процедура 4 - процедура 5 - процедура 9;

для кустового уровня: процедура 1- процедура 3 - процедура 4 - процедура 6 - процедура 9 - процедура 7 - процедура 5 (проце­дуры 3, 4, 6 и 9 выполняются отдельно для каждой обрабатываемой территории);

для федерального (регионального) уровня: процедура 1

- процедура 3 - процедура 4 - процедура 8 - процедура 6 – процедура 7 (процедура 6 повторяется для каждой объединяемой территории).

Если перечень технологических процедур дополнить еще одной процедурой - передачей информации по коммутируемым и выделенным ка­налам связи с использованием средств телеобработки для составления срочной отчетности, то можно будет получить полный набор типовых процедур. На базе различных сочетаний этих процедур создается системная технология решения любой регламентной статистической задачи;

В Госкомстате России наряду с применением КЭОИ, реализующих технологию решения регламентных задач с помощью набора автономно вы­полняемых программ, широко используются КЭОИ, спроектированные на базе ППП.

ППП представляет собой комплекс программных средств, предназначенных для решения регламентных задач сводно-группировочного ха­рактера. Пакет имеет четко выраженную модульную структуру и стандартные средства связи друг с другом с помощью управляющей программы. В отличие от набора автономно выполняемых программ ППП:

• представляют экономистам по возможности единую схему получе­ния сводных таблиц;

• избавляют программистов от необходимости создавать уникаль­ные программные средства для каждого вновь проектируемого КЭОИ;

• допускают изменение решения задачи (например, изменение струк­туры и содержания первичных и сводных отчетов) без изменения про­граммных средств;

• сокращают сроки разработки КЭОИ;

• максимально типизируют проектирование КЭОИ.

Наиболее широкое применение в Госкомстате России получил пакет «Форма» (интерпретирующего типа), предназначенный для автоматизации проектирования КЭОИ. В основу разработки положены:

- организационно-методологическое единство, обусловленное исполь­зованием единого набора программных модулей, обеспечивающих обра­ботку данных для различных регламентных задач;

- экономичная технология - с минимальными затратами труда эко­номистов, операторов и рациональным использованием ресурсов ЭВМ при
обработке информации;

• гибкость и инвариантность программного обеспечения по отноше­нию к изменениям и дополнениям постановок статистических задач, обу­словливающих возможность внесения отдельных изменений параметров
задачи без перепрограммирования;

• типизация и унификация, обусловливающие единую методологию
построения процесса обработки данных для всех регламентных задач;

• интеграция обработки данных, обусловливающая однократный ввод
информации в вычислительную систему с целью многократного и много­
функционального ее использования.

Проектирование КЭОИ с использованием ППП «Форма» сводится к формированию настроечных массивов двух типов: справочников, жестко привязанных к структуре первичных и сводных отчетов, и различных ка­талогов и справочников, не зависящих от этих структур. Настроечные мас­сивы первого типа индивидуальны для конкретного КЭОИ, а второго - являются общими для многих КЭОИ.

Множество настроечных массивов, используемых в каждом КЭОИ, представляет собой формализованное описание на входном языке ППП постановки соответствующей регламентной статистической задачи.

На основе традиционного набора программных модулей и вышеизложенных концепций создания и функционирования программного обеспе­чения в ППП «Форма» разработаны следующие типовые программные, полностью реализующие решение регламентных задач, модули:

- ввод, контроль и запись первичных отчетов;

- корректировка первичных отчетов;

- формирование сводов;

- печать сводных отчетов.

Взаимосвязь программных модулей ППП «Форма» и настроечных мас­сивов при решении регламентных задач представлена на рис. 23.

Рисунок 23 – Схема взаимосвязи основных программ ППП «Форма» и настроечных массивов

Для ввода, контроля и записи первичных отчетов на машинные носители используется программа ВКЗ. С ее помощью осуществляется ввод исходных массивов АХВ, подготовленных на различных магнитных носи­телях, или прямо с терминалов. Исходные массивы готовятся на основе первичных отчетов, собранных в пачки. В первой строке массива указыва­ются код КЭОИ, номер пачки и количество отчетов в пачке, во второй -идентификатор отчета (регистрационный номер объекта по ОКПО (Об­щегосударственный классификатор предприятий и организаций)), в треть­ей - строки отчета (код строки и содержание ее граф). После последней строки отчета ставится разделитель отчета - знак "-".

Программой ВКЗ выявляются отклонения, вызванные нарушением различных видов арифметического и логического контроля, которые выдаются в форме протокола ошибок. Данные записываются на магнит­ные диски в виде массива ВХВ.

Приведенные выше действия программы ВКЗ выполняются с помо­щью следующих заранее подготовленных настроечных массивов: описа­ния оглавления первичного отчета НХВ, описания структуры первичного отчета СТРХВ и описания каталога первичных отчетов КАТХВ. Оглавле­ние для каждого первичного отчета состоит из одной записи, которая со­держит такие характеристики, как код КЭОИ, длина логической записи, код территории, количество реквизитов-признаков и реквизитов-основа­ний, максимальная размерность массива, признак отсортированности отчетов, количество и номер цикла обработки отчетности и др.

При использовании ППП «Форма» для всех первичных отчетов мож­но применять единое описание их структуры: параметров, разделов и строк отчета, а также контроля отчета.

В описании параметров указываются: признак структуры отчета (фиксированная, переменная или комбинированная); количество фиксированных строк и граф; максимальное количество переменных строк и количество граф в переменных строках.

Описание разделов выполняется для фиксированных строк, где указываются: количество фиксированных разделов, количество фик­сированных строк и количество граф в каждом разделе.

В описании строк дается код строки и перечисляются все коды граф, относящиеся к каждой строке.

Описание контроля отчетов состоит из описания операций контроля; балансовый контроль строк; балансовый контроль граф; сравнение допустимого отклонения от ожидаемых данных по раз­личным строкам и графам с фактическими данными; контроль пографной увязки данных; проверка построчных и постраничных контрольных сумм; проверка недопустимых пустых строк и закрещенных граф. Каждая из перечисленных типовых операций контроля имеет свою уникальную формулу.

Каталог первичных отчетов в основном предназначен для контроля полноты записи отчетов, а также определяет перечень используемых кодов. Унифицированный каталог (для многих КЭОИ) в рамках отрасли ста­тистики состоит из заголовка и карточек каталога на каждый первичный отчет.

Заголовок определяет параметры каталога: максимальный номер карточки и количество признаков в каталоге, номер ключевого при­знака (обычно регистрационный номер объекта) каталога и его макси­мальную длину.

В карточках каталога отражаются реквизиты-признаки объекта обсле­дования. Для промышленных предприятий это будет порядковый номер карточки, регистрационный номер объекта по ОКПО, код отрасли по ОКОНХ (Общегосударственный классификатор отраслей народного хо­зяйства), код министерства по СООГУ (Система обозначения органов го­сударственного управления), код территории по СОАТО (Система обозна­чений административных территориальных объектов) и другие исполь­зуемые в отчете коды.

Исходные массивы ВХВ корректируются программой КОР только в том случае, если при вводе данных протокол ошибок содержит сведения о нарушениях различных типов контроля. С этой целью предварительно составляется массив корректур АХВ и используются описание структуры первичного отчета СТРХВ и каталог первичных отчетов КАТХВ. Кор­ректировка осуществляется до тех пор, пока не прекратятся сообщения в протоколе ошибок, при этом исходный массив ВХВ преобразуется в откорректированный массив СХВ.

Программа корректировки отчетов допускает замену реквизитов-при­знаков, замену реквизитов-оснований, удаление отчета и его перевод из списка ошибочных в список правильных.

При корректировке первого вида указываются регистрационный номер объекта по ОКПО, номер и новое значение корректируемого признака, а также контрольная сумма предыдущих трех чисел. При остальных видах корректировки применяется структура бланка корректур со следующими графами: регистрационный номер объекта по ОКПО, код строки, код гра­фы, новое значение (или приращение с соответствующим знаком) и кон­трольная сумма.

После окончания корректировки переходят к программе формирова­ния сводных итогов ФСБ. Исходными данными для ее функционирова­ния являются откорректированный массив СХВ, каталог первичных отче­тов КАТХВ, определяющий список сводных отчетов. К ним принадле­жит первичный отчет "и специально подготовленный массив вхождения МВХВ, предназначенный для описания схемы формирования сводных отчетов иерархической структуры. В результате работы этой програм­мы получаем выходной массив ЕХВ, содержащий накопленные итоги сводного отчета.

Массив вхождения МВХВ определяет порядок вхождения первичных отчетов в соответствующие сводные отчеты. Он состоит из заголовка и элементов массива вхождения.

Заголовок в основном используется для формирования оглавления массива сводного отчета и кроме этих характеристик включает максималь­ную глубину вхождения (число разрезов, в которые войдет первичный отчет), количество и порядковые номера реквизитов-признаков в каталоге первичных отчетов, используемых для определения их входимости в свод­ные отчеты, и другие признаки.

Элементы массива вхождения определяют конкретные значения рек­визитов-признаков и правила формирования сводных отчетов. В каждом элементе массива вхождения, соответствующем одному сводному отчету, сначала задаются списки реквизитов-признаков, определяющих входимость показателей первичного отчета в сводный отчет, а затем перечисляются номера граф этих признаков в каталоге первичных отчетов КАТХВ с указа­нием алгебраического сложения или вычитания показателей.

Заключительный этап реализации ППП «Форма» - печать сводных отчетов с помощью программы ПСВ. Исходными данными для работы этой программы являются полученный массив сводных итогов ЕХВ и предварительно подготовленные каталог сводных отчетов КАТСХВ и описание сводных таблиц ТАБХВ.

Каталог сводных отчетов КАТСХВ применяется для определения перечня выдаваемых сводных отчетов, он создается на основе массива вхождений МВХВ, из которого берутся только списки реквизитов-признаков, определяющих входимость показателей в свод­ный отчет. Отчеты, не указанные в этом каталоге, исключаются из про­цесса обработки.

Описание сводной таблицы состоит из четырех разделов:

- раздела параметров заголовочной части таблицы;
- раздела текстов;

- раздела получения производных граф;

- раздела параметров содержательной части таблиц.

В разделе параметров заголовочной части таблицы приводятся: ха­рактеристика размещения заголовков, подзаголовков, рамки с кодами и шапки (наименование и номера граф содержательной части) таблицы.

Раздел текстов служит для оформления выходных таблиц и содержит описания символьных текстов, которые включают заголовки, рамки ко­дов, шапки, боковики и т.д.

Раздел получения производных граф описывается в том случае, если их значение можно вычислить, используя исходные графы. Для этого ука­зываются номера исходных граф и тип групповой арифметической опе­рации, выполняемой для получения производной графы.

В разделе параметров содержательной части таблицы даются описание боковика, строк таблицы и расчет производных строк.

Описание расчета производных строк составляется аналогично описа­нию производных граф.

На основе ППП «Форма» разработаны и внедрены рабочие проекты системных и локальных КЭОИ для автоматизированного решения около ста регламентных статистических задач. Благодаря этому пакету сокращаются в 2-3 раза трудовые затраты и значительно уменьшаются стоимостные затраты на проектирование новых КЭОИ, а также упрощается их эксплуатация за счет внедрения типовых информационных технологий обработки статистической информации.

Дата добавления: 2014-12-08