Исследование и проектирование целей управления

Классификация и состав методов исследования

Эффективность исследования систем управления во многом определяется выбранными и использованными методами исследования.

Методы исследования представляют собой способы, приемы проведения исследований. Их грамотное приме­нение способствует получению достоверных и полных результатов исследования возникших в организации про­блем. Выбор методов исследования, интеграция различ­ных методов при проведении исследования определяется знаниями, опытом и интуицией специалистов, проводя­щих исследования.

В основе любых методов исследования СУ лежат определенные принципы, теории и законы, но их всегда можно классифицировать по разным классификационным признакам - основаниям, которые представлены ниже.

Так, все многообразие методов можно условно разделить по:

философскому подходу - на всеобщие (методы материалистической диалектики), общие (теоретические, эмпирические) и частные;

по сложности - на простые (содержащие четко выделяемый одно­значный способ исследования) и сложные, т.е. комплексные (вклю­чающие комбинацию простых способов);

по охвату явлений - на общие и частные;

по области применения - на физические, химические, биологиче­ские, экономические, социологические и т.п.;

по точности результатов использования - на достоверные и вероятностные;

поструктуре - на алгоритмические и эвристические;

по содержанию - на математические, статистические, экономиче­ские, экономико-статистические, технические, технико-экономические, параметрические, экспертные, социологические, рефлек­сивные, интуитивные, логические, интуитивно-логические, измери­тельные и др.;

по стадиям исследования - на подготовительные, исследовательско - проектные, внедренческие;

понаправлениям использования - на методы обследования (сбора данных), обработки и анализа информации, формирования, обос­нования и внедрения (реализации) решений, в частности:

- методы обследования (сбора данных ) - самообследование, интервьюирование, беседа, фотография рабочего дня, анкетирование, изучение документов, функционально-стоимостной анализ, активное наблюдение в течение рабочего дня, моментные наблюдения и др.;

- методы обработки и анализа информации - системный анализ, экономический анализ, декомпозиция, структуризации целей, экспертно-аналитический, нормативный, параметрический, моделирования, функционально-стоимостной анализ, главных компонент, балансовый, корреляционный, факторный, опытный, матричный, последовательной подстановки, динамический и др.;

- методы формирования решений - системный подход, аналогий, параметрический, блочный, функционально-стоимостной анализ, структуризации целей, опытный, творческих совещаний, коллективного блокнота, контрольных вопросов, морфологический анализ, экспертно-аналитический, моделирование и др.;

- методы обоснования решений - аналогий, сравнений, нормативный, экспертно-аналитический, функционально-стоимостной анализ, моделирование фактического и желаемого состояния исследуемого объекта, расчет количественных и качественных показателей оценки экономической эффективности предлагаемых вариантов и др.;

- методы внедрения (реализации) решений - обучение, переподготовка и повышение квалификации работников аппарата управления, привлечение общественных организаций, функционально-стоимостной анализ и др.;

по отношению к теории и эмпирике - на теоретические (форма­лизация, аксиоматизация, идеализация, восхождение от абстрактного к конкретному, моделирование, др.), эмпирические (наблюдение, измерение, сравнение, эксперимент, др.), теоретико-эмпирические (абстрагирование, анализ и синтез, индукция и дедукция, др.);

по отношению к источнику получения информации - на интуи­тивные (основанные на использовании знаний и интуиции исследо­вателей), формализованные (основанные на формализованном пред­ставлении объектов исследования) и комплексные (основан­ные на использовании интуитивных и формализованных методов);

по охвату научного инструментария - на общенаучные и частнонаучные;

по отношению к науке и особенностям управления -на

- общенаучные, использующие современный научный аппа­рат (мыслительно-логические - дедукции, в том числе классифи­кации, конструирования гипотез, доказательства, постановки про­блем, полемики, моделирования, метрологических и др.; индукции; мыслительного эксперимента; эмпирические - практического экс­перимента, в том числе прямого, модельного, поискового, прове­рочного, статистического, нестатистического; прямого и косвенного наблюдения),

- специфические, основанные на специфике управления и учитывающие его особенности (исследование документов; проведение ограниченного эксперимента, сочетание эксперимента и игры; со­циологические исследования - наблюдение, интервью, анкетиро­вание, тестирование; коллективный анализ (типа «мозгового штур­ма»); социометрические оценки, в том числе экспертные оценки; деловые и инновационные игры; имитационное моделирование; систематизация факторов) и

- диверсифицированные, соединяющие методологические, организационные, психологические, технологические приемы (интуи­тивный - случайный поиск; систематический поиск - целена­правленная упорядоченность всех процедур - матричные методы анализа, классификации, декомпозиции; алгоритмический - логи­ческий поиск; «мозговой штурм»; Дельфи; синектика, соединение коллективного творческого потенциала с неосознанным при созна­тельном исследовании; имитационное моделирование).

Другими примерами классификации методов исследования может служить группировка по целям исследования, видам анализа и т.п. Так, Коротков Э.М. делит все методы на три большие группы, в одном случае – на общенаучные, специфические и диверсифицированные [Коротков Э.М. Исследование систем управления. – М.: Издательско - Консалтинговое Предприятие «ДеКа», 2003.], в другом случае – на формально-логические, общенаучные (которые, в свою очередь, делятся на эмпирические и мыслительно-логические) и специфические методы [Исследование систем управления: Учеб. пособие /Под ред. Короткова Э.М.- М.: ИНФРА-М, 2003.].

По мнению Малина А.С. и Мухина В.И. для удобства изучения и практического применения тех или иных методов их целесообразно разделить на три группы [Малин А.С., Мухин В.И. Исследование систем управления: Учебник для вузов.- М.: ГУ ВШЭ, 2002.]:

- методы эмпирического исследования;

- методы, используемые как на эмпирическом, так и на теоретическом уровне исследования;

- методы теоретического исследования.

Для общего представления состава методов исследования более предпочтительным является двухкритериальный классификационный признак их группировки по отношению к способу и источнику получе­ния информации об исследуемых объектах. Так, по мнению Мишина В.М., можно выделить следующие группы методов [Мишин В.М. Исследование систем управления: Учебник для вузов. - М.: ЮНИТИ-ДАНА, 2005.]:

1) теоретические методы - формализация, аналитические методы (математические, интегрального, дифференциального и вариационного исчислений, теория вероятности, теория игр, поиск максимумов и минимумов функций, в т.ч. математического программирования, математической логики, теории множеств); статистические методы (математической статистики, исследования операций и массового обслуживания, теории информации); графические методы (теория графов, номограмм, диаграмм, гистограмм, графиков), аксиоматизация, идеализация, восхождение от абстрактного к конкретному, моделирование и др.;

2) логико-интуитивные - экспертные, «мозговой штурм»(прямая «мозговая» атака, обмен мнениями, комиссия, деловая игра, конференция идей, коллективная генерация идей, творческие совещания, коллективный блокнот), метод синектики, сценариев, Дельфи, постановки проблем, доказательства, конструирования гипотез, классификация и типология, научное обсуждение и научная полемика, структуризация («дерево целей» и т.п.), морфологический анализ, анализ проблем, метод аналогий, тестирование, главных компонент, матричный, органолептический, последовательной подстановки и др.;

3) эмпирические - наблюдение (активное наблюдение, моментное наблюдение, фотография рабочего дня, самообследование), сравнение, измерение (социологическое, техническое, экономическое), нормативный метод, эксперимент, мысленный эксперимент, опросов (анкетирование, интервьюирование, беседы), изучение документации и информационных материалов и др.;

4) комплексно-комбинированные - абстрагирование, анализ и синтез, дедукция и индукция, декомпозиция и композиция, корреляционный метод, факторный, динамический, ретроспективный, квалиметрический, индексный, системный анализ, параметрический, аналитико-расчетный, анализ взаимного влияния (совокупность корреляционного, регрессивного, балансового и др.), факторный анализ, социологический, прогностический анализ, диагностический анализ, детальный анализ, глобальный анализ, экспертно-аналитический, гипотетико-индуктивный, блочный, аудит-метод и др.

В каждой из приведенных классификационных групп имеются определенные базовые методы исследования.

Классификация, предложенная Игнатьевой А.В. и Максимцовым М.М., предполагает разделение всей совокупности методов исследования на три большие группы [Игнатьева А.В., Максимцов М.М. Исследование систем управления: Учеб. Пособие для вузов.- М.: ЮНИТИ-ДАНА, 2000.]:

1) методы, основанные на использовании знаний и интуиции специалистов;

2) мето­ды формализованного представления систем управления (методы формального моделирования исследуемых про­цессов) и

3) комплексированные методы.

Первая группа - методы, основанные на выявлении и обобщении мнений опытных специалистов-экспертов, ис­пользовании их опыта и нетрадиционных подходов к ^анализу деятельности организации включают: метод «Мозговой атаки», метод типа «сценариев», метод экс­пертных оценок (включая SWOT-анализ), метод типа «Дельфи», методы типа «дерева целей», «деловой игры», морфологические методы и ряд других методов.

Вторая группа - методы формализованного представ­ления систем управления, основанные на использовании математических, экономико-математических методов и моделей исследования систем управления. Среди них можно выделить следующие классы:

· аналитические (включают методы классической ма­тематики - интегральное исчисление, дифференциаль­ное исчисление, методы поиска экстремумов функций, вариационное исчисление и другие, методы математиче­ского программирования, теории игр);

· статистические (включают теоретические разделы математики - математическую статистику, теорию веро­ятностей - и направления прикладной математики, ис­пользующие стохастические представления - теорию массового обслуживания, методы статистических испы­таний, методы выдвижения и проверки статистических гипотез и другие методы статистического имитационного моделирования);

· теоретика множественные, логические, лингвистиче­ские, семиотические представления (разделы дискрет­ной математики, составляющие теоретическую основу разработки разного рода языков моделирования, авто­матизации проектирования, информационно-поиско­вых языков);

· графические (включают теорию графов и разного рода графические представления информации типа диаграмм, графиков, гистограмм и т.п.).

Наибольшее распространение в экономике в настоя­щее время получили математическое программирование и статистические методы.

К третьей группе методов относятся комплексированные методы: комбинаторика, ситуационное моделирование, топология, графосимеотика и др. Они сформировались путем интеграции экспертных и формализованных методов.

Несколько в стороне стоят методы исследования информационных потоков.

Схема структуризации методов по Игнатьевой А.В. и Максимцову М.М. приведена на рис. 5.1.

Рис.5.1.

Специалист по системному анализу должен пони­мать, что любая классификация условна. Она лишь сред­ство, помогающее ориентироваться в огромном числе разнообразных методов и моделей. Поэтому разраба­тывать классификацию нужно обязательно, но делать это следует с учетом конкретных условий, особенно­стей моделируемых систем (процессов принятия реше­ний) и предпочтений, которым можно предложить вы­брать классификацию.

Особое место в исследованиях занимают различные виды анали­за. Среди них следует отметить прогностический, диагностический, детальный и глобальный, при проведении которых используется оп­ределенная совокупность конкретных методов.

Независимо от классификации методов исследования СУ, вы­полняемых в них видов анализа и всех других исследовательских работ, заслуживают внимания конкретные методы, наиболее часто использующиеся в практике, к которым можно отнести:

наблюдение; анкетирование; изучение документации и информационных материалов; балансовый; гипотетико-дедуктивный; графический и номографический; дифференциальный; комплексный и смешанный; индексный; интервьюирование, беседа; консультационный; корреляционный; ««мозговой» штурм; морфологический; параметрический; поиск экстремумов; самообследование; сетевой; структуризация целей; творческие совещания; фукнкционально-стоимостной; экспертный; социологический.

При решении той или задачи может использоваться ряд мето­дов, приемлемых именно для данного конкретного исследования. Например, для прогнозирования среди множества возможных к ис­пользованию методов можно назвать как один из наиболее предпоч­тительных метод морфологического анализа. Свои методы присущи исследованиям процессов труда и затрат рабочего времени в СУ.

Каждая из приведенных выше классификаций методов обладает рядом недостатков: одни не охватывают всего комплекса методов исследования, другие недостаточно корректно позволяют отнести тот или иной метод к конкретной классификационной группе. Вме­сте с тем следует заметить, что отнесение того или иного метода исследования к какой-либо классификационной группе всегда яв­ляется относительным и условным, так как все они, как правило, во многом взаимосвязаны между собой.

Из всего перечня способов исследования в дальнейшем остано­вимся на ряде базовых методов и некоторых других из приведенных выше классификационных группах, наиболее часто применяемых в практической работе по исследованию СУ.

Результативность исследований СУ во многом зависит от мето­дов, которые будут использованы при проведении исследователь­ских работ. Однако, при выборе того или иного метода исследова­ния необходимо учитывать:

• цели исследовательских работ;

• требования, предъявляемые к конечным результатам исследо­ваний, их точности и достоверности;

• ограничения по срокам, ресурсам, возможностям исследова­телей и используемым техническим средствам исследований;

• имеющиеся данные об аналогичных исследованиях и факти­ческие данные о СУ, производственной системе и внешней среде;

• достоинства инедостатки каждого из рассматриваемых методов.
Выбор того или иного метода, (учитывая цели, требования к глубине и точности исследования, ограничения по срокам и т.п.), осуществляется:

1) интуитивно, руководствуясь опытом исследователя;

2) эвристически, используя приемы логики и формальные мето­дические правила;

3) экспертными способами, исходя из опыта, логики, знаний и интуиции экспертов;

4) консультативным способом, т.е. на основе рекомендаций специалистов-консультантов;

5) формальными методами обоснования и (или) оптимизации (ли­нейной оптимизации и др.).

В любом случае, независимо от выбранного и в дальнейшем используемого конкретного метода, наибольший эффект и объектив­ность исследовательских работ может быть достигнута комплекс­ным применением приемлемых для целей исследования СУ мето­дов. При этом одни из них могут быть эффективны на одном этапе исследования, а другие - на другом.

3.7. Характеристика этапов проведения исследований

Любое исследование осуществляется в несколько этапов. На первом этапе необходимо выявить потребности в исследовании, проанализировать проблемы, стоящие перед конкретной системой управления, выбрать из них главную, определяющую важность и первостепенность проведения исследования. Для этого проблема должна быть четко сформулирована.

При определении проблемы возникает чисто логиче­ская трудность выделения причин и следствий. Перед менеджером в той или иной конкретной ситуации может возникнуть несколько проблем. Очень важно установить их иерархию, т.е. определить, какая из них главная, а какие - подчиненные или производные от нее. Опреде­ление главной проблемы позволит правильно сформули­ровать цель решения задачи.

Определение цели связано с ограничением направле­ний и средств ее достижения. Эти ограничения играют определяющую роль в выборе вариантов решения. По отношению к определенной системе ограничения можно разделить на общие и частные.

Общие ограничения, на­кладываемые на функционирование данной системы представляют собой объективные условия внешней среды или являются целями и понуждающими связями некоторой большой системы, для которой рассматриваемая система служит элементом (подсистемой). Иногда огра­ничения для данной системы являются проявлением не решенных проблем в более общих системах.

Итак, на первом этапе проведения исследований ана­лизируются проблемы и совокупность всех факторов, которые необходимо выявить и учитывать при реше­нии проблем.

Содержание второго этапа- закономерное про­должение первого. Это выявление объекта и предмета исследования. Объектом исследованияявляется система управления организации, а предметом - выявленная конкретная проблема, сдерживающая эффективную ра­боту организации.

На третьем этапе необходимо выбрать методологию проведения исследования, под которой понимаем сово­купность целей, методов, приемов управления при про­ведении исследования, а также подход менеджеров к принятию решений и учет традиций организации.

На четвертом этапе проводится анализ ресурсов, необходимых для проведения исследования. К таким ресурсам относятся материальные, трудовые, финансо­вые ресурсы, оборудование, информация. Анализ ресур­сов необходим для успешного проведения исследования и достижения его результатов,

Пятый этап предполагает выбор методов проведения исследования с учетом имеющихся ресурсов и целей ис­следования. Подробно о методах проведения исследова­ний будет сказано в лекции 5.

Шестой этап заключается в организации проведения исследований. Здесь необходимо определить порядок про­ведения исследований, распределить полномочия и ответ­ственность и отразить это в регламентирующих докумен­тах, например в должностных инструкциях. Здесь же не­обходимо уточнить или определить технологию подготов­ки и утверждения управленческих решений при проведе­нии исследований.

На седьмом (завершающем) этапе следует зафикси­ровать и проанализировать полученные результаты. Такими результатами могут быть отдельные рекомен­дации, новая модель системы управления, улучшенные нормы управляемости, более совершенные методики, способствующие оперативному и успешному разреше­нию проблемы. На этом этапе необходимо предвари­тельно подсчитать эффективность исследований, т.е. соразмерить затраты на проведение исследований и полученные результаты.

Иногда процесс исследования конкретного объекта производится в соответствии с выбранной (рекомендуе­мой) моделью системы управления, часто называемой эталоном.

Этапы проведения исследования в соответст­вии с эталонной моделью представлены на рис. 3.2. Рис.3.2.

3.8. Источники получения сведений о деятельности организации

Основными источниками сведений о деятельности организации являются:

• различного рода документы - устав организации и другие регламентирующие документы; положения о функциях и обязанностях подразделений; долж­ностные инструкции; другие описания системы (в отчетах, публикациях);

• сотрудники организации, описывающие ее дея­тельность в процессе бесед и опросов;

• непосредственные наблюдения специалистов-сис­темщиков за процессом деятельности организации.

Однако ни один из указанных источников в отдель­ности не может обеспечить необходимой полноты и дос­товерности сведений о работе системы. Документы сравнительно быстро устаревают и не всегда отражают действительное состояние дел; сотрудники могут не­преднамеренно (или умышленно) исказить существую­щее положение дел; наблюдение может оказаться иска­женным случайными обстоятельствами.

Поэтому на всех стадиях изучения обязательна интеграция методов полу­чения информации о работе системы, их проверка, со­поставление сведений, полученных из разных источни­ков, повторное возвращение к уже изученному процессу с целью исправления, корректировки ранее полученных сведений, детализации ранее не уточненных важных ас­пектов. Сопоставление сведений и выявление истинного состояния дел существенно облегчается при системати­зации и группировке полученных сведений, формализа­ции их представления.

Окончательно убедиться в полноте и правильности полученных сведений можно после того, как будет по­строена модель системы и проверена ее адекватность путем сопоставления с действующей системой.

Обычно изучение полезно начинать с документов, прежде всего рассмотрев структурную организационную схему. Если такой схемы нет, ее надо составить, для чего удобно использовать штатное расписание. Во многих случаях полезно на этой схеме указать вышестоящие и подчиненные организации и связи с ними.

Изучение, как правило, надо начинать с высших звеньев аппарата, последовательно переходя к низшим.

Документы, связанные с системой, можно разделить на следующие группы:

1) официальные положения и инструкции, регламен­тирующие функции организации или подразделения и определяющие сроки и процедуры обработки ин­формации и принятия решений;

2) входные документы, возникающие вне системы;

3) систематически обновляемые записи (массивы) в виде картотек или книг, используемые в процессе работы;

4) промежуточные документы, получаемые и (или) ис­пользуемые в процессе обработки данных;

5) выходные документы.

После того как аналитик получил на основе докумен­тов общее представление об изучаемой организации или подразделении, он переходит к стадии опросов и бесед с сотрудниками.

Первый контакт с сотрудниками осуществляйся с участием руководителя изучаемого подразделения, ко­торый сообщает сотрудникам цель проводимой работы, заинтересованность в ее проведении, наличие приказов или других официальных документов, на основании ко­торых работа выполняется, говорит о необходимом со­действии и сотрудничестве с разработчиками.

Сбор сведений путем опросов должен быть избира­тельным и целенаправленным. При решении некоторые задач и на первых этапах работы нужны обобщенные данные; для других задач и на более поздних этапах - детальные. Поэтому надо предварительно наметить круг интересующих вопросов, а после каждой беседы оценить полученные сведения и корректировать план дальнейших бесед.

Сбор сведений «вслепую», простое их коллекционирование приводит к накоплению подробных сведений, которые в дальнейшем практически не поддаются анализу и использованию.

Следует учесть, что получение и последующая обра­ботка сведений является весьма важной, но в то же вре­мя и очень трудоемкой работой. Надо все время пом­нить, что изучение существующей системы не самоцель, а средство познания и требует соизмерять степень дета­лизации данных и соответствующие затраты с возмож­ной эффективностью.

Обследование и изучение, детализация сведений о системе могут продолжаться бесконечно, особенно если учесть, что система живет и развивается одновременно с обследованием и в конце обследования отличается от первоначального варианта. Поэтому очень важно вовре­мя завершить изучение организации. В процессе изуче­ния необходимо выяснить не только как работает систе­ма, но и почему она работает именно так, а не иначе. Умение отбирать нужные сведения развивается по мере приобретения опыта.

Вопросы для самоконтроля

1. Дайте определение понятий «методология» и «методика», в чем их различие?

2. В чем сущность методологии исследования систем управления?

3. Назовите основные разделы методики проведения исследований

4. Что такое проблема исследования?

5. Как осуществляется постановка проблемы исследования?

6. Что такое концепция исследования?

7. Что такое гипотеза исследования?

8. Назовите основные требования к гипотезам исследования и основные стадии их формирования

9. Что такое метод, средства и уровни исследования?

10. Какие методы исследования вы знаете?

11. Дайте характеристику каждому этапу проведения исследований

12. Назовите основные источники получения сведений о деятельности организации

Основная литература

1. Белов В.Г., Смольков В.Г. ИСУ (Исследование систем управления).- М.: Луч, Эликта-Принт,2000.

2. Игнатьева А.В., Максимцов М.М. Исследование систем управления: Учеб.пособие для вузов.- М.: ЮНИТИ-ДАНА, 2000.

3. Исследование систем управления: Учеб. Пособие/ Под ред. Короткова Э.М. – М.: ИНФРА-М, 2003.

4. Коротков Э.М. Исследование систем управления.- М.: ООО Издательско - Консалтинговое Предприятие «ДеКА», 2003.

5. Малин А.С., Мухин В.И. Исследование систем управления: Учебник для вузов.- М.: ГУ ВШЭ, 2002.

6. Мишин В.М. Исследование систем управления: Учебник для вузов.- М.: ЮНИТИ-ДАНА,2005.

7. Мыльник В.В., Титаренко Б.П., Волочиенко В.А. Исследование систем управления: Учеб.пособие. – М.: ЦИТОО, 2001.

8. Рогожин С.В. Исследование систем управления: Учеб. пособие.- М.: Национальный институт бизнеса, 1999.

9. Фомичев А.Н. Исследование систем управления: Учебник/А.Н.Фомичев,- М.: Издательско-торговая корпорация «Дашков и К», 2012.

Дополнительная литература

10. Анохин П.К. Избранные труды: Философские аспекты теории функциональной системы.-М.: Наука,1978.

11. Афаеасьев В.Г. Общество: системность, познание и управление.- М.: Политиздат,1981.

12. Беляев А.А., Короткое Э.М. Системология. — М.: ИНФРА-М, 2000.

13. Валуев С.А., Волкова В.Н., Игнатьева А.В. и др. Системный анализ в экономике и организации производства. - Л.: По­литехника, 1991.

14. Валуев С.А, Игнатьева А.В. Организационный менеджмент. - М.: Машиностроение, 1993.

15. Голубков Е.П. и др. Маркетинг: выбор лучшего решения. - М.: Экономика, 1993.

16. Клир Дж. Системология. Автоматизация решения системных задач. Пер. с англ. М.: Советское радио, 1979

17. Ларин А.А. Теоретические основы управления: Учебное пособие. Ч.1. Процессы, системы и средства управления. -М.: РВСН, 1998

18. Мессарович М., Мако Д.,Тахара И. Теория иерархических многоуровневых систем: Пер. с англ. М., Мир, 1973.

19. Оптнер С.Л. Системный анализ для решения деловых и промышленных проблем: Пер. с англ. –М.: Советское радио, 1969

20. Основы общей теории систем: Учебное пособие. Ч.1. СПб.: ВАС, 1992

21. Партер У. Современные основания общей теории систем.: Пер. с англ. М.: Наука, 1971.

22. Ременников В.Б. Разработка управленческого решения. Учеб. пособие. - М.: ЮНИТИ-ДАНА, 2000.

23. Словарь-справочник менеджера. /Под ред. М.Г. Лапусты. - М.: ИНФРА, 1996.

24. Скоун Т. Управленческий учет./Пер. с англ, под ред. Н.Д. Эриашвили. - М.: ЮНИТИ, 1997.

25. Смирнов Э.А. Основы теории организации: Учебное пособие. –М.: Юнити, 1998

26. Справочник директора предприятия. /Под ред. М.Г. Ла­пусты. - М.: ИНФРА, 1998

27. Теория управления. Терминология: Сборник рекомендуемых терминов. Вып. 107. –М.: Наука, 1988

28. Управление организацией. /Под ред. А.Г. Поршнева, З.П. Румянцевой, Н.А. Саломатина. - М.: ИНФРА-М, 1999.

29. Философский энциклопедический словарь.- М.: Сов. Энциклопедия, 1989.

30. Энциклопедический социологический словарь. – М.: ИСПИ РАН, 1995

Дата добавления: 2014-12-16