Традиційний та новий засоби збирання та обробки мовних даних

Якіми, в даному контексті, були і є традиційні засоби збирання та зберігання мовних даних? Це ручна обробка писемних текстів, опитування інформантів згідно з різноманітними методиками й подальше вивчення полевих анкет, записи текстів в писемної формі, словникових картотеках тощо. (8.Ціла низка методів полевих досліджень обговорюється у (Кибрик А.Е.Методика полевих исследований (к постановке проблеми).М.,1972). Зрозуміло, що цей етап збірання матеріалу в традиційної технології тривав довги роки. Є і інші проблеми. Так, у традиційної технології збирання й обробки мовних даних оновлення зібраного матеріалу є дуже проблемною задачею, тому що поточна обробка картотеки, пошук необхідних одиниц потрібують багато часу. Крім того, традиційна технологія практично унеможливлює доступ до мовних даних на відстані. Тому, деяки типи даних, - корпуси текстів,- існували в доволі обмеженому за обсягом вигляді (наприклад, у вигляді хрестоматій, добірок текстів).

Новітні інформаційні технології й технічни засоби (компютерні системи, системи зв’язку, мультимедійні системи) значно полегшили збирання мовних даних. З’явились достатньо продуктивні пристрої сканування тексту, ефективні програми розшифровуван-ня графічної інформації в суто текстовий формат (9.FineReader).

В галузі лексикографії, або словникарства, видавничи будинки використовують спеціально підготовлені корпуси текстів для укладання словників. Наприклад, Бірмін-гемський корпус англійської мови та відповідна база даних були використані видавни-цтвом Колінз для складання англомовних словників (10.див. Collins COUBUILD English Language Dictionary. London – Glasgo, 1987).

Через те, що комп’ютерні технології широко використовуються в друкарськії справі та засобах масової інформації, значно спрощеним стає процес отримання матеріалу: біль-шість газет та журналів, телепрограм мають електронні версії, яки можна знайти в Интер-неті.

Саме тому першим кроком в розширенні фактографії та екпериментальної бази в сучасній лінгвістиці стало створення корпусної лінгвістики. Цей бум спостерігається на протязі останнії десяти років, до нього залучилися мовознавці та інформатики десятків країн світу і який врешті-решт перетворює мовознавство на експериментальну науку.

Безпосереднім наслідком впровадження лінгвістичних корпучів як провідного техно-логічного інструментарію сучасного мовознавчого дослідження стало розширення меж опису мови. Сам лінгвістичний корпус у його найпростішому вигляді за своєю струк-турою нагадує спеціфичний словник, де реєстровою одиницею і водночас “лівою части-ною словникової статті” виступає певна лексема, а інтерпретаційною, “правою”, частиною є сумма “мікроконтекстів”, до яких входить реєстрова лексема у всіх її граматичних зна-ченнях.

Обсяги сучасних лінігвістичних корпусів сягають сотен мільонів слововживань, залу-чення до корпусів не тільки писемних, але й усних джерел, розширення їхніх функціо-нальних можливостей у бік багатомовності та удосконалення інструментарію свідчать про фундаментальність намірів учених, які намагаються охопити досліджувальну галузь (мо-ву) в усіх її проявах та повноті явищ. З пошиненням інформації в електронній формі ре-альною стала можливість зібрання значних масивів текстів у вигляді масивів лінгвістич-них даних за допомогою яких можна було б проводити різнопланові дослідження та ство-рювати прикладні мовно-інформаційні системи.

Зробимо спробу оцінити якими мусять бути обсяги лінгвістичних корпусів, на яких можна було б виконувати певні мовознавчі студії. Наприклад, репрезентативний об’єм дослідження функціонування лексичної системи української мови сягає 200,000 лексич-них одиниць. Такий масив охоплює приблизно 4 мільони граматичних форм слів. Для проведення статистично упевненого дослідження кожного слова в тексті необхідно мати хоча б 10 прикладів вживання кожного слова, що “тягне” за собою обсяг корпусу в 40 мільонів слововживань. Ось таким обсягом повинні оперувати сучасні мовознавчи ДОС-лідження, тобто 40-50 млн. слововживань. Враховуючи, що кодування одного українсь-кого слова в системі UNICODE при середній довжині 5-6 літер потребуватиме не меньше 10 байт, обсяг зазначеного масиву сягатиме 400-500 Мб, що цілком нормально для сучас-ного РС. Якщо ставити завдання проведення на корпусі досліджень інших феноменів мови – орфоепічних, синтаксичних, семантичних, когнитивних тощо – то, зрозуміло, обсяг тек-стового масиву лінгвістичного корпусу мусить значно збільшитися.

Саме можливость зібрання в стандартному сучасному РС таких, та навіть набагато біль-ших масивів текстової інформації, і побудови на цій базі експериментальних масивів лін-гвістичних даних й спровокувало той зріст активності в галузі корпусної лінгвістики, про який ішлося вище.

Технологічний стрибок створив, однак, інші, не меньш серьозні проблеми. Надмірний обсяг досліджуваних даних може й перешкоджати описанню досліджуваного феномена. Цей ефект виникає у двох випадках: по-перше, коли інформації надмірно багато, й, по-друге, коли відібраний мовний матеріал викривлює реальну картину функціонування мови відносно описуємого феномена. (Наприклад, вивчення функціонування виразу “по край-ней мере” в художніх творах Ф.М.Достоєвського потрібує аналізу більш ніж 500 вживань цього граматичного фразеологізма. Поміж тим, достатньо повне уявлення про реальну картину вживання з’являється після перегляду першіх 70-80 контекстів. Решта матеріалу не додає нічого нового (11.Баранов А.Н., Добровольский Д.О. Идиоматичность и идиоми// Вопроси языкознания, 1996, №5). Цей факт свідчить про те, що навіть потужні високо-швідкисні комп’ютери не знимають проблем планування експеріменту та прогнозування єтапу інтерпретації результатів дослідження. Таким чином, при накладанні першої й дру-гої ситуації – і матеріал занадто великий і він не відображує реальний узус – результати дослідження практично не піддаються розумному оцинюванню. В цьому сенсі дотепна метафора одного з піонерів корпусної лінгвістики У.Френсіса (12.Френсис У.И. Проблемы формирования и машинного представления большого корпуса текстов //Новое в зарубе-жной лингвистике. Вып. Х!У. Проблемы и методи лексикографии. М., 1983, С. 334-353), який порівняв процес формування корпусу зі спробою вичерпати океан цеберкою, не здається значним перебільшенням.

Закінчуючи перший етап екскурсу в історію виникнення та становлення корпусної лін-гвістики, слід зазначити ще один момент. Дуже швидко вчені переконалися, що саме по собі зібрання текстів дає дуже небагато можливостей щодо виконання цілеспрямованих досліджень мовного матеріалу. Постала необхідність мати тексти, в яких певні мовні фак-ти були б позначені належним чином, тобто “ промарковані ”, “ анотовані ”. Саме макруван-ня (розмітка, кодування, лінгвістичне анотування) текстів стало відмінною рисою лінг-вістичних корпусів від просто повнотекстових баз даних, яки, безумовно, відіграли роль основної технологічної передумови створення корпусів. Але якщо завдання розробки сис-теми маркування було досить давно розв’язане, а засоби стандартизовані, проблема авто-матичного, або навіть лише автоматизованого маркування лінгвістичних фактів у велико-му текстовому масиві виявилася доволі складною. І залежить вона від будови кокретної мови. Переваги сучасних інформаційних технологій полягають в мінімізації “ручної” пра-ці у процесі створення корпусів. Таким чином на сьогодня проблема автоматичного аноту-вання текстів за різними критеріями, залишається актуальною. Адже приписування грам-матичних, орфоепічних та інших параметрів вручную десяткам мільонів слів корпусу є нейздісненним.

Така постановка питання висуває доволі нові завдання перед лінгвістичною наукою. Проблема розташована у площині побудови формалізованих моделей лінгвістичної ком-петенції, апробації та веріфікації ціх моделей та створення на їхній основі ефективного ПЗ.

В наступних лекцях ми висвітлемо питання, пов’язані з визначенням поняття “корпус-ної лінгвістики”, зробимо спробу виділити системні ознаки корпусної лінгвістики як га-лузі прикладної лінгвістики, виявити об’єкт та предмет дослідження корпусної лінгвіс-тики як наукової дисципліни, а також розглянемо загальні принципи побудови лінгвіс-тичних корпусів з використанням сучасних комп’ютерних технологій, а саме:

- сформулюємо загальні вимоги до корпусу даних з точки зору користувача;

- розглянемо досвід створення корпусів даних для різноманітних дослідницьких проєктів.

Лекція 2 - 3

Дата добавления: 2014-01-11