Зберігання інформації

Зберігання і накопичення є одними з основних дій, здійснюваних над інформацією і головним засобом забезпечення її доступності протягом деякого проміжку часу., В даний час визначальним напрямом реалізації цієї операції є концепція бази даних, складу (сховища) даних.

База даних може бути визначена як сукупність взаємозв'язаних даних, використовуваних декількома користувачами, які зберігаються з регульованою надлишковістю. Збережувані дані, не залежать від програм користувачів, для модифікації і внесення змін застосовується загальний управляючий метод.Банк даних - система, що представляє певні послуги із зберігання і пошуку даних певній групі користувачів з певної тематики.Система баз даних – сукупність управляючої системи прикладного програмного забезпечення, бази даних, операційної системи і технічних засобів, що забезпечують інформаційне обслуговування користувачів.Сховище даних (СХД - використовують також терміни Data Warehouse, «склад даних», «інформаційне сховище») - це база, що зберігає дані, агреговані по багатьох вимірюваннях. Основні відмінності СХД від БД: агрегація даних; дані з СХД ніколи не викреслюються; поповнення СХД відбувається на періодичній основі; формування нових агрегатів даних, залежних від старих - автоматичне; доступ до СХД здійснюється на основі багатовимірного куба або гіперкуба.Альтернативою сховищу даних є концепція вітрин даних (Data Mart). Вітрини даних – множина тематичних БД, що містять інформацію, яка відноситься до окремих інформаційних аспектів наочної області.Ще одним важливим напрямом розвитку баз даних є репозиторії. Репозиторій, в спрощеному вигляді, можна розглядати просто як базу даних, призначену для зберігання не користувацьких, а системних даних. Технологія репозиторіїв виникає із словників даних, які у міру збагачення новими функціями і можливостями набували рис інструменту для управління метаданими.Кожен з учасників дії (користувач, група користувачів, «фізична пам'ять») має своє представлення про інформацію.По відношенню до користувачів застосовують трирівневе представлення для опису предметної області: концептуальне, логічне і внутрішнє (фізичне) (мал. 1.7).

Мал. 1.7. Опис предметної області

Концептуальний рівень пов'язаний з особистим представленням даних групи користувачів у вигляді зовнішньої схеми, що об'єднуються спільністю використовуваної інформації. Кожен конкретний користувач працює з частиною БД і представляє її у вигляді зовнішньої моделі. Цей рівень характеризується різноманітністю використовуваних моделей (модель «сутність-зв'язок», ER-модель, модель Чена, бінарні і інфологічні моделі, семантичні мережі). На мал. 1.8 представлений фрагмент наочної бази даних «Збут» і одне з можливих його концептуальних представлень, яке відображає не тільки об'єкти і їх властивості, але і взаємозв'язки між ними.

Мал. 1.8. Фрагмент наочної бази даних «Збут» і одне з його можливих концептуальних представлень

Логічний рівень є узагальненим представленням даних всіх користувачів в абстрактній формі. Використовуються три види моделей: ієрархічні, мережеві і реляційні.Мережева модель є моделлю об'єктів-зв'язків, що допускає тільки бінарні зв'язки «багато до одного» і використовує для опису модель орієнтованих графів.Ієрархічна модель є різновидом мережевої, що складається з сукупності дерев.Реляційна модель використовує представлення даних у вигляді таблиць (реляцій), в її основі лежить математичне поняття теоретико-множинного відношення, вона базується на реляційній алгебрі і теорії відношень.Представлення наочної бази даних «Збут» на логічному рівні для різних моделей показано на мал. 1.9.

Фізичний (внутрішній) рівень пов'язаний із способом фактичного зберігання даних у фізичній пам'яті ЕОМ. Багато в чому визначається конкретним методом управління. Основними компонентами фізичного рівня є збережувальні записи, об'єднані в блоки; вказівники, необхідні для пошуку даних; дані переповнення; проміжки між блоками; службова інформація.

По найбільш характерних ознаках БД можна класифікувати таким чином:1) за способом зберігання інформації: інтегровані; розподілені;2) за типом користувача: однокористувацькі; багатокористувацькі;3) по характеру використання даних: прикладні; предметні.В даний час при проектуванні БД використовують два підходи. Перший з них базується на стабільності даних, що забезпечує найбільшу гнучкість і адаптованість до використовуваних додатків. Застосування такого підходу доцільне в тих випадках, коли не пред'являються жорсткі вимоги до ефективності функціонування (об'єму пам'яті і тривалості пошуку), існує велике число різноманітних завдань із змінними і непередбачуваними запитами.

Мал. 1.9. Представлення наочної бази даних «Збут» на логічному рівні для різних моделейДругий підхід базується на стабільності процедур запитів до БД і є переважним при жорстких вимогах до ефективності функціонування, особливо це стосується швидкодії.Іншим важливим аспектом проектування БД є проблема інтеграції і розподілу даних. Концепція інтеграції даних, що панувала до недавнього часу, при різкому збільшенні їх об'єму, виявилася неспроможною. Цей факт, а також збільшення об'ємів пам'яті зовнішніх запам'ятовуючих пристроїв, при їх здешевленні, широке впровадження мереж передачі даних, сприяло впровадженню розподілених БД. Розподіл даних по місцю їх використання може здійснюватися різними способами:1.Копійовані дані. Однакові копії даних зберігаються в різних місцях використання, оскільки це дешевше за передачу даних. Модифікація даних контролюється централізовано;2.Підмножина даних. Групи даних, сумісні з початковою базою даних, зберігаються окремо для місцевої обробки;3.Реорганізовані дані. Дані в системі інтегруються при передачі на вищий рівень;4.Секціоновані дані. На різних об'єктах використовуються однакові структури, але зберігаються різні дані;5.Дані з окремою підсхемою. На різних об'єктах використовуються різні структури даних, що об'єднуються в інтегровану систему;6.Несумісні дані. Незалежні бази даних, спроектовані без координації, які вимагають об'єднання.

Важливий вплив на процес створення БД надає внутрішній зміст інформації. Існує два напрями:─ прикладні БД, орієнтовані на конкретні застосування, наприклад, може бути створена БД для обліку і контролю надходження матеріалів;─ предметні БД, орієнтовані на конкретний клас даних, наприклад, наочна БД «Матеріали», яка може бути використана для різних застосувань.Конкретна реалізація системи баз даних з одного боку визначається специфікою даних наочної області, відображеної в концептуальній моделі, а з іншого боку типом конкретної СУБД (МБД), що встановлює логічну і фізичну організацію.Для роботи з БД використовується спеціальний узагальнений інструментарій у вигляді СУБД (МБД), призначений для управління БД і забезпечення інтерфейсу користувача.Основні стандарти СУБД:─ незалежність даних на концептуальному, логічному, фізичному рівнях;─ універсальність (по відношенню до концептуального і логічного рівнів, типу ЕОМ);─ сумісність, ненадмірність;─ безпека і цілісність даних;─ актуальність і керованість.Існують два основні напрями реалізації СУБД: програмний і апаратний.Програмна реалізація (надалі СУБД) є набором програмних модулів, працює під управлінням конкретною ОС і виконує наступні функції:─ опис даних на концептуальному і логічному рівнях;─ завантаження даних;─ зберігання даних;─ пошук і відповідь на запит (транзакцію);─ внесення змін;─ забезпечення безпеки і цілісності. Забезпечує користувача наступними мовними засобами:─ мовою опису даних (МОД);─ мовою маніпулювання даними (ММД);─ прикладною (вбудованою) мовою даних (ПМД, ВМД).Апаратна реалізація передбачає використання так званих машин баз даних (МБД). Їх поява викликана збільшеними об'ємами інформації і вимогами до швидкості доступу. Слово «машина» в терміні МБД означає допоміжний периферійний процесор. Термін «комп'ютер БД» - автономний процесор баз даних або процесор, що підтримує СУБД. Основні напрями МБД:─ паралельна обробка;─ розподілена логіка;─ асоціативні ЗП;─ конвеєрні ЗП;─ фільтри даних та ін.

На мал. 1.10 представлена сукупність процедур проектування БД, які можна об'єднати в чотири етапи. На етапі формулювання і аналізу вимог встановлюються цілі організації, визначаються вимоги до БД. Ці вимоги документуються у формі, доступній кінцевому користувачеві і проектувальникові БД. Зазвичай при цьому використовується методика інтерв'ювання персоналу різних рівнів управління.Етап концептуального проектування полягає в описі і синтезі інформаційних вимог користувачів в первинний проект БД. Результатом цього етапу є високорівневе представлення інформаційних вимог користувачів на основі різних підходів.В процесі логічного проектування високорівневе представлення даних перетвориться в структурі використовуваної СУБД. Отримана логічна структура БД може бути оцінена кількісно за допомогою різних характеристик (число звернень до логічних записів, об'єм даних в кожному застосуванні, загальний об'єм даних і так далі). На основі цих оцінок логічна структура може бути вдосконалена з метою досягнення більшої ефективності.Мал. 1.10. Сукупність процедур проектування БДНа етапі фізичного проектування вирішуються питання, пов'язані з продуктивністю системи, визначаються структури зберігання даних і методи доступу.Весь процес проектування БД є ітеративним, при цьому кожен етап розглядається як сукупність ітеративних процедур, в результаті виконання яких отримують відповідну модель.Взаємодія між етапами проектування і довідковою системою необхідно розглядати окремо. Процедури проектування можуть використовуватися незалежно у разі відсутності довідкової системи. Сама довідкова система може розглядатися як елемент автоматизації проектування.Етап розчленовування БД пов'язаний з розбиттям її на розділи і синтезом різних додатків на основі моделі. Основними чинниками, що визначають методику розчленовування, крім вказаних на мал. 1.10 є: розмір кожного розділу (допустимі розміри); моделі і частоти використання додатків; структурна сумісність; чинники продуктивності БД. Зв'язок між розділом БД і додатками характеризується ідентифікатором типу додатку, ідентифікатором вузла мережі, частотою використання додатку і його моделлю.Моделі додатків можуть бути класифіковані таким чином:1. Додатки, що використовують єдиний файл;2. Додатки, використовуючі декілька файлів, в тому числі:─ які допускають незалежну паралельну обробку;─ які допускають синхронізовану обробку. Складність реалізації етапу розміщення БД визначається багатоваріантністю. Тому на практиці рекомендується в першу чергу розглянути можливість використання певних допущень, що спрощують функції СУБД, наприклад, допустимість тимчасового розузгодження БД, здійснення процедури обновлення БД з одного вузла та ін. Такі допущення роблять великий вплив на вибір СУБД і дану фазу проектування.Засоби проектування і оціночні критерії використовуються на всіх стадіях розробки. Будь-який метод проектування (аналітичний, евристичний, процедурний), реалізований у вигляді програми, стає інструментальним засобом проектування, практично не підвласним впливу стиля проектування.В даний час невизначеність при виборі критеріїв є найбільш слабким місцем в проектуванні БД. Це пов'язано з складністю опису і ідентифікації нескінченного числа альтернативних рішень. При цьому слід мати на увазі, що існує багато ознак оптимальності, що є невимірними, їм важко дати кількісну оцінку або представити їх у вигляді цільової функції. Тому оціночні критерії прийнято ділити на кількісні і якісні. Найчастіше використовуються критерії оцінки БД, згруповані в такі категорії:

Кількісні критерії: час, необхідний для відповіді на запит, вартість модифікації, вартість пам'яті, час на створення, вартість на реорганізацію.Якісні критерії: гнучкість, адаптивність, доступність для нових користувачів, сумісність з іншими системами, можливість конвертації в інше обчислювальне середовище, можливість відновлення, можливість розподілу і розширення.Складність в оцінці проектних рішень пов'язана також з різною чутливістю і часом дії критеріїв. Наприклад, критерій ефективності зазвичай є короткостроковим і надзвичайно чутливим до змін, що проводяться, а такі поняття, як адаптованість і конвертованість, виявляються на тривалих тимчасових інтервалах і менш чутливі до дії зовнішнього середовища.

Призначення сховища даних - інформаційна підтримка прийняття рішень, а не оперативна обробка даних. Тому база даних і сховище даних не є однаковими поняттями. Архітектура СХД представлена на мал. 1.11.

Мал. 1.11. Архітектура СХД

Основні принципи організації сховищ даних наступні .1. Предметна орієнтація. У оперативній базі даних зазвичай підтримується декілька предметних областей, кожна з яких може послужити джерелом даних для СХД. Наприклад, для магазина, торгуючого відео- і музичною продукцією, інтерес представляють наступні предметні області: клієнти, відеокасети, CD-диски і аудіокасети, співробітники, постачальники. Явно простежується аналогія між предметними областями СХД і класами об'єктів в об'єктно-орієнтованих базах даних. Це говорить про можливість застосування методів проектування, вживаних в об'єктно-орієнтованих СУБД.2.Засоби інтеграції. Приведення різних представлень однієї і тієї ж суті до деякого загального типу.3.Постійність даних. У СХД не підтримуються операції модифікації в сенсі традиційних баз даних. У СХД підтримується модель «масових завантажень» даних, здійснюваних в задані моменти часу по встановлених правилах на відміну від традиційної моделі індивідуальних модифікацій.4.Хронологія даних. Завдяки засобам інтеграції реалізується певний хронологічний часовий аспект, властивий вмісту СХД.Основні функції репозиторіїв:─ парадигма включення/виключення і деякі формальні процедури для об'єктів;─ підтримка множинних версій об'єктів і процедури управління конфігураціями для об'єктів;─ повідомлення інструментальних і робочих систем про події, що цікавлять їх;─ управління контекстом і різні способи огляду об'єктів репозиторія;─ визначення потоків робіт.

Розглянемо коротко основні напрями наукових досліджень в області баз даних:─ розвиток теорії реляційних баз даних;─ моделювання даних і розробка конкретних моделей різноманітного призначення; ─ відображення моделей даних, направлених на створення методів їх перетворення і конструювання комутативних відображень, розробку архітектурних аспектів відображення моделей даних і специфікацій визначення відображень для конкретних моделей даних;─ розробка, вибір і оцінка методів доступу;─ створення самоописуваних баз даних, що дозволяють застосовувати єдині методи доступу даних і метаданих;─ управління конкурентним доступом;─ розвиток системи програмування баз даних і знань, які забезпечували б єдине ефективне середовище як для розробки додатків, так і для управління даними;─ вдосконалення машини баз даних;─ розробка дедуктивних баз даних, заснованих на застосуванні апарату математичної логіки і засобів логічного програмування, а також просторово-часових баз даних;─ інтеграція неоднорідних інформаційних ресурсів.

Представлення і використання інформації

В умовах використання інформаційних технологій функції розподілені між людиною і технічними пристроями. При аналізі діяльності людини найбільше значення мають ергономічні (інженерно-психологічні) і психологічні (соціально-психологічні) чинники.Ергономічні чинники дозволяють, по-перше, визначити раціональний набір функцій людини, по-друге, забезпечити раціональну взаємодію людини з технічними засобами і інформаційним середовищем.Психологічні чинники мають велике значення, оскільки впровадження інформаційних технологій в корені змінює діяльність людини. Разом з позитивними моментами, пов'язаними з раціоналізацією діяльності, наданням нових можливостей, виникають і негативні явища. Це може бути викликано різними чинниками: психологічним бар'єром, ускладненням функцій, іншими суб'єктивними чинниками (умовами і організацією праці, рівнем заробітної плати, результативністю праці, зміною кваліфікації).При роботі в середовищі інформаційних технологій людина сприймає не сам об'єкт, а деяку його узагальнену інформаційну модель, що накладає особливі вимоги на сумісність користувача з різними компонентами інформаційних технологій.Важливою ознакою, яку необхідно враховувати при розробці і впровадженні інформаційних технологій є відношення людини до інформації. Воно може бути пасивним, коли користувачеві надається інформація по жорсткому алгоритму, і активним, коли користувач створює необхідні йому дані.Основним завданням операції представлення інформації користувачеві є створення ефективного інтерфейсу в системі «людина-комп'ютер». При цьому здійснюється перетворення інформації у форму, зручну для сприйняття користувача.Серед існуючих варіантів інтерфейсу в системі «людина-комп'ютер» можна виділити два основні типи: на основі меню («дивися і вибирай») і на основі мови команд («згадуй і набирай»).Інтерфейси типу меню полегшують взаємодію користувача з комп'ютером, оскільки не вимагають попереднього вивчення мови спілкування з системою. На кожному кроці діалогу користувачеві пред'являються всі можливі в даний момент команди у вигляді наборів пунктів меню, з якого користувач повинен вибрати потрібний. Такий спосіб спілкування зручний для початківців і непрофесійних користувачів.Інтерфейс на основі мови команд вимагає знання користувачем синтаксису мови спілкування з комп'ютером. Перевагою командної мови є її гнучкість і потужність.Вказані дві способи реалізації інтерфейсу представляють крайні випадки, між якими можливе існування різних проміжних варіантів. Складові частини інтерфейсу представлені на мал. 1.12.

Мал. 1.12. Складові частини інтерфейсу

Технологія представлення інформації повинна давати додаткові можливості для розуміння даних користувачами, тому доцільне використання графіки, діаграм, карт.Користувацький інтерфейс доцільно будувати на основі концептуальної моделі предметної області, яка представляється сукупністю взаємозв'язаних об'єктів зі своєю структурою. Проте доступ до об'єктів і їх екземплярів можливий тільки через систему вікон різних типів. Ряд вікон пов'язаний з конкретним об'єктом. Відповідно до цього в сценарії роботи користувача при інформаційному наповненні понять предметної області виділяємо дві фази: вибір вікон; робота з вікнами.Для спрощення роботи вікна можна групувати відповідно до функціональних потреб. З цією метою вводиться механізм розділів, який надає можливість створення ієрархії функціонально орієнтованих розділів, в кожен з яких включається необхідний набір інших розділів і вікон. За допомогою специфікації вікон для кожного з об'єктів можливо вказати допустимі режими роботи з екземплярами і склад видимих атрибутів з режимами роботи з ними. Можливо відібрати декілька розділів і декілька вікон в них одночасно.Таким чином, фаза вибору об'єктів повинна підтримуватися наступними функціями:─ роботою із загальним каталогом вікон в головному розділі;─ створенням нового розділу;─ видаленням розділу;─ редагуванням опису розділу;─ передачею визначень і вікон між розділами;─ рухом за ієрархією розділів;─ відбором розділів для роботи;─ відбором вікон для роботи.Позиції вікон можуть бути пов'язані з іншими вікнами через відповідні команди з типового набору. По суті специфікація вікон задає сценарій роботи з екземплярами.Вікно - засіб взаємозв'язку користувача з системою. Вікно представляється як спеціальний об'єкт. Проектуванням користувацького інтерфейсу є процес специфікації вікон.Прикладом віконного інтерфейсу є інтерфейс MS Windows, що використовує метафору робочого столу і включає ряд понять, близьких до природних (вікна, кнопки, меню і так далі).Користувач інформаційної системи переважно вимушений використовувати дані з самих різних джерел: файлів, баз даних, електронних таблиць, електронної пошти і так далі. При цьому дані мають саму різну форму: текст, таблиці, графіка, аудіо- і відеодані та ін. У зв'язку з цим виникає проблема інтеграції джерел інформації, що полягає в тому, що, по-перше, користувачеві повинні надаватися не дані, а інформація у формі максимально зручній для сприйняття, по-друге, він повинен використовувати єдиний універсальний інтерфейс, що дозволяє одноманітно працювати з підготовленою інформацією. Пасивні користувачі, які іноді називаються споживачами, володіють певними специфічними якостями, пов'язаними з відсутністю часу, бажання і кваліфікації для глибшого вивчення використовуваних інструментальних засобів. В цьому випадку алгоритм спілкування з системою повинен бути гранично простим. Інша частина користувачів вимагає надання достатньо широкого кола засобів активного впливу на виконувані інформаційні процеси.Цим вимогам задовольняє Web-технологія. Розвиток засобів обчислювальної техніки привів до ситуації, коли замість традиційних параметрів - продуктивність, пропускна спроможність, об'єм пам'яті, вузьким місцем став інтерфейс користувача. Першим кроком на шляху подолання кризової ситуації стала концепція гіпертексту, вперше запропонована Теодором Хольмом Нельсоном. За своєю суттю гіпертекст - це звичайний текст, що містить посилання на власні фрагменти і інші тексти (мал. 1.13).Аналогом гіпертексту можна вважати книгу, зміст якої за своєю суттю представляє посилання на розділи, теми, сторінки. Усередині книги містяться посилання на інші джерела. Подальший розвиток гіпертекст отримав з появою мережі Інтернет, що дозволила розміщувати тексти на різних, територіально віддалених комп'ютерах. При цьому було потрібне подальше вдосконалення інтерфейсу, оскільки той, що є не дозволяв представити різноманітну інформацію різної природи, був обмежений і складний для сприйняття, був відсутній доступ багатьох споживачів до єдиного масиву структурованої інформації. В результаті була запропонована і реалізована концепція навігатора Web. Web-сервер виступає як інформаційний концентратор, отримуючий інформацію з різних джерел і в однорідному вигляді представляє її користувачеві. Засоби Web забезпечують також представлення інформації з потрібним ступенем деталізації за допомогою Web-навігатора. Таким чином, Web - це інфраструктурний інтерфейс для користувачів різних рівнів.

Мал. 1.13. ГіпертекстБезперечною перевагою Web-технології є зручна форма надання інформаційних послуг споживачам, що має наступні особливості:─ інформація надається споживачеві у вигляді публікацій;─ публікація може об'єднувати інформаційні джерела різної природи і географічного розташування;─ зміни в інформаційних джерелах миттєво відображаються в публікаціях;─ у публікаціях можуть міститися посилання на інші публікації без обмеження на місцезнаходження і джерела останніх (гіпертекстові посилання);─ споживчі якості публікацій відповідають сучасним стандартам мультимедіа (доступні текст, графіка, звук, відео, анімація);─ публікатор не піклується про процес доставки інформації до споживача;─ число потенційних споживачів інформації практично не обмежене;─ публікації відображають поточну інформацію, час запізнювання визначається виключно швидкістю підготовки електронного документа;─ інформація, надана в публікації, легко доступна завдяки гіпертекстовим посиланням і засобам контекстного пошуку;─ інформація легко засвоюється споживачем завдяки широкому спектру образотворчих можливостей, що надаються Web-технологією;─ технологія не пред'являє особливих вимог до типів і джерел інформації;

─ технологія допускає масштабовані рішення: збільшення числа одночасно обслуговуваних споживачів не вимагає радикальної перебудови системи.