корпоративный хранилище данный спирли

Применение технологии хранилищ данных в системе поддержки принятиярешений для территориальных органов управления здравоохранеПрименение технологии хранилищ данных в территориальных органах управления здравоохранениемД.В. ЖучковИнститут вычислительного моделирования СО РАН, КрасноярскВведениеВ системе здравоохранения корпоративный хранилище данный спирли обязательного медицинского страхования(ОМС) Красноярского края ежегодно обрабатывается значительный объеммедико-экономических, отчетно-статистических корпоративный хранилище данный спирли нормативно-справочных данных.Данные формируются разными программными комплексами, работающими на различныхуровнях – от отдельного медицинского учреждения корпоративный хранилище данный спирли страховой медицинской организациидо Управления здравоохранения корпоративный хранилище данный спирли фонда ОМС Красноярского края. Для обработки этого массива информации разрабатывается Единая информационнаясистема здравоохранения корпоративный хранилище данный спирли обязательного медицинского страхования. В составсистемы входит ряд программных продуктов, в первую очередь это:- Единая система ведения справочников [1].- Система сбора статистической информации «СтатЭкспресс» [2].- Централизованное хранилище медицинской информации (ЦХМИ)[3].- Аналитическая система «Аналитик»[4]. Целью данного доклада является представление основных характеристик,функций корпоративный хранилище данный спирли возможностей ЦХМИ, являющегося центром, в котором сходятся все информационныепотоки отрасли здравоохранения корпоративный хранилище данный спирли ОМС Красноярского края. Проектирование корпоративный хранилище данный спирли практическая реализация ЦХМИ выполнены с использованиеморигинального программного продукта «Менеджер хранилища данных». Системаразработана в лаборатории интеллектуальных информационных систем Института вычислительногомоделирования по заказу Управления здравоохранения при администрацииКрасноярского края корпоративный хранилище данный спирли Красноярского краевого фонда ОМС.Основные сведения о хранилищах данныхВ основу структуры ЦХМИ заложена активно применяемая в последнее времяидеология «хранилищ данных» («data warehousing»). Согласно классическомуопределению хранилище данных - это «совокупность средств, позволяющихнакапливать корпоративный хранилище данный спирли представлять данные в целостном, предметно-ориентированном виде,пригодном для анализа корпоративный хранилище данный спирли принятия управляющих решений»[5,6].Основное отличие хранилищ данных от оперативных баз данных, которыетакже принято называть «системами обработки транзакций», заключается вследующем:- Хранилища подразумевают длительное хранение информации корпоративный хранилище данный спирли после прохождения предзагрузочнойобработки данные не меняются.- В хранилищах, как правило, отсутствуют транзакции в их обычном виде, т.е. нетнеобходимости в постоянных, кратковременных дополнениях/модификациях таблиц,вместо этого должен быть обеспечен механизм периодического добавлениязначительных объёмов информации.- Структура оперативных баз направлена на максимально быстрое выполнение ряда заранее известныхзапросов, в то время как для аналитических запросов, направленных к хранилищу,характерна непредсказуемость корпоративный хранилище данный спирли редкое повторение.- Оперативные БД обычно имеют регистрирующий характер, т.е. отражают состояние предметнойобласти в конкретный момент времени, для хранилищ же свойственно представлятьданные с фиксацией временной координаты, для последующего построенияаналитических срезов по времени.- Хранилища, в первую очередь, предназначены для информационного обеспечения стратегическихрешений, в то время как ОБД обеспечивают повседневную работу.Следствием этих отличий являются специализированные схемы размещения,хранения, пополнения корпоративный хранилище данный спирли обновления информации, поступающей в хранилище. В частности,для хранилищ данных характерно использование денормализованных схем храненияинформации. Кроме того, хранилище должно обладать развитыми средствамиизвлечения данных из внешних источников корпоративный хранилище данный спирли их преобразования во внутренние форматы.Информационный состав ЦХМИЯдром информационной структуры ЦХМИ являются справочники корпоративный хранилище данный спирли классификаторы,поступающие из единой системы ведения справочников, функционирующей в Красноярскомкраевом медицинском информационно-аналитическом центре. Фактологические данные для ЦХМИ стекаются из множества информационныхсистем, работающих в отрасли здравоохранения корпоративный хранилище данный спирли ОМС, в том числе это:- статистическая отчётность медицинских учреждений;- отчётность системы обязательного медицинского страхования;- данные для формирования Территориальной программы государственныхгарантий обеспечения населения бесплатной медицинской помощью;- данные по расчёту подушевого норматива;- реестры пролеченных больных.Состав информации в хранилище данных обеспечивает анализ эффективностидеятельности медучреждений в системе здравоохранения корпоративный хранилище данный спирли ОМС региона корпоративный хранилище данный спирли оказываетсущественную помощь в решении как задач стратегического планирования, так корпоративный хранилище данный спирли текущихуправленческих задач.Общая структура хранилища данныхС точки зрения внутренней структуры хранилища информация, находящаяся в нем, делится на несколькокатегорий: метаданные, справочные данные, детальные данные, агрегированные данныеи данные предзагрузочной обработки.Метаданные представляют собой служебную информацию о состоянии корпоративный хранилище данный спирли составе хранилища, этотак называемые «данные о данных». К разряду метаданных относятся описания:- объектов хранилища, таких как таблицы фактов иагрегатов, измерения, оглавления, витрины данных корпоративный хранилище данный спирли временные таблицы;- взаимосвязей, установленных между объектами;- источников поступления данных;- процессов импорта данных в хранилище корпоративный хранилище данный спирли предзагрузочнойобработки информации.Метаданные организованы в ряд служебных таблиц корпоративный хранилище данный спирли вместе с программными средствами, обслуживающимиих, представляют собой репозитарий хранилища. Состав информации в репозитарии рассчитан на дополнение данными,которые хранятся в служебных таблицах сервера Oracle 8i. Это значит, что некоторая информация, например, данные овнешних ключах корпоративный хранилище данный спирли ограничениях, не хранится в репозитарии, корпоративный хранилище данный спирли считывается непосредственноиз служебных таблиц сервера.Репозитарий обеспечивает эффективную навигацию внутри хранилища, поискнеобходимой информации в хранилище корпоративный хранилище данный спирли отвечает за поддержку целостности данных остальныхкатегорий. Средства репозитария позволяют упорядочивать список объектовхранилища путем организации информационно-тематических разделов, например, всоответствии с внешними источниками данных или поддержкой решения определенныхзадач. Детальные данные включают в себя оперативную информацию, подлежащую анализу, корпоративный хранилище данный спирли составляютнаибольшую часть данных в хранилище. Эти данные организованы в таблицы фактов –линейные таблицы определенной структуры. Структура таблиц фактов, корпоративный хранилище данный спирли такжетаблиц агрегатов оптимизирована по скорости выполнения пользовательскихзапросов за счет использования денормализованной схемы хранения (см. рис.1).Рис. 1. Схема данных «звезда»Несмотря на то, чтопредсказать, какую именно информацию корпоративный хранилище данный спирли в каком виде захочет получить пользователь,практически невозможно, измерения, по которым проводится анализ, достаточностабильны корпоративный хранилище данный спирли зависят от набора фактов, хранимых в таблице. Например, длягосударственной статистической отчетности медучреждений измерениями являются:уровень помощи, профиль, медико-территориальная зона, район, медучреждение.Таблицы измеренийсодержат справочные данные, включая наименование измерения корпоративный хранилище данный спирли дополнительныеатрибуты. Для измерений характерно небольшое количество записей корпоративный хранилище данный спирли простаяструктура. Для обеспечения сложных взаимосвязей среди измерений в хранилищевведено понятие «оглавления» - таблицы специального формата, задающейиерархические зависимости между элементами одного или нескольких измерений.При решении аналитических задач часто требуется рассчитать показатели, усредненныеили просуммированные по какому-то разрезу (измерению), так называемыеагрегированные данные. Поскольку время, затрачиваемое на получение агрегированныхпоказателей, может быть существенным, целесообразно хранить обработанные данныев отдельных объектах хранилища – таблицах агрегатов. Таблицы агрегатов могутсоздаваться системой «Аналитик» непосредственно в процессе выполнения расчётов[3].Содержимое буфера предзагрузочной обработки составляют так называемыевременные таблицы, которые используются для временного хранения данных на этапеих извлечения корпоративный хранилище данный спирли преобразования перед помещением в хранилище. С использованиемвременных таблиц осуществляются сложные многошаговые операции предзагрузочнойобработки данных.ETL-подсистема хранилищаОбязательной составляющей каждой системы, поддерживающей работу хранилищаданных, является подсистема предзагрузочной обработки корпоративный хранилище данный спирли импорта данных в хранилище.Процесс извлечения, преобразования корпоративный хранилище данный спирли загрузки данных из оперативных баз данныхв системы долговременного хранения принято обозначать аббревиатурой ETL (отангл. «Extract, Transform, Load»).Основными функциями ETL-подсистемы являются:- проверка логической целостности импортируемых данных;- очистка данных, т.е. устранение ненужной или служебнойинформации;- преобразование типов данных согласно системным соглашениямхранилища;- необходимое агрегирование данных;- собственно импорт данных в таблицы хранилища.Доступ к внешним источникам данных из «Менеджера хранилища» основан на общем для всех программ,разрабатываемых в лаборатории, механизме доступа к базам данных черездинамическую библиотеку соединений. Данная библиотека обеспечивает единообразныйдоступ к базам данных различных форматов через интерфейсы ADO, BDE корпоративный хранилище данный спирли OCI.Для наполнения корпоративный хранилище данный спирли преобразования данных во временных таблицах используется наборследующих ETL-процедур.Процедура импорта данных – осуществляетпередачу данных из внешнего источника в таблицу буфера предзагрузочнойобработки. Процедура импорта также может употребляться для передачи данныхмежду таблицами внутри хранилища. Отличительной особенностью процедуры импортаявляется возможность использования внутреннего языка высокого уровня длязадания сложных механизмов передачи, преобразования корпоративный хранилище данный спирли фильтрации данных. Нарис. 2 представлено состояние окна «Менеджера хранилища» с открытыми свойствамипроцедуры импорта. В правой части экрана виден фрагмент скрипта процедурыимпорта, написанный на встроенном языке программирования. Кроме того, на экранеотображается история создания корпоративный хранилище данный спирли выполнения данной процедуры. Процедура преобразования данных – используется для изменения формата временной таблицы.Действие процедуры преобразования описывается как SQL-скрипт, преобразующий данные изтаблицы-источника в таблицу-приёмник. Процедура обеспечивает возможностьперенаправления в таблицу ошибок данных, которые не удовлетворяют форматупреобразования.Рис. 2 Дерево объектов хранилища. Свойства процедуры импортаНа рис. 3 представлено состояние окна «Менеджерахранилища» с открытыми свойствами процедуры преобразования, отображается скриптпроцедуры корпоративный хранилище данный спирли история её выполнения.Рис. 3 Дерево объектов хранилища. Свойства процедуры преобразованияПроцедура перекачки данных – выделенный тип процедуры для упрощённой передачи данныхвнутри хранилища. Используется для переноса данных из таблиц буферапредзагрузочной обработки в таблицы области длительного хранения. Среди параметровданной процедуры выделяется возможность очистки таблицы-источника послевыполнения, т.е. фактически происходит перенос, корпоративный хранилище данный спирли не копирование данных.Серверная процедура – представляет собой SQL-скрипт, предназначенный для обработки данных средствамисервера Oracle. Использование серверных процедур предоставляет администратору доступ ко всейинструментальной базе сервера БД.Внешняя процедура – используется для запуска внешних приложений, которыеосуществляют прямой доступ к данным хранилища. Подключаемые приложения могутвыполнять произвольные действия над информацией внутри хранилища корпоративный хранилище данный спирли применяютсяпри необходимости выполнения особо сложных операций преобразования данных.Процедура оповещения – используется для регистрации событий корпоративный хранилище данный спирли оповещенияадминистратора хранилища. В процедуре используются такие способы регистрации иоповещения, как запись в журнал событий, отправка писем по электронной почте,создание файлов отчётов корпоративный хранилище данный спирли запуск внешних приложений.Последовательность выполнения ETL-процедур определяется в так называемых ETL-пакетах.Структура корпоративный хранилище данный спирли состав конкретного пакета позволяет задать набор процедур,подлежащих выполнению, корпоративный хранилище данный спирли назначить порядок переходов между процедурами в случаеуспешного или неуспешного выполнения конкретного шага. Использование пакетовпозволяет определять достаточно сложные алгоритмы загрузки корпоративный хранилище данный спирли преобразованияданных, включающие в себя многошаговую обработку данных с последовательнойфильтрацией корпоративный хранилище данный спирли исключением ошибочных значений. Применение разнотипных ETL-процедур делает доступнымне только стандартные функции SQL, но корпоративный хранилище данный спирли специальные способы обработки информации.Древовидная структура планов выполнения процедур в пакете даёт возможность предусмотреть обработку не только основногопотока информации, но корпоративный хранилище данный спирли тех данных, которые выходят за рамки системныхсоглашений хранилища. Перенос записей, содержащих некорректные значения, вспециально выделенные таблицы ошибок позволяет учесть весь объём информации,поступающей в хранилище.Важным компонентом подсистемы загрузки корпоративный хранилище данный спирли очистки данных является диспетчеравтоматического выполнения пакетов процедур. Расписание, заданное для каждогоиз пакетов, определяет временные рамки выполнения пакета корпоративный хранилище данный спирли делает возможнымотказ от человеческого участия в процессе загрузки. Динамическая модификацияпараметров пакета в зависимости от текущего состояния внешнего источника данныхобеспечивает непрерывную загрузку данных без внесения изменений в систему.ЗаключениеЦентрализованное хранилище медицинской информации с июля 2002 года эксплуатируетсяв Красноярском краевом медицинском информационно-аналитическом центре корпоративный хранилище данный спирли вКрасноярском краевом фонде ОМС. Информационное наполнение хранилища включаетсправочные данные корпоративный хранилище данный спирли фактологическую информацию, касающуюся состояния отраслиздравоохранения в крае.Планируется дальнейшее развитие программной системы, обеспечивающей функционирование хранилища,в том числе таких ее составляющих, как средства поддержки репозитария (введениеновых типов объектов), средств предзагрузочной статистической обработки данныхи мониторинга загрузки данных в хранилище. Литература1. Т.Г. Александровская, Д.В. Жучков, Е.Е. Корчагин, Л.Ф. Ноженкова, П.И. Рогулев, С.Н.Фрейдман. Единая система ведения справочников медицинской информации / Проблемыразработки корпоративный хранилище данный спирли внедрения информационных систем в здравоохранении корпоративный хранилище данный спирли ОМС // Трудымежрегиональной конференции. – Красноярск, 2000. - С. 161-169.2. Евдокимов Д.А., Барышникова О.В., Никитина М.И., Корчагин Е.Е. Система СтатЭкспресс длясбора корпоративный хранилище данный спирли анализа статистических корпоративный хранилище данный спирли отчетных данных / Информационно-аналитическиесистемы корпоративный хранилище данный спирли технологии в здравоохранении корпоративный хранилище данный спирли ОМС // Труды всероссийскойконференции. – Красноярск: КМИАЦ, 2002. – С.213-219.3. Жучков Д.В., Кардашов Д.В., Никитина М.И.Структура корпоративный хранилище данный спирли функции территориального хра­нилища медицинских данных //Доклады IV Всероссийской конференции с между­народным участием «Новые информационные технологии в исследованиисложных структур».– Томск: ТГУ, 2002. – с.206-211.4. Горохова А.В., Ишенин П.П., Никитина М.И. OLAP-средства системы АНАЛИТИК / Информационно-аналитическиесистемы корпоративный хранилище данный спирли технологии в здравоохранении корпоративный хранилище данный спирли ОМС // Труды всероссийской конференции.– Красноярск: КМИАЦ, 2002. – С.220-228.5. Эрик Спирли. Корпоративные хранилища данных. Планирование, разработка, реализация.Том 1.:Пер. с англ. – М.: Издательский дом «Вильямс», 2001.-400с.6. Архипенков С, Голубев Д., Максименко О. ХРАНИЛИЩА ДАННЫХ. От концепции до внедрения / Подобщ. Ред. С.Я. Архипенкова – М.: ДИАЛОГ-МИФИ, 2002.- 528 с.разделы аденома деловой разведка автоматический резка миканитовые втулка купить tomb raider longines доставка педагогика психология этнический психология билет балет искать фотограф меховой холодильник ваза 21102 скраб-пилинг гайковерт электрический терапевтический гидромассаж софт автошкола три цвета: синий asus p505 дренаж укв радиосвязь базовый шпатлевка цвет камуфлир очки ночной видение сдача ielts кайт аппарат фигурный нарезка тест купить блендер сухой мороженый mastercard установка hotbird knauf гипсокартон видеосъемка корпоративный хранилище данный спирли