Название: Microsoft SQL Server 2012. Реализация хранилищ данныхАвтор: Сарка Д., Лах М., Йеркич Г.
Издательство: Русская редакция
Жанр: СУБД
Год издания: 2014
Страниц: 805
ISBN: 978-5-7502-0431-1
Язык: Русский
Формат: PDF
Размер: 10 Мб
Официальный учебный курс Microsoft рассматривает технологии реализации и обслуживания хранилищ данных, которые обеспечивает SQL-Server 2012. Описаны проектирование, реализация и усовершенствование потока управления и потока данных, создание надёжного перезапускаемого пакета, динамических пакетов, аудит и ведение журналов, установка служб SSIS и развёртывание пакетов, выполнение и безопасность пакетов, устранение неисправностей и настройка производительности, установка и поддержка Data Quality Services, реализация Master Data Services, управление основными данными, создание проекта качества для очистки данных.
Оглавление
Оглавление
Учебный курс 70-463. Реализация хранилищ данных
с помощью Microsoft SQL Server 2012 ........................................................................ 1
Введение ............................................................................................................................ 3
Системные требования .................................................................................................................... 4
Требования к SQL Server и другому программному обеспечению ..................................... 4
Требования к оборудованию и операционной системе ........................................................ 5
Требования к данным .............................................................................................................. 5
О прилагаемом компакт-диске ....................................................................................................... 5
Установка заданий пробного экзамена .................................................................................. 6
Использование пробного экзамена......................................................................................... 6
Удаление ПО пробного экзамена ........................................................................................... 7
Благодарности .................................................................................................................................. 7
Техническая поддержка и обратная связь ..................................................................................... 7
Ошибки и опечатки .................................................................................................................. 8
Нас интересует ваше мнение .................................................................................................. 8
Оставайтесь на связи ............................................................................................................... 8
Подготовка к экзамену .................................................................................................................... 8
ЧАСТЬ I. РАЗРАБОТКА И РЕАЛИЗАЦИЯ ХРАНИЛИЩА ДАННЫХ .............. 9
Глава 1. Логическое проектирование хранилища данных ................................... 11
ЗАНЯТИЕ 1. Знакомство со схемами "звезда" и "снежинка" .................................................... 12
Проблемы формирования отчетов в нормализованной модели ........................................ 13
Схема "звезда" ........................................................................................................................ 15
Схема "снежинка" .................................................................................................................. 18
Степень гранулярности ......................................................................................................... 20
Аудит, происхождение и преобразования данных .............................................................. 21
ПРАКТИКУМ. Схема интернет-продаж из базы данных AdventureWorksDW2012 ....... 22
Задание 1. Изучение схемы базы данных AdventureWorksDW2012 ........................ 22
Задание 2. Анализ диаграммы ..................................................................................... 23
Резюме занятия ...................................................................................................................... 23
Закрепление материала.......................................................................................................... 24
VI Оглавление
ЗАНЯТИЕ 2. Проектирование измерений ................................................................................... 24
Типы столбцов в измерениях ................................................................................................ 25
Иерархии................................................................................................................................. 26
Медленно меняющиеся измерения....................................................................................... 28
ПРАКТИКУМ. Изучение измерений из базы данных AdventureWorksDW2012 ............. 31
Задание 1. Исследование измерений AdventureWorksDW2012 ................................ 32
Задание 2. Дальнейший анализ диаграммы ................................................................ 33
Резюме занятия ...................................................................................................................... 34
Закрепление материала.......................................................................................................... 34
ЗАНЯТИЕ 3. Разработка таблиц фактов ...................................................................................... 35
Типы столбцов в таблицах фактов ....................................................................................... 35
Аддитивность мер .................................................................................................................. 37
Аддитивность мер в SSAS ..................................................................................................... 38
Отношения "многие-ко-многим" .......................................................................................... 39
ПРАКТИКУМ. Изучение таблиц фактов из базы данных AdventureWorksDW2012 ....... 40
Задание 1. Создание диаграммы для таблицы фактов
из AdventureWorksDW2012.......................................................................................... 41
Задание 2. Анализ столбцов таблицы фактов ............................................................. 41
Резюме занятия ...................................................................................................................... 42
Закрепление материала.......................................................................................................... 42
УПРАЖНЕНИЯ ............................................................................................................................. 43
Упражнение 1. Краткосрочный пробный проект ................................................................ 43
Упражнение 2. Расширение краткосрочного пробного проекта ....................................... 43
Результаты опроса ........................................................................................................ 43
Вопросы ......................................................................................................................... 43
Рекомендуемые упражнения ................................................................................................. 43
Тщательно изучите базу данных AdventureWorksDW2012 ....................................... 44
Найдите SCD и сведения о жизненном пути данных в базе данных
AdventureWorksDW2012 .............................................................................................. 44
Глава 2. Реализация хранилища данных ................................................................. 45
ЗАНЯТИЕ 1. Реализация измерений и таблиц фактов ............................................................... 46
Создание базы данных хранилища ....................................................................................... 46
Реализация измерений ........................................................................................................... 49
Реализация таблиц фактов .................................................................................................... 51
ПРАКТИКУМ. Реализация таблиц измерений и фактов .................................................... 52
Задание 1. Создание базы данных хранилища данных и последовательности........ 52
Задание 2. Создание измерений ................................................................................... 53
Задание 3. Создание таблицы фактов.......................................................................... 57
Резюме занятия ...................................................................................................................... 58
Закрепление материала.......................................................................................................... 59
ЗАНЯТИЕ 2. Управление производительностью хранилища данных ...................................... 60
Индексирование измерений и таблиц фактов ..................................................................... 60
Индексированные представления ......................................................................................... 63
Правильные приемы написания запроса.............................................................................. 65
Сжатие данных ....................................................................................................................... 66
Индексы columnstore и пакетная обработка ........................................................................ 67
ПРАКТИКУМ. Загрузка данных, применение сжатия данных и индексы columnstore ...... 70
Задание 1. Загрузка вашего хранилища данных ......................................................... 70
Задание 2. Применение сжатия данных и создание индекса columnstore ................ 74
Оглавление VII
Резюме занятия ...................................................................................................................... 75
Закрепление материала.......................................................................................................... 75
ЗАНЯТИЕ 3. Загрузка и аудит загрузок ...................................................................................... 76
Применение секций ............................................................................................................... 76
Жизненный путь данных ....................................................................................................... 79
ПРАКТИКУМ. Секционирование таблицы ......................................................................... 80
Задание 1. Подготовка таблицы фактов к секционированию ................................... 80
Задание 2. Загрузка данных с минимальным протоколированием
в секционированную таблицу ...................................................................................... 82
Резюме занятия ...................................................................................................................... 84
Закрепление материала.......................................................................................................... 84
УПРАЖНЕНИЯ ............................................................................................................................. 85
Упражнение 1. Медленные отчеты хранилища данных ..................................................... 85
Упражнение 2. Проблемы администрирования хранилища данных ................................. 85
Рекомендуемые упражнения ................................................................................................. 86
Протестируйте разные методы индексирования ........................................................ 86
Протестируйте секционирование таблицы ................................................................. 86
ЧАСТЬ II. РАЗРАБОТКА ПАКЕТОВ SSIS .............................................................. 87
Глава 3. Создание пакетов SSIS ................................................................................. 89
ЗАНЯТИЕ 1. Применение SQL Server Import and Export Wizard .............................................. 91
Планирование простого перемещения данных ................................................................... 91
ПРАКТИКУМ. Простое перемещение данных ................................................................... 92
Задание 1. Извлечение данных из представления и загрузка их в таблицу ............. 93
Задание 2. Просмотр файлов пакета SSIS................................................................. 100
Резюме занятия .................................................................................................................... 100
Закрепление материала........................................................................................................ 101
ЗАНЯТИЕ 2. Разработка пакетов SSIS в SSDT ......................................................................... 102
Введение в SSDT ................................................................................................................. 103
ПРАКТИКУМ. Начало работы в SSDT ............................................................................. 104
Задание 1. Создание нового проекта SSIS ................................................................ 104
Задание 2. Изучение проектирования потока управления SSIS .............................. 106
Резюме занятия .................................................................................................................... 108
Закрепление материала........................................................................................................ 108
ЗАНЯТИЕ 3. Знакомство с потоком управления, потоком данных и диспетчерами
соединений ................................................................................................................................... 109
Введение в разработку SSIS ................................................................................................ 110
Знакомство с развертыванием проекта SSIS ..................................................................... 111
ПРАКТИКУМ. Изменение имеющегося перемещения данных ...................................... 112
Задание 1. Вставка имеющегося пакета SSIS в проект SSIS ................................... 113
Задание 2. Редактирование пакета SSIS, созданного мастером SQL Server
Import and Export Wizard ............................................................................................ 114
Задание 3. Настройка соединений и запуск пакета SSIS в режиме отладки .......... 120
Резюме занятия .................................................................................................................... 123
Закрепление материала........................................................................................................ 123
УПРАЖНЕНИЯ ........................................................................................................................... 124
Упражнение 1. Копирование производственных данных в среду разработки ............... 124
Упражнение 2. Параметризация диспетчеров соединений .............................................. 125
VIII Оглавление
Рекомендуемые упражнения ............................................................................................... 125
Применяйте правильные средства ............................................................................. 125
Выявление и учет отличий между рабочей средой и средой разработки .............. 125
Глава 4. Проектирование и реализация потока управления ............................. 127
ЗАНЯТИЕ 1. Диспетчеры соединений....................................................................................... 129
Область видимости диспетчеров соединений ................................................................... 132
32- и 64-разрядные поставщики данных ............................................................................ 133
Параметризация ................................................................................................................... 133
ПРАКТИКУМ. Создание диспетчера соединений ............................................................ 134
Задание 1. Создание и настройка диспетчера соединений Flat File ....................... 134
Задание 2. Создание и настройка диспетчера соединений OLE DB....................... 136
Резюме занятия .................................................................................................................... 140
Закрепление материала........................................................................................................ 140
ЗАНЯТИЕ 2. Задачи потока управления и контейнеры ........................................................... 141
Планирование сложного перемещения данных ................................................................ 141
Задачи ................................................................................................................................... 143
Задачи подготовки данных......................................................................................... 144
Задачи рабочего процесса .......................................................................................... 144
Задачи перемещения данных ..................................................................................... 146
Задачи администрирования SQL Server .................................................................... 147
Задачи обслуживания SQL Server .............................................................................. 148
Задачи служб Analysis Services .................................................................................. 149
Задача Script Task ........................................................................................................ 150
Пользовательские задачи ........................................................................................... 151
Контейнеры .......................................................................................................................... 151
ПРАКТИКУМ. Определение потока управления ............................................................. 153
Задание 1. Применение пакета SSIS для обработки файлов ................................... 153
Задание 2. Динамическое присваивание значений свойствам ................................ 156
Задание 3. Подготовка и проверка выполнения пакета SSIS .................................. 158
Резюме занятия .................................................................................................................... 159
Закрепление материала........................................................................................................ 159
ЗАНЯТИЕ 3. Элементы управления очередностью .................................................................. 161
ПРАКТИКУМ. Определение элементов управления очередностью............................... 163
Задание 1. Применение элементов управления очередностью ............................... 163
Задание 2. Перенаправление выполнения задач с помощью элементов
управления очередностью со значением failure ....................................................... 164
Резюме занятия .................................................................................................................... 166
Закрепление материала........................................................................................................ 166
УПРАЖНЕНИЯ ........................................................................................................................... 167
Упражнение 1. Разработка процесса очистки ................................................................... 167
Упражнение 2. Интеграция внешних процессов ............................................................... 168
Рекомендуемые упражнения ............................................................................................... 168
Полное решение управления данными ..................................................................... 168
Глава 5. Проектирование и реализация потока данных ..................................... 170
ЗАНЯТИЕ 1. Определение источников данных и мест назначения ........................................ 170
Создание задачи потока данных ......................................................................................... 171
Оглавление IX
Определение адаптеров источников потока данных ........................................................ 173
Добавление адаптера источника потока данных с помощью Source Assistant ...... 174
Настройка адаптера источника потока данных ........................................................ 175
Определение адаптеров назначения потока данных ......................................................... 176
Настройка адаптера назначения потока данных ...................................................... 178
Типы данных служб SSIS .................................................................................................... 180
Использование быстрого синтаксического анализа ......................................................... 182
ПРАКТИКУМ. Создание простых потоков данных ......................................................... 183
Задание 1. Создание потока данных для размещения таблицы Person.Person ...... 183
Задание 2. Применение адаптера источника ODBC
для размещения таблицы Sales.Customer .................................................................. 185
Задание 3. Импорт данных из неструктурированных файлов ................................. 187
Резюме занятия .................................................................................................................... 191
Закрепление материала........................................................................................................ 191
ЗАНЯТИЕ 2. Работа с преобразованиями потока данных ....................................................... 192
Выбор преобразований ........................................................................................................ 192
Преобразования уровня строки ................................................................................. 193
Преобразования с несколькими входами и выходами ............................................. 194
Преобразования набора строк ................................................................................... 196
Дополнительные преобразования для подготовки данных ..................................... 198
Применение преобразований .............................................................................................. 199
Разрешение ссылок на столбцы ................................................................................. 201
ПРАКТИКУМ. Применение преобразования потока данных ......................................... 202
Задание 1. Подготовка таблицы измерений dbo.Customers к загрузке
в хранилище данных ................................................................................................... 202
Задание 2. Загрузка таблицы измерений dbo.Customers в хранилище данных ...... 205
Резюме занятия .................................................................................................................... 209
Закрепление материала........................................................................................................ 209
ЗАНЯТИЕ 3. Выбор подходящих стратегии ETL и инструментов ......................................... 210
Стратегия ETL ...................................................................................................................... 211
Архитектура ETL ........................................................................................................ 211
Преобразование Lookup ...................................................................................................... 212
Применение преобразования Lookup ........................................................................ 212
Применение преобразования Cache Transform с преобразованием Lookup .......... 216
Сортировка данных.............................................................................................................. 218
Обновления на основе наборов .......................................................................................... 219
ПРАКТИКУМ. Усовершенствование преобразований потока данных .......................... 220
Задание 1. Соединение и сортировка таблиц в промежуточной области .............. 221
Задание 2. Создание эффективных уточняющих запросов ..................................... 222
Задание 3. Обновление таблицы измерений Customer ............................................ 223
Резюме занятия .................................................................................................................... 225
Закрепление материала........................................................................................................ 225
УПРАЖНЕНИЯ ........................................................................................................................... 226
Упражнение. Система с новым источником...................................................................... 226
Рекомендуемые упражнения ............................................................................................... 227
Создайте и загрузите дополнительные таблицы ...................................................... 227
X Оглавление
ЧАСТЬ III. УСОВЕРШЕНСТВОВАНИЕ ПАКЕТОВ SSIS ................................ 229
Глава 6. Усовершенствование потока управления .............................................. 231
ЗАНЯТИЕ 1. Переменные SSIS .................................................................................................. 233
Системные и пользовательские переменные ..................................................................... 234
Типы данных переменных .................................................................................................. 236
Область действия переменных ........................................................................................... 240
Параметризация свойств ..................................................................................................... 242
ПРАКТИКУМ. Создание пользовательской переменной и параметризация задачи ..... 243
Задание 1. Подготовка среды ..................................................................................... 243
Задание 2. Создание пользовательских переменных ............................................... 243
Задание 3. Параметризация задач потока управления с помощью переменных ...... 244
Резюме занятия .................................................................................................................... 244
Закрепление материала........................................................................................................ 244
ЗАНЯТИЕ 2. Диспетчеры соединений, задачи и выражения элементов управления
очередностью ............................................................................................................................... 246
Выражения ........................................................................................................................... 247
Выражения свойств ............................................................................................................. 250
Выражения в элементах управления очередностью ......................................................... 251
ПРАКТИКУМ. Использование выражений для параметризации объектов
служб SSIS ............................................................................................................................ 253
Задание 1. Использование выражения для присваивания значения переменной .. 253
Задание 2. Применение выражений для управления поведением потока данных 254
Резюме занятия .................................................................................................................... 256
Закрепление материала........................................................................................................ 256
ЗАНЯТИЕ 3. Применение главного пакета в усовершенствованном потоке управления .... 257
Разделение рабочих нагрузок, целей и задач..................................................................... 260
Согласование рабочей нагрузки и конфигурации ............................................................. 260
Задача Execute Package Task ............................................................................................... 262
Задача Execute SQL Server Agent Job Task ......................................................................... 262
Задача Execute Process Task ................................................................................................ 263
ПРАКТИКУМ. Создание и настройка главного пакета ................................................... 263
Задание 1. Подготовка среды ..................................................................................... 264
Задание 2. Создание главного пакета ........................................................................ 265
Задание 3. Настройка главного пакета ...................................................................... 267
Резюме занятия .................................................................................................................... 268
Закрепление материала........................................................................................................ 269
УПРАЖНЕНИЯ ........................................................................................................................... 269
Упражнение 1. Полные решения ........................................................................................ 269
Упражнение 2. Выполнение, управляемое данными ........................................................ 270
Рекомендуемые упражнения ............................................................................................... 271
Проанализируйте варианты применения главного пакета ...................................... 271
Глава 7. Усовершенствование потока данных ...................................................... 272
ЗАНЯТИЕ 1. Медленно изменяющиеся измерения .................................................................. 273
Определение типов атрибутов ............................................................................................ 273
Выводимые элементы измерения ....................................................................................... 274
Применение задачи Slowly Changing Dimension ............................................................... 274
Эффективно обновляющиеся измерения ........................................................................... 279
Оглавление XI
Проверка изменений атрибутов .......................................................................................... 280
Алгоритм обновления на основе наборов данных ............................................................ 281
ПРАКТИКУМ. Реализация алгоритма обработки медленно изменяющегося
измерения ............................................................................................................................. 283
Задание 1. Загрузка измерения Customer с помощью преобразования Slowly
Changing Dimension..................................................................................................... 283
Задание 2. Модификация пакета для вставки процесса обновления
на основе наборов данных ......................................................................................... 285
Резюме занятия .................................................................................................................... 287
Закрепление материала........................................................................................................ 287
ЗАНЯТИЕ 2. Подготовка пакета к добавочной загрузке ......................................................... 288
Применение динамического SQL для чтения данных ...................................................... 289
Использование адаптера источника OLE DB ........................................................... 289
Использование адаптеров источника ODBC или ADO.NET ................................... 291
Реализация CDC с помощью служб SSIS .......................................................................... 293
Включение CDC в базе данных ................................................................................. 293
Компоненты CDC в службах SSIS............................................................................. 294
Стратегия ETL для поэтапной загрузки таблиц фактов ................................................... 297
ПРАКТИКУМ. Реализация механизма отслеживания измененных данных (CDC)
средствами SSIS ................................................................................................................... 297
Задание 1. Создание пакета начальной загрузки ...................................................... 298
Задание 2. Создание пакета добавочной загрузки ................................................... 301
Резюме занятия .................................................................................................................... 305
Закрепление материала........................................................................................................ 306
ЗАНЯТИЕ 3. Поток ошибок ....................................................................................................... 306
Применение потоков ошибок ............................................................................................. 307
ПРАКТИКУМ. Использование потока ошибок ................................................................ 309
Задание. Добавление путей потока ошибок ............................................................. 309
Резюме занятия .................................................................................................................... 311
Закрепление материала........................................................................................................ 311
УПРАЖНЕНИЯ ........................................................................................................................... 312
Упражнение. Загрузка больших таблиц измерений и фактов .......................................... 312
Рекомендуемые упражнения ............................................................................................... 312
Загрузка добавочных измерений ............................................................................... 312
Глава 8. Создание надежного перезапускаемого пакета ..................................... 313
ЗАНЯТИЕ 1. Транзакции пакета ................................................................................................ 314
Определение параметров транзакции пакета и задачи ..................................................... 314
Уровни изоляции транзакции ............................................................................................. 317
Транзакции, обрабатываемые вручную ............................................................................. 318
ПРАКТИКУМ. Реализация транзакций ............................................................................. 319
Задание. Включение поддержки транзакций и наблюдение за откатом
транзакции ................................................................................................................... 319
Резюме занятия .................................................................................................................... 321
Закрепление материала........................................................................................................ 321
ЗАНЯТИЕ 2. Контрольные точки .............................................................................................. 322
Создание контрольных точек для перезапуска пакета ..................................................... 322
ПРАКТИКУМ. Установка и просмотр контрольных точек в пакете .............................. 325
Задание. Просмотр контрольных точек .................................................................... 325
XII Оглавление
Резюме занятия .................................................................................................................... 326
Закрепление материала........................................................................................................ 327
ЗАНЯТИЕ 3. Обработчики событий .......................................................................................... 327
Применение обработчиков событий .................................................................................. 328
ПРАКТИКУМ. Создание обработчиков событий ............................................................. 330
Задание. Применение обработчиков событий .......................................................... 330
Резюме занятия .................................................................................................................... 332
Закрепление материала........................................................................................................ 332
УПРАЖНЕНИЯ ........................................................................................................................... 333
Упражнение. Аудит и уведомления в пакетах служб SSIS .............................................. 333
Рекомендуемые упражнения ............................................................................................... 333
Применение транзакций и обработчиков событий .................................................. 334
Глава 9. Создание динамических пакетов ............................................................. 335
ЗАНЯТИЕ 1. Параметры и диспетчеры соединений уровней пакета и проекта .................... 336
Применение диспетчеров соединений уровня проекта .................................................... 336
Параметры ............................................................................................................................ 337
Использование параметров ........................................................................................ 338
Определение параметров ........................................................................................... 338
Конфигурации построения в службах SQL Server 2012 Integration Services .................. 340
Создание конфигураций построения......................................................................... 341
Применение конфигураций построения ................................................................... 342
Выражения свойств ............................................................................................................. 343
ПРАКТИКУМ. Применение параметров ........................................................................... 345
Задание 1. Задание параметра для строки соединения ............................................ 345
Задание 2. Использование параметра в задаче потока данных ............................... 346
Задание 3. Использование конфигураций построения ............................................ 347
Резюме занятия .................................................................................................................... 349
Закрепление материала........................................................................................................ 349
ЗАНЯТИЕ 2. Конфигурации пакета ........................................................................................... 350
Работа с конфигурациями пакета ....................................................................................... 350
Создание конфигурации ............................................................................................. 351
Создание XML-файла конфигурации ........................................................................ 353
Создание конфигурации SQL Server ......................................................................... 354
Вставка свойств в вашу конфигурацию .................................................................... 355
Совместное использование, упорядочивание и редактирование конфигураций ...... 356
ПРАКТИКУМ. Использование конфигураций пакета ..................................................... 357
Задание. Создание XML-файла конфигурации ........................................................ 357
Резюме занятия .................................................................................................................... 359
Закрепление материала........................................................................................................ 359
УПРАЖНЕНИЯ ........................................................................................................................... 359
Упражнение. Превращение пакетов SSIS в динамические .............................................. 360
Рекомендуемые упражнения ............................................................................................... 360
Использование параметра в добавочной загрузке таблицы фактов ....................... 360
Глава 10. Аудит и ведение журналов ...................................................................... 361
ЗАНЯТИЕ 1. Ведение журналов пакетов .................................................................................. 363
Регистраторы или поставщики журналов .......................................................................... 363
Выбор регистратора ................................................................................................... 364
Оглавление XIII
Настройка ведения журналов.............................................................................................. 366
Наследование настроек журнала ............................................................................... 368
Шаблоны настроек журналов .................................................................................... 368
ПРАКТИКУМ. Настройка ведения журналов SSIS .......................................................... 369
Задание 1. Подготовка среды ..................................................................................... 369
Задание 2. Настройка контейнера SSIS для ведения журнала событий ................. 369
Задание 3. Создание шаблона настроек журнала ..................................................... 372
Резюме занятия .................................................................................................................... 374
Закрепление материала........................................................................................................ 374
ЗАНЯТИЕ 2. Выполнение аудита и фиксация жизненного пути данных ............................... 375
Методы аудита ..................................................................................................................... 376
Компонент преобразований потока данных Row Count .......................................... 380
Компонент преобразований потока данных Aggregate ............................................ 380
Компонент преобразований потока данных Audit ................................................... 381
Корреляция данных аудита и журналов SSIS .................................................................... 381
Сохранение .................................................................................................................. 382
ПРАКТИКУМ. Реализация базового аудита ..................................................................... 383
Задание 1. Подготовка среды ..................................................................................... 383
Задание 2. Реализация аудита уровня строки
с помощью преобразования Audit ............................................................................. 383
Резюме занятия .................................................................................................................... 385
Закрепление материала........................................................................................................ 386
ЗАНЯТИЕ 3. Подготовка шаблонов пакета .............................................................................. 386
Шаблоны пакетов SSIS ........................................................................................................ 387
Создание шаблона пакета SSIS .................................................................................. 388
Применение шаблона пакета SSIS ............................................................................ 388
ПРАКТИКУМ. Создание и использование шаблона пакета SSIS ................................... 389
Задание 1. Создание шаблона пакета SSIS ............................................................... 389
Задание 2. Создание нового пакета SSIS с помощью шаблона пакета SSIS ......... 390
Резюме занятия .................................................................................................................... 391
Закрепление материала........................................................................................................ 391
УПРАЖНЕНИЯ ........................................................................................................................... 391
Упражнение 1. Реализация ведения журналов SSIS на нескольких уровнях иерархии
объектов служб SSIS............................................................................................................ 392
Упражнение 2. Реализация аудита SSIS на разных уровнях иерархии объектов
служб SSIS ............................................................................................................................ 392
Рекомендуемые упражнения ............................................................................................... 392
Вставка аудита в операцию обновления имеющейся задачи Execute SQL Task .... 393
Создание шаблона пакета SSIS в вашей собственной среде ................................... 393
ЧАСТЬ IV. УПРАВЛЕНИЕ И ОБСЛУЖИВАНИЕ ПАКЕТОВ SSIS ............... 395
Глава 11. Установка служб SSIS и развертывание пакетов ............................... 397
ЗАНЯТИЕ 1. Установка компонентов служб SSIS ................................................................... 399
Подготовка установки SSIS ................................................................................................ 400
Разработка или эксплуатация ..................................................................................... 400
Аппаратные и программные требования .................................................................. 401
Рекомендации по безопасности ................................................................................. 401
Сравнение 64- и 32-разрядных сред .......................................................................... 403
XIV Оглавление
Установка SSIS .................................................................................................................... 404
Обновление служб SSIS ............................................................................................. 405
Средства служб SSIS .................................................................................................. 406
ПРАКТИКУМ. Установка служб SSIS .............................................................................. 408
Задание 1. Установка служб SSIS на имеющийся экземпляр SQL Server.............. 408
Задание 2. Проверка установки служб SSIS ............................................................. 411
Резюме занятия .................................................................................................................... 412
Закрепление материала........................................................................................................ 413
ЗАНЯТИЕ 2. Развертывание пакетов SSIS ................................................................................ 413
Каталог SSISDB ................................................................................................................... 414
Настройка SSISDB ...................................................................................................... 415
Объекты SSISDB .................................................................................................................. 416
Папки ........................................................................................................................... 416
Проекты и пакеты ....................................................................................................... 417
Параметры ................................................................................................................... 417
Серверные среды, серверные переменные и ссылки на серверную среду ............ 417
Операции ..................................................................................................................... 418
Развертывание проекта ........................................................................................................ 418
ПРАКТИКУМ. Развертывание проектов SSIS .................................................................. 420
Задание 1. Создание и настройка SSISDB ................................................................ 420
Задание 2. Подготовка среды ..................................................................................... 422
Задание 3. Развертывание проекта SSIS в среде SSDT с помощью Deployment
Wizard .......................................................................................................................... 422
Задание 4. Развертывание проекта SSIS с использованием SQL Server
Management Studio ...................................................................................................... 424
Задание 5. Просмотр метаданных пакета SSIS в каталоге SSISDB ........................ 425
Резюме занятия .................................................................................................................... 425
Закрепление материала........................................................................................................ 426
УПРАЖНЕНИЯ ........................................................................................................................... 426
Упражнение 1. Применение строго структурированных развертываний ....................... 427
Упражнение 2. Установка сервера SSIS ............................................................................ 427
Рекомендуемые упражнения ............................................................................................... 427
Обновление имеющихся решений SSIS .................................................................... 427
Глава 12. Выполнение и безопасность пакетов ..................................................... 428
ЗАНЯТИЕ 1. Выполнение пакетов SSIS .................................................................................... 429
Выполнение SSIS по требованию ....................................................................................... 430
Среда SQL Server Management Studio ....................................................................... 430
DTExecUI ..................................................................................................................... 430
Transact-SQL, Windows PowerShell, SSIS Managed API и DTExec ......................... 431
Автоматическое выполнение SSIS ..................................................................................... 435
SQL Server Agent ......................................................................................................... 435
Мониторинг выполнения SSIS ........................................................................................... 438
Операции ..................................................................................................................... 438
Проверки...................................................................................................................... 439
Выполнения ................................................................................................................. 440
Ведение журналов ....................................................................................................... 441
Мониторинг SSIS в SQL Server Management Studio ................................................ 442
Оглавление XV
ПРАКТИКУМ. Запуск и мониторинг процессов SSIS ..................................................... 443
Задание 1. Проверка проектов и пакетов SSIS с помощью SSMS .......................... 444
Задание 2. Выполнение и мониторинг пакета SSIS в среде SSMS ......................... 446
Задание 3. Выполнение пакета SSIS с помощью DTExec ....................................... 447
Задание 4. Выполнение пакета SSIS с использованием Windows PowerShell ....... 448
Задание 5. Создание, настройка расписания и выполнение пакета SSIS
с помощью SQL Server Agent .................................................................................... 448
Резюме занятия .................................................................................................................... 452
Закрепление материала........................................................................................................ 453
ЗАНЯТИЕ 2. Безопасность пакетов SSIS .................................................................................. 453
Безопасность SSISDB .......................................................................................................... 454
Участники .................................................................................................................... 455
Защищаемые объекты ................................................................................................ 455
Разрешения .................................................................................................................. 455
ПРАКТИКУМ. Управление разрешениями SSISDB ........................................................ 457
Задание 1. Создание пользователей SSISDB ............................................................ 458
Задание 2. Создание и защита сред SSISDB ............................................................. 458
Задание 3. Настройка проекта SSISDB ..................................................................... 460
Задание 4. Управление разрешениями проекта SSIS и их проверка ...................... 462
Резюме занятия .................................................................................................................... 463
Закрепление материала........................................................................................................ 463
УПРАЖНЕНИЯ ........................................................................................................................... 464
Упражнение 1. Развертывание пакетов SSIS в нескольких средах ................................. 464
Упражнение 2. Удаленные выполнения............................................................................. 464
Рекомендуемые упражнения ............................................................................................... 465
Расширение возможности многократного использования решения SSIS ............. 465
Глава 13. Устранение неисправностей и настройка производительности ...... 466
ЗАНЯТИЕ 1. Обнаружение и устранение проблем при выполнении пакетов ....................... 467
Устранение неполадок времени разработки ...................................................................... 467
Отладка потока управления с помощью точек останова ......................................... 469
Применение средств просмотра данных в потоке данных ...................................... 471
Применение других методов для отладки ................................................................ 473
Устранение неисправностей в процессе эксплуатации .................................................... 474
Устранение неисправностей с помощью каталога SSISDB .................................... 474
Использование отводов данных ................................................................................ 476
ПРАКТИКУМ. Устранение неисправностей пакетов ...................................................... 477
Задание 1. Исправление ошибки усечения ............................................................... 477
Задание 2. Вставка отвода данных ............................................................................ 478
Резюме занятия .................................................................................................................... 479
Закрепление материала........................................................................................................ 480
ЗАНЯТИЕ 2. Настройка производительности .......................................................................... 480
Подсистема обработки потока данных SSIS ..................................................................... 481
Структура буфера данных .......................................................................................... 481
Типы преобразований ................................................................................................. 481
Деревья выполнения ................................................................................................... 482
Механизм замедленной обратной реакции ............................................................... 483
Варианты настройки потока данных .................................................................................. 483
Оптимизация буфера .................................................................................................. 484
Рекомендации по повышению производительности потока данных ..................... 485
XVI Оглавление
Параллельное выполнение в службах SSIS ....................................................................... 486
Устранение неисправностей и контрольное тестирование производительности ........... 487
Применение каталога SSISDB для контрольного тестирования
производительности пакета ....................................................................................... 487
Мониторинг производительности SSIS с помощью счетчиков
производительности ................................................................................................... 489
ПРАКТИКУМ. Отслеживание выполнения пакета .......................................................... 489
Задание 1. Отображение дерева выполнения ........................................................... 490
Задание 2. Отслеживание выполнения пакета .......................................................... 490
Резюме занятия .................................................................................................................... 492
Закрепление материала........................................................................................................ 492
УПРАЖНЕНИЯ ........................................................................................................................... 492
Упражнение. Настройка пакета SSIS ................................................................................. 493
Рекомендуемые упражнения ............................................................................................... 493
Изучите, как следует представления каталога SSISDB ........................................... 493
ЧАСТЬ V. ПОСТРОЕНИЕ РЕШЕНИЙ DATA QUALITY .................................. 495
Глава 14. Установка и поддержка Data Quality Services ..................................... 497
ЗАНЯТИЕ 1. Проблемы качества данных и роли ..................................................................... 498
Показатели качества данных ............................................................................................... 499
Полнота ........................................................................................................................ 499
Корректность ............................................................................................................... 500
Информативность ....................................................................................................... 501
Непротиворечивость ................................................................................................... 501
Косвенные показатели ................................................................................................ 501
Показатели качества схемы данных .......................................................................... 502
Действия по обеспечению качества данных и роли .......................................................... 503
ПРАКТИКУМ. Поиск проблем качества данных ............................................................. 507
Задание 1. Поиск проблем качества данных в AdventureWorksDW2012 ............... 507
Задание 2. Обзор потенциальных проблем качества данных в рабочей системе ..... 508
Резюме занятия .................................................................................................................... 508
Закрепление материала........................................................................................................ 508
ЗАНЯТИЕ 2. Установка служб Data Quality Services ............................................................... 509
Структура служб DQS ......................................................................................................... 509
Установка DQS ........................................................................................................... 511
ПРАКТИКУМ. Установка служб Data Quality Services .................................................... 513
Задание 1. Запуск SQL Server Setup .......................................................................... 513
Задание 2. Выполнение послеустановочных задач DQS ......................................... 515
Резюме занятия .................................................................................................................... 517
Закрепление материала........................................................................................................ 517
ЗАНЯТИЕ 3. Поддержка и безопасность Data Quality Services ............................................... 518
Выполнение административных операций с помощью Data Quality Client .................... 518
Выполнение административных операций с помощью других средств ......................... 523
ПРАКТИКУМ. Мониторинг операций DQS ..................................................................... 524
Задание 1. Создание вашего первого проекта DQS ................................................. 524
Задание 2. Мониторинг операций DQS .................................................................... 527
Резюме занятия .................................................................................................................... 528
Закрепление материала........................................................................................................ 528
Оглавление XVII
УПРАЖНЕНИЯ ........................................................................................................................... 529
Упражнение. Неиспользуемое хранилище данных ........................................................... 529
Упражнения для самостоятельной работы ........................................................................ 529
Анализ базы данных AdventureWorksDW2012 ........................................................ 529
Знакомство со средствами профилирования данных .............................................. 530
Глава 15. Реализация Master Data Services ............................................................ 531
ЗАНЯТИЕ 1. Определение основных данных ........................................................................... 531
Что такое основные данные? .............................................................................................. 532
Управление основными данными....................................................................................... 535
Трудности MDM .................................................................................................................. 539
ПРАКТИКУМ. Определение основных данных ............................................................... 540
Задание 1. Определение основных данных в базе данных
AdventureWorksDW2012 ............................................................................................ 540
Задание 2. Определение основных данных в пользовательской
рабочей системе .......................................................................................................... 541
Резюме занятия .................................................................................................................... 541
Закрепление материала........................................................................................................ 541
ЗАНЯТИЕ 2. Установка Master Data Services ........................................................................... 542
Структура служб Master Data Services ............................................................................... 542
Установка MDS .................................................................................................................... 544
ПРАКТИКУМ. Установка служб Data Quality Services .................................................... 546
Задание 1. Выполнение предустановочных задач .................................................... 546
Задание 2. Выполнение операций установки MDS .................................................. 548
Задание 3. Выполнение послеустановочных задач MDS ........................................ 549
Резюме занятия .................................................................................................................... 554
Закрепление материала........................................................................................................ 554
ЗАНЯТИЕ 3. Создание модели Master Data Services ................................................................ 555
Модели MDS и объекты в моделях .................................................................................... 555
Объекты MDS....................................................................................................................... 556
ПРАКТИКУМ. Создание модели MDS ............................................................................. 560
Задание 1. Создание модели и базовых объектов .................................................... 560
Задание 2. Заполнение сущностей ............................................................................. 564
Резюме занятия .................................................................................................................... 566
Закрепление материала........................................................................................................ 567
УПРАЖНЕНИЯ ........................................................................................................................... 568
Упражнение 1. Ввод в действие решения MDM ............................................................... 568
Упражнение 2. Расширение пилотного проекта ............................................................... 568
Результаты опроса ...................................................................................................... 568
Вопросы ....................................................................................................................... 569
Рекомендуемые упражнения ............................................................................................... 569
Анализ базы данных AdventureWorksDW2012 ........................................................ 569
Расширение модели MDS .......................................................................................... 569
Глава 16. Управление основными данными ......................................................... 570
ЗАНЯТИЕ 1. Импорт и экспорт основных данных .................................................................. 571
Создание и развертывание пакетов MDS .......................................................................... 571
Импорт пакетов данных ...................................................................................................... 572
Экспорт данных ................................................................................................................... 574
XVIII Оглавление
ПРАКТИКУМ. Импорт и экспорт основных данных ....................................................... 575
Задание 1. Создание пакета развертывания модели и развертывание пакета ....... 575
Задание 2. Импорт данных и создание представлений подписки ........................... 577
Резюме занятия .................................................................................................................... 580
Закрепление материала........................................................................................................ 580
ЗАНЯТИЕ 2. Установка системы безопасности основных данных ........................................ 581
Пользователи и разрешения ................................................................................................ 581
Перекрывающиеся разрешения .......................................................................................... 584
ПРАКТИКУМ. Установка системы безопасности MDS .................................................. 585
Задание 1. Назначение разрешений ........................................................................... 585
Задание 2. Тестирование разрешений ....................................................................... 588
Резюме занятия .................................................................................................................... 589
Закрепление материала........................................................................................................ 589
ЗАНЯТИЕ 3. Использование надстройки Master Data Services для Excel .............................. 590
Редактирование данных MDS в Excel ................................................................................ 590
Создание объектов MDS в Excel ........................................................................................ 592
ПРАКТИКУМ. Применение надстройки MDS для Excel ................................................ 594
Задание 1. Загрузка данных MDS в программу Excel .............................................. 594
Задание 2. Изменение данных MDS в программе Excel .......................................... 595
Резюме занятия .................................................................................................................... 597
Закрепление материала........................................................................................................ 597
УПРАЖНЕНИЯ ........................................................................................................................... 598
Упражнение. Редактирование пакетов данных MDS ........................................................ 598
Рекомендуемые упражнения ............................................................................................... 598
Анализ промежуточных таблиц ................................................................................. 599
Проверка безопасности .............................................................................................. 599
Глава 17. Создание проекта качества данных для очистки данных ................ 600
ЗАНЯТИЕ 1. Создание и обслуживание базы знаний .............................................................. 600
Построение базы знаний DQS ............................................................................................ 601
Управление доменом ........................................................................................................... 602
ПРАКТИКУМ. Создание базы знаний ............................................................................... 604
Задание 1. Применение обнаружения знаний........................................................... 604
Задание 2. Редактирование доменов ......................................................................... 607
Резюме занятия .................................................................................................................... 609
Закрепление материала........................................................................................................ 609
ЗАНЯТИЕ 2. Создание проекта качества данных ..................................................................... 609
Проекты DQS ....................................................................................................................... 610
Очистка данных ................................................................................................................... 611
ПРАКТИКУМ. Создание проекта DQS ............................................................................. 613
Задание 1. Создание представления для очистки ..................................................... 613
Задание 2. Очистка данных с помощью проекта DQS............................................. 614
Резюме занятия .................................................................................................................... 617
Закрепление материала........................................................................................................ 617
ЗАНЯТИЕ 3. Профилирование данных и повышение качества данных ................................. 618
Применение запросов для профилирования данных ........................................................ 618
Задача SSIS Data Profiling Task .......................................................................................... 621
ПРАКТИКУМ. Применение задачи SSIS Data Profiling Task ......................................... 622
Задание 1. Анализ представления TK463CustomersDirty ........................................ 622
Задание 2. Просмотр результатов профилирования ................................................ 624
Оглавление XIX
Резюме занятия .................................................................................................................... 624
Закрепление материала........................................................................................................ 624
УПРАЖНЕНИЯ ........................................................................................................................... 625
Упражнение. Повышение качества данных ....................................................................... 625
Рекомендуемые упражнения ............................................................................................... 625
Создание дополнительных базы знаний и проекта .................................................. 626
ЧАСТЬ VI. ДОПОЛНИТЕЛЬНЫЕ СВЕДЕНИЯ О SSIS
И DATA QUALITY ...................................................................................................... 627
Глава 18. Службы SSIS и интеллектуальный анализ данных ........................... 629
ЗАНЯТИЕ 1. Задача и преобразование интеллектуального анализа данных ......................... 630
Что такое интеллектуальный анализ данных? ................................................................... 630
Алгоритмы интеллектуального анализа в службах SSAS ................................................ 632
Применение прогнозов интеллектуального анализа данных в службах SSIS ................ 634
ПРАКТИКУМ. Применение прогнозов интеллектуального анализа данных
в службах SSIS ..................................................................................................................... 635
Задание 1. Создание модели на основе дерева принятия решений ........................ 635
Задание 2. Применение модели интеллектуального анализа
в потоке данных SSIS ................................................................................................. 639
Резюме занятия .................................................................................................................... 643
Закрепление материала........................................................................................................ 643
ЗАНЯТИЕ 2. Интеллектуальный анализ текста ........................................................................ 644
Извлечение терминов .......................................................................................................... 644
Уточняющий запрос термина ............................................................................................. 645
ПРАКТИКУМ. Выполнение интеллектуального анализа текста .................................... 647
Задание 1. Применение преобразования Term Extraction ........................................ 647
Задание 2. Использование преобразования Term Lookup ....................................... 648
Резюме занятия .................................................................................................................... 651
Закрепление материала........................................................................................................ 651
ЗАНЯТИЕ 3. Подготовка данных для интеллектуального анализа ......................................... 652
Подготовка данных .............................................................................................................. 652
Выборки SSIS ....................................................................................................................... 654
ПРАКТИКУМ. Формирование случайной выборки ......................................................... 655
Задание 1. Создание обучающего и проверочного наборов ................................... 655
Задание 2. Тестирование разделения ........................................................................ 657
Резюме занятия .................................................................................................................... 658
Закрепление материала........................................................................................................ 658
УПРАЖНЕНИЯ ........................................................................................................................... 659
Упражнение. Подготовка данных для интеллектуального анализа ................................. 659
Рекомендуемые упражнения ............................................................................................... 659
Протестируйте преобразования Row Sampling и Conditional Split ......................... 659
Глава 19. Применение пользовательского кода в пакетах SSIS ........................ 660
ЗАНЯТИЕ 1. Задача Script Task .................................................................................................. 661
Настройка задачи Script Task .............................................................................................. 662
Написание кода для задачи Script Task .............................................................................. 663
ПРАКТИКУМ. Применение Script Task для чтения результатов задачи
профилирования данных ..................................................................................................... 664
Задание 1. Использование задачи Data Profiling ..................................................... 665
XX Оглавление
Задание 2. Применение задачи Script Task для обработки результатов
профилирования данных ............................................................................................ 666
Резюме занятия .................................................................................................................... 668
Закрепление материала........................................................................................................ 668
ЗАНЯТИЕ 2. Компонент Script Component ............................................................................... 669
Настройка компонента Script Component .......................................................................... 669
Кодирование компонента Script Component ...................................................................... 671
ПРАКТИКУМ. Использование результатов профилирования данных
для обработки строк потока данных .................................................................................. 673
Задание 1. Подготовка среды ..................................................................................... 673
Задание 2. Использование компонента Script Component ....................................... 674
Резюме занятия .................................................................................................................... 677
Закрепление материала........................................................................................................ 677
ЗАНЯТИЕ 3. Реализация пользовательских компонентов ....................................................... 677
Планирование пользовательского компонента ................................................................. 678
Разработка пользовательского компонента ....................................................................... 680
Время разработки и время выполнения ............................................................................. 681
Методы времени разработки ..................................................................................... 681
Методы времени выполнения .................................................................................... 683
ПРАКТИКУМ. Разработка, развертывание и применение пользовательского
компонента потока данных ................................................................................................. 687
Задание 1. Подготовка среды ..................................................................................... 687
Задание 2. Разработка пользовательского преобразования потока данных .......... 687
Задание 3. Развертывание пользовательского компонента потока данных ........... 689
Задание 4. Настройка и применение пользовательского компонента потока
данных ......................................................................................................................... 690
Резюме занятия .................................................................................................................... 692
Закрепление материала........................................................................................................ 692
УПРАЖНЕНИЯ ........................................................................................................................... 693
Упражнение. Очистка данных ............................................................................................ 693
Рекомендуемые упражнения ............................................................................................... 693
Создайте источник Web-службы ............................................................................... 693
Глава 20. Сопоставление и устранение дублирования ........................................ 694
ЗАНЯТИЕ 1. Представление о проблеме .................................................................................. 695
Проблемы сопоставления и дедупликации ........................................................................ 695
Решение проблем ................................................................................................................. 697
ПРАКТИКУМ. Подготовка данных ................................................................................... 700
Задание 1. Подготовка чистых данных ..................................................................... 700
Задание 2. Подготовка грязных данных.................................................................... 701
Резюме занятия .................................................................................................................... 704
Закрепление материала........................................................................................................ 704
ЗАНЯТИЕ 2. Применение служб DQS и преобразования DQS Cleansing .............................. 705
Преобразование DQS Cleansing .......................................................................................... 705
Сопоставление DQS ............................................................................................................. 706
ПРАКТИКУМ. Использование преобразования DQS Cleansing
и сопоставления DQS .......................................................................................................... 707
Задание 1. Использование преобразования DQS Cleansing .................................... 708
Задание 2. Использование сопоставления DQS ....................................................... 712
Оглавление XXI
Резюме занятия .................................................................................................................... 715
Закрепление материала........................................................................................................ 715
ЗАНЯТИЕ 3. Использование нечетких преобразований SSIS ................................................. 716
Алгоритм нечетких преобразований .................................................................................. 717
Версии нечетких преобразований ...................................................................................... 718
ПРАКТИКУМ. Использование SSIS-преобразования Fuzzy Lookup
и надстройки MDS для Excel вместе с базой знаний DQS для сопоставления ............... 720
Задание 1. Применение Fuzzy Lookup ....................................................................... 720
Задание 2. Использование надстройки MDS для Excel и сопоставления DQS ..... 724
Резюме занятия .................................................................................................................... 725
Закрепление материала........................................................................................................ 725
УПРАЖНЕНИЯ ........................................................................................................................... 726
Упражнение. Повышение качества данных ....................................................................... 726
Рекомендуемые упражнения ............................................................................................... 726
Дополнительно исследуйте сопоставление .............................................................. 726
ОТВЕТЫ ....................................................................................................................... 729
Глава 1 .......................................................................................................................................... 729
Занятие 1. Закрепление материала ..................................................................................... 729
Занятие 2. Закрепление материала ..................................................................................... 730
Занятие 3. Закрепление материала ..................................................................................... 730
Упражнения .......................................................................................................................... 731
Упражнение 1. Краткосрочный пробный проект ..................................................... 731
Упражнение 2. Расширение краткосрочного пробного проекта ............................ 731
Глава 2 .......................................................................................................................................... 732
Занятие 1. Закрепление материала ..................................................................................... 732
Занятие 2. Закрепление материала ..................................................................................... 732
Занятие 3. Закрепление материала ..................................................................................... 733
Упражнения .......................................................................................................................... 734
Упражнение 1. Медленные отчеты хранилища данных .......................................... 734
Упражнение 2. Проблемы администрирования хранилища данных ...................... 734
Глава 3 .......................................................................................................................................... 735
Занятие 1. Закрепление материала ..................................................................................... 735
Занятие 2. Закрепление материала ..................................................................................... 736
Занятие 3. Закрепление материала ..................................................................................... 736
Упражнения .......................................................................................................................... 737
Упражнение 1. Копирование производственных данных в среду разработки ...... 737
Упражнение 2. Параметризация диспетчеров соединений ..................................... 738
Глава 4 .......................................................................................................................................... 738
Занятие 1. Закрепление материала ..................................................................................... 738
Занятие 2. Закрепление материала ..................................................................................... 739
Занятие 3. Закрепление материала ..................................................................................... 740
Упражнения .......................................................................................................................... 741
Упражнение 1. Разработка процесса очистки .......................................................... 741
Упражнение 2. Интеграция внешних процессов ...................................................... 741
Глава 5 .......................................................................................................................................... 742
Занятие 1. Закрепление материала ..................................................................................... 742
Занятие 2. Закрепление материала ..................................................................................... 743
Занятие 3. Закрепление материала ..................................................................................... 743
Упражнение .......................................................................................................................... 744
XXII Оглавление
Глава 6 .......................................................................................................................................... 745
Занятие 1. Закрепление материала ..................................................................................... 745
Занятие 2. Закрепление материала ..................................................................................... 746
Занятие 3. Закрепление материала ..................................................................................... 747
Упражнения .......................................................................................................................... 747
Упражнение 1 .............................................................................................................. 747
Упражнение 2 .............................................................................................................. 748
Глава 7 .......................................................................................................................................... 749
Занятие 1. Закрепление материала ..................................................................................... 749
Занятие 2. Закрепление материала ..................................................................................... 749
Занятие 3. Закрепление материала ..................................................................................... 750
Упражнение .......................................................................................................................... 751
Глава 8 .......................................................................................................................................... 751
Занятие 1. Закрепление материала ..................................................................................... 751
Занятие 2. Закрепление материала ..................................................................................... 752
Занятие 3. Закрепление материала ..................................................................................... 753
Упражнение. Аудит и уведомления в пакетах служб SSIS .............................................. 753
Глава 9 .......................................................................................................................................... 754
Занятие 1. Закрепление материала ..................................................................................... 754
Занятие 2. Закрепление материала ..................................................................................... 755
Упражнение. Превращение пакетов SSIS в динамические .............................................. 756
Глава 10 ........................................................................................................................................ 756
Занятие 1. Закрепление материала ..................................................................................... 756
Занятие 2. Закрепление материала ..................................................................................... 757
Занятие 3. Закрепление материала ..................................................................................... 758
Упражнения .......................................................................................................................... 759
Упражнение 1. Реализация ведения журналов SSIS на нескольких уровнях
иерархии объектов служб SSIS .................................................................................. 759
Упражнение 2. Реализация аудита SSIS на разных уровнях иерархии
объектов служб SSIS .................................................................................................. 759
Глава 11 ........................................................................................................................................ 760
Занятие 1. Закрепление материала ..................................................................................... 760
Занятие 2. Закрепление материала ..................................................................................... 761
Упражнения .......................................................................................................................... 762
Упражнение 1. Применение строго структурированных развертываний .............. 762
Упражнение 2. Установка сервера SSIS ................................................................... 762
Глава 12 ........................................................................................................................................ 762
Занятие 1. Закрепление материала ..................................................................................... 762
Занятие 2. Закрепление материала ..................................................................................... 763
Упражнения .......................................................................................................................... 764
Упражнение 1. Развертывание пакетов SSIS в нескольких средах ........................ 764
Упражнение 2. Удаленные выполнения ................................................................... 764
Глава 13 ........................................................................................................................................ 765
Занятие 1. Закрепление материала ..................................................................................... 765
Занятие 2. Закрепление материала ..................................................................................... 766
Упражнение. Настройка пакета SSIS ................................................................................. 766
Глава 14 ........................................................................................................................................ 767
Занятие 1. Закрепление материала ..................................................................................... 767
Оглавление XXIII
Занятие 2. Закрепление материала ..................................................................................... 768
Занятие 3. Закрепление материала ..................................................................................... 768
Упражнение. Неиспользуемое хранилище данных ........................................................... 769
Глава 15 ........................................................................................................................................ 769
Занятие 1. Закрепление материала ..................................................................................... 769
Занятие 2. Закрепление материала ..................................................................................... 770
Занятие 3. Закрепление материала ..................................................................................... 771
Упражнения .......................................................................................................................... 772
Упражнение 1. Ввод в действие решения MDM ...................................................... 772
Упражнение 2. Расширение пилотного проекта ...................................................... 772
Глава 16 ........................................................................................................................................ 772
Занятие 1. Закрепление материала ..................................................................................... 772
Занятие 2. Закрепление материала ..................................................................................... 773
Занятие 3. Закрепление материала ..................................................................................... 774
Упражнение. Редактирование пакетов данных MDS ........................................................ 775
Глава 17 ........................................................................................................................................ 775
Занятие 1. Закрепление материала ..................................................................................... 775
Занятие 2. Закрепление материала ..................................................................................... 776
Занятие 3. Закрепление материала ..................................................................................... 776
Упражнение. Повышение качества данных ....................................................................... 777
Глава 18 ........................................................................................................................................ 777
Занятие 1. Закрепление материала ..................................................................................... 777
Занятие 2. Закрепление материала ..................................................................................... 778
Занятие 3. Закрепление материала ..................................................................................... 779
Упражнение. Подготовка данных для интеллектуального анализа ................................. 780
Глава 19 ........................................................................................................................................ 780
Занятие 1. Закрепление материала ..................................................................................... 780
Занятие 2. Закрепление материала ..................................................................................... 781
Занятие 3. Закрепление материала ..................................................................................... 781
Упражнение. Очистка данных ............................................................................................ 782
Глава 20 ........................................................................................................................................ 783
Занятие 1. Закрепление материала ..................................................................................... 783
Занятие 2. Закрепление материала ..................................................................................... 784
Занятие 3. Закрепление материала ..................................................................................... 784
Упражнение. Повышение качества данных ....................................................................... 785
Предметный указатель .............................................................................................. 786
Об авторах .................................................................................................................... 792
Учебный курс 70-463. Реализация хранилищ данных
с помощью Microsoft SQL Server 2012 ........................................................................ 1
Введение ............................................................................................................................ 3
Системные требования .................................................................................................................... 4
Требования к SQL Server и другому программному обеспечению ..................................... 4
Требования к оборудованию и операционной системе ........................................................ 5
Требования к данным .............................................................................................................. 5
О прилагаемом компакт-диске ....................................................................................................... 5
Установка заданий пробного экзамена .................................................................................. 6
Использование пробного экзамена......................................................................................... 6
Удаление ПО пробного экзамена ........................................................................................... 7
Благодарности .................................................................................................................................. 7
Техническая поддержка и обратная связь ..................................................................................... 7
Ошибки и опечатки .................................................................................................................. 8
Нас интересует ваше мнение .................................................................................................. 8
Оставайтесь на связи ............................................................................................................... 8
Подготовка к экзамену .................................................................................................................... 8
ЧАСТЬ I. РАЗРАБОТКА И РЕАЛИЗАЦИЯ ХРАНИЛИЩА ДАННЫХ .............. 9
Глава 1. Логическое проектирование хранилища данных ................................... 11
ЗАНЯТИЕ 1. Знакомство со схемами "звезда" и "снежинка" .................................................... 12
Проблемы формирования отчетов в нормализованной модели ........................................ 13
Схема "звезда" ........................................................................................................................ 15
Схема "снежинка" .................................................................................................................. 18
Степень гранулярности ......................................................................................................... 20
Аудит, происхождение и преобразования данных .............................................................. 21
ПРАКТИКУМ. Схема интернет-продаж из базы данных AdventureWorksDW2012 ....... 22
Задание 1. Изучение схемы базы данных AdventureWorksDW2012 ........................ 22
Задание 2. Анализ диаграммы ..................................................................................... 23
Резюме занятия ...................................................................................................................... 23
Закрепление материала.......................................................................................................... 24
VI Оглавление
ЗАНЯТИЕ 2. Проектирование измерений ................................................................................... 24
Типы столбцов в измерениях ................................................................................................ 25
Иерархии................................................................................................................................. 26
Медленно меняющиеся измерения....................................................................................... 28
ПРАКТИКУМ. Изучение измерений из базы данных AdventureWorksDW2012 ............. 31
Задание 1. Исследование измерений AdventureWorksDW2012 ................................ 32
Задание 2. Дальнейший анализ диаграммы ................................................................ 33
Резюме занятия ...................................................................................................................... 34
Закрепление материала.......................................................................................................... 34
ЗАНЯТИЕ 3. Разработка таблиц фактов ...................................................................................... 35
Типы столбцов в таблицах фактов ....................................................................................... 35
Аддитивность мер .................................................................................................................. 37
Аддитивность мер в SSAS ..................................................................................................... 38
Отношения "многие-ко-многим" .......................................................................................... 39
ПРАКТИКУМ. Изучение таблиц фактов из базы данных AdventureWorksDW2012 ....... 40
Задание 1. Создание диаграммы для таблицы фактов
из AdventureWorksDW2012.......................................................................................... 41
Задание 2. Анализ столбцов таблицы фактов ............................................................. 41
Резюме занятия ...................................................................................................................... 42
Закрепление материала.......................................................................................................... 42
УПРАЖНЕНИЯ ............................................................................................................................. 43
Упражнение 1. Краткосрочный пробный проект ................................................................ 43
Упражнение 2. Расширение краткосрочного пробного проекта ....................................... 43
Результаты опроса ........................................................................................................ 43
Вопросы ......................................................................................................................... 43
Рекомендуемые упражнения ................................................................................................. 43
Тщательно изучите базу данных AdventureWorksDW2012 ....................................... 44
Найдите SCD и сведения о жизненном пути данных в базе данных
AdventureWorksDW2012 .............................................................................................. 44
Глава 2. Реализация хранилища данных ................................................................. 45
ЗАНЯТИЕ 1. Реализация измерений и таблиц фактов ............................................................... 46
Создание базы данных хранилища ....................................................................................... 46
Реализация измерений ........................................................................................................... 49
Реализация таблиц фактов .................................................................................................... 51
ПРАКТИКУМ. Реализация таблиц измерений и фактов .................................................... 52
Задание 1. Создание базы данных хранилища данных и последовательности........ 52
Задание 2. Создание измерений ................................................................................... 53
Задание 3. Создание таблицы фактов.......................................................................... 57
Резюме занятия ...................................................................................................................... 58
Закрепление материала.......................................................................................................... 59
ЗАНЯТИЕ 2. Управление производительностью хранилища данных ...................................... 60
Индексирование измерений и таблиц фактов ..................................................................... 60
Индексированные представления ......................................................................................... 63
Правильные приемы написания запроса.............................................................................. 65
Сжатие данных ....................................................................................................................... 66
Индексы columnstore и пакетная обработка ........................................................................ 67
ПРАКТИКУМ. Загрузка данных, применение сжатия данных и индексы columnstore ...... 70
Задание 1. Загрузка вашего хранилища данных ......................................................... 70
Задание 2. Применение сжатия данных и создание индекса columnstore ................ 74
Оглавление VII
Резюме занятия ...................................................................................................................... 75
Закрепление материала.......................................................................................................... 75
ЗАНЯТИЕ 3. Загрузка и аудит загрузок ...................................................................................... 76
Применение секций ............................................................................................................... 76
Жизненный путь данных ....................................................................................................... 79
ПРАКТИКУМ. Секционирование таблицы ......................................................................... 80
Задание 1. Подготовка таблицы фактов к секционированию ................................... 80
Задание 2. Загрузка данных с минимальным протоколированием
в секционированную таблицу ...................................................................................... 82
Резюме занятия ...................................................................................................................... 84
Закрепление материала.......................................................................................................... 84
УПРАЖНЕНИЯ ............................................................................................................................. 85
Упражнение 1. Медленные отчеты хранилища данных ..................................................... 85
Упражнение 2. Проблемы администрирования хранилища данных ................................. 85
Рекомендуемые упражнения ................................................................................................. 86
Протестируйте разные методы индексирования ........................................................ 86
Протестируйте секционирование таблицы ................................................................. 86
ЧАСТЬ II. РАЗРАБОТКА ПАКЕТОВ SSIS .............................................................. 87
Глава 3. Создание пакетов SSIS ................................................................................. 89
ЗАНЯТИЕ 1. Применение SQL Server Import and Export Wizard .............................................. 91
Планирование простого перемещения данных ................................................................... 91
ПРАКТИКУМ. Простое перемещение данных ................................................................... 92
Задание 1. Извлечение данных из представления и загрузка их в таблицу ............. 93
Задание 2. Просмотр файлов пакета SSIS................................................................. 100
Резюме занятия .................................................................................................................... 100
Закрепление материала........................................................................................................ 101
ЗАНЯТИЕ 2. Разработка пакетов SSIS в SSDT ......................................................................... 102
Введение в SSDT ................................................................................................................. 103
ПРАКТИКУМ. Начало работы в SSDT ............................................................................. 104
Задание 1. Создание нового проекта SSIS ................................................................ 104
Задание 2. Изучение проектирования потока управления SSIS .............................. 106
Резюме занятия .................................................................................................................... 108
Закрепление материала........................................................................................................ 108
ЗАНЯТИЕ 3. Знакомство с потоком управления, потоком данных и диспетчерами
соединений ................................................................................................................................... 109
Введение в разработку SSIS ................................................................................................ 110
Знакомство с развертыванием проекта SSIS ..................................................................... 111
ПРАКТИКУМ. Изменение имеющегося перемещения данных ...................................... 112
Задание 1. Вставка имеющегося пакета SSIS в проект SSIS ................................... 113
Задание 2. Редактирование пакета SSIS, созданного мастером SQL Server
Import and Export Wizard ............................................................................................ 114
Задание 3. Настройка соединений и запуск пакета SSIS в режиме отладки .......... 120
Резюме занятия .................................................................................................................... 123
Закрепление материала........................................................................................................ 123
УПРАЖНЕНИЯ ........................................................................................................................... 124
Упражнение 1. Копирование производственных данных в среду разработки ............... 124
Упражнение 2. Параметризация диспетчеров соединений .............................................. 125
VIII Оглавление
Рекомендуемые упражнения ............................................................................................... 125
Применяйте правильные средства ............................................................................. 125
Выявление и учет отличий между рабочей средой и средой разработки .............. 125
Глава 4. Проектирование и реализация потока управления ............................. 127
ЗАНЯТИЕ 1. Диспетчеры соединений....................................................................................... 129
Область видимости диспетчеров соединений ................................................................... 132
32- и 64-разрядные поставщики данных ............................................................................ 133
Параметризация ................................................................................................................... 133
ПРАКТИКУМ. Создание диспетчера соединений ............................................................ 134
Задание 1. Создание и настройка диспетчера соединений Flat File ....................... 134
Задание 2. Создание и настройка диспетчера соединений OLE DB....................... 136
Резюме занятия .................................................................................................................... 140
Закрепление материала........................................................................................................ 140
ЗАНЯТИЕ 2. Задачи потока управления и контейнеры ........................................................... 141
Планирование сложного перемещения данных ................................................................ 141
Задачи ................................................................................................................................... 143
Задачи подготовки данных......................................................................................... 144
Задачи рабочего процесса .......................................................................................... 144
Задачи перемещения данных ..................................................................................... 146
Задачи администрирования SQL Server .................................................................... 147
Задачи обслуживания SQL Server .............................................................................. 148
Задачи служб Analysis Services .................................................................................. 149
Задача Script Task ........................................................................................................ 150
Пользовательские задачи ........................................................................................... 151
Контейнеры .......................................................................................................................... 151
ПРАКТИКУМ. Определение потока управления ............................................................. 153
Задание 1. Применение пакета SSIS для обработки файлов ................................... 153
Задание 2. Динамическое присваивание значений свойствам ................................ 156
Задание 3. Подготовка и проверка выполнения пакета SSIS .................................. 158
Резюме занятия .................................................................................................................... 159
Закрепление материала........................................................................................................ 159
ЗАНЯТИЕ 3. Элементы управления очередностью .................................................................. 161
ПРАКТИКУМ. Определение элементов управления очередностью............................... 163
Задание 1. Применение элементов управления очередностью ............................... 163
Задание 2. Перенаправление выполнения задач с помощью элементов
управления очередностью со значением failure ....................................................... 164
Резюме занятия .................................................................................................................... 166
Закрепление материала........................................................................................................ 166
УПРАЖНЕНИЯ ........................................................................................................................... 167
Упражнение 1. Разработка процесса очистки ................................................................... 167
Упражнение 2. Интеграция внешних процессов ............................................................... 168
Рекомендуемые упражнения ............................................................................................... 168
Полное решение управления данными ..................................................................... 168
Глава 5. Проектирование и реализация потока данных ..................................... 170
ЗАНЯТИЕ 1. Определение источников данных и мест назначения ........................................ 170
Создание задачи потока данных ......................................................................................... 171
Оглавление IX
Определение адаптеров источников потока данных ........................................................ 173
Добавление адаптера источника потока данных с помощью Source Assistant ...... 174
Настройка адаптера источника потока данных ........................................................ 175
Определение адаптеров назначения потока данных ......................................................... 176
Настройка адаптера назначения потока данных ...................................................... 178
Типы данных служб SSIS .................................................................................................... 180
Использование быстрого синтаксического анализа ......................................................... 182
ПРАКТИКУМ. Создание простых потоков данных ......................................................... 183
Задание 1. Создание потока данных для размещения таблицы Person.Person ...... 183
Задание 2. Применение адаптера источника ODBC
для размещения таблицы Sales.Customer .................................................................. 185
Задание 3. Импорт данных из неструктурированных файлов ................................. 187
Резюме занятия .................................................................................................................... 191
Закрепление материала........................................................................................................ 191
ЗАНЯТИЕ 2. Работа с преобразованиями потока данных ....................................................... 192
Выбор преобразований ........................................................................................................ 192
Преобразования уровня строки ................................................................................. 193
Преобразования с несколькими входами и выходами ............................................. 194
Преобразования набора строк ................................................................................... 196
Дополнительные преобразования для подготовки данных ..................................... 198
Применение преобразований .............................................................................................. 199
Разрешение ссылок на столбцы ................................................................................. 201
ПРАКТИКУМ. Применение преобразования потока данных ......................................... 202
Задание 1. Подготовка таблицы измерений dbo.Customers к загрузке
в хранилище данных ................................................................................................... 202
Задание 2. Загрузка таблицы измерений dbo.Customers в хранилище данных ...... 205
Резюме занятия .................................................................................................................... 209
Закрепление материала........................................................................................................ 209
ЗАНЯТИЕ 3. Выбор подходящих стратегии ETL и инструментов ......................................... 210
Стратегия ETL ...................................................................................................................... 211
Архитектура ETL ........................................................................................................ 211
Преобразование Lookup ...................................................................................................... 212
Применение преобразования Lookup ........................................................................ 212
Применение преобразования Cache Transform с преобразованием Lookup .......... 216
Сортировка данных.............................................................................................................. 218
Обновления на основе наборов .......................................................................................... 219
ПРАКТИКУМ. Усовершенствование преобразований потока данных .......................... 220
Задание 1. Соединение и сортировка таблиц в промежуточной области .............. 221
Задание 2. Создание эффективных уточняющих запросов ..................................... 222
Задание 3. Обновление таблицы измерений Customer ............................................ 223
Резюме занятия .................................................................................................................... 225
Закрепление материала........................................................................................................ 225
УПРАЖНЕНИЯ ........................................................................................................................... 226
Упражнение. Система с новым источником...................................................................... 226
Рекомендуемые упражнения ............................................................................................... 227
Создайте и загрузите дополнительные таблицы ...................................................... 227
X Оглавление
ЧАСТЬ III. УСОВЕРШЕНСТВОВАНИЕ ПАКЕТОВ SSIS ................................ 229
Глава 6. Усовершенствование потока управления .............................................. 231
ЗАНЯТИЕ 1. Переменные SSIS .................................................................................................. 233
Системные и пользовательские переменные ..................................................................... 234
Типы данных переменных .................................................................................................. 236
Область действия переменных ........................................................................................... 240
Параметризация свойств ..................................................................................................... 242
ПРАКТИКУМ. Создание пользовательской переменной и параметризация задачи ..... 243
Задание 1. Подготовка среды ..................................................................................... 243
Задание 2. Создание пользовательских переменных ............................................... 243
Задание 3. Параметризация задач потока управления с помощью переменных ...... 244
Резюме занятия .................................................................................................................... 244
Закрепление материала........................................................................................................ 244
ЗАНЯТИЕ 2. Диспетчеры соединений, задачи и выражения элементов управления
очередностью ............................................................................................................................... 246
Выражения ........................................................................................................................... 247
Выражения свойств ............................................................................................................. 250
Выражения в элементах управления очередностью ......................................................... 251
ПРАКТИКУМ. Использование выражений для параметризации объектов
служб SSIS ............................................................................................................................ 253
Задание 1. Использование выражения для присваивания значения переменной .. 253
Задание 2. Применение выражений для управления поведением потока данных 254
Резюме занятия .................................................................................................................... 256
Закрепление материала........................................................................................................ 256
ЗАНЯТИЕ 3. Применение главного пакета в усовершенствованном потоке управления .... 257
Разделение рабочих нагрузок, целей и задач..................................................................... 260
Согласование рабочей нагрузки и конфигурации ............................................................. 260
Задача Execute Package Task ............................................................................................... 262
Задача Execute SQL Server Agent Job Task ......................................................................... 262
Задача Execute Process Task ................................................................................................ 263
ПРАКТИКУМ. Создание и настройка главного пакета ................................................... 263
Задание 1. Подготовка среды ..................................................................................... 264
Задание 2. Создание главного пакета ........................................................................ 265
Задание 3. Настройка главного пакета ...................................................................... 267
Резюме занятия .................................................................................................................... 268
Закрепление материала........................................................................................................ 269
УПРАЖНЕНИЯ ........................................................................................................................... 269
Упражнение 1. Полные решения ........................................................................................ 269
Упражнение 2. Выполнение, управляемое данными ........................................................ 270
Рекомендуемые упражнения ............................................................................................... 271
Проанализируйте варианты применения главного пакета ...................................... 271
Глава 7. Усовершенствование потока данных ...................................................... 272
ЗАНЯТИЕ 1. Медленно изменяющиеся измерения .................................................................. 273
Определение типов атрибутов ............................................................................................ 273
Выводимые элементы измерения ....................................................................................... 274
Применение задачи Slowly Changing Dimension ............................................................... 274
Эффективно обновляющиеся измерения ........................................................................... 279
Оглавление XI
Проверка изменений атрибутов .......................................................................................... 280
Алгоритм обновления на основе наборов данных ............................................................ 281
ПРАКТИКУМ. Реализация алгоритма обработки медленно изменяющегося
измерения ............................................................................................................................. 283
Задание 1. Загрузка измерения Customer с помощью преобразования Slowly
Changing Dimension..................................................................................................... 283
Задание 2. Модификация пакета для вставки процесса обновления
на основе наборов данных ......................................................................................... 285
Резюме занятия .................................................................................................................... 287
Закрепление материала........................................................................................................ 287
ЗАНЯТИЕ 2. Подготовка пакета к добавочной загрузке ......................................................... 288
Применение динамического SQL для чтения данных ...................................................... 289
Использование адаптера источника OLE DB ........................................................... 289
Использование адаптеров источника ODBC или ADO.NET ................................... 291
Реализация CDC с помощью служб SSIS .......................................................................... 293
Включение CDC в базе данных ................................................................................. 293
Компоненты CDC в службах SSIS............................................................................. 294
Стратегия ETL для поэтапной загрузки таблиц фактов ................................................... 297
ПРАКТИКУМ. Реализация механизма отслеживания измененных данных (CDC)
средствами SSIS ................................................................................................................... 297
Задание 1. Создание пакета начальной загрузки ...................................................... 298
Задание 2. Создание пакета добавочной загрузки ................................................... 301
Резюме занятия .................................................................................................................... 305
Закрепление материала........................................................................................................ 306
ЗАНЯТИЕ 3. Поток ошибок ....................................................................................................... 306
Применение потоков ошибок ............................................................................................. 307
ПРАКТИКУМ. Использование потока ошибок ................................................................ 309
Задание. Добавление путей потока ошибок ............................................................. 309
Резюме занятия .................................................................................................................... 311
Закрепление материала........................................................................................................ 311
УПРАЖНЕНИЯ ........................................................................................................................... 312
Упражнение. Загрузка больших таблиц измерений и фактов .......................................... 312
Рекомендуемые упражнения ............................................................................................... 312
Загрузка добавочных измерений ............................................................................... 312
Глава 8. Создание надежного перезапускаемого пакета ..................................... 313
ЗАНЯТИЕ 1. Транзакции пакета ................................................................................................ 314
Определение параметров транзакции пакета и задачи ..................................................... 314
Уровни изоляции транзакции ............................................................................................. 317
Транзакции, обрабатываемые вручную ............................................................................. 318
ПРАКТИКУМ. Реализация транзакций ............................................................................. 319
Задание. Включение поддержки транзакций и наблюдение за откатом
транзакции ................................................................................................................... 319
Резюме занятия .................................................................................................................... 321
Закрепление материала........................................................................................................ 321
ЗАНЯТИЕ 2. Контрольные точки .............................................................................................. 322
Создание контрольных точек для перезапуска пакета ..................................................... 322
ПРАКТИКУМ. Установка и просмотр контрольных точек в пакете .............................. 325
Задание. Просмотр контрольных точек .................................................................... 325
XII Оглавление
Резюме занятия .................................................................................................................... 326
Закрепление материала........................................................................................................ 327
ЗАНЯТИЕ 3. Обработчики событий .......................................................................................... 327
Применение обработчиков событий .................................................................................. 328
ПРАКТИКУМ. Создание обработчиков событий ............................................................. 330
Задание. Применение обработчиков событий .......................................................... 330
Резюме занятия .................................................................................................................... 332
Закрепление материала........................................................................................................ 332
УПРАЖНЕНИЯ ........................................................................................................................... 333
Упражнение. Аудит и уведомления в пакетах служб SSIS .............................................. 333
Рекомендуемые упражнения ............................................................................................... 333
Применение транзакций и обработчиков событий .................................................. 334
Глава 9. Создание динамических пакетов ............................................................. 335
ЗАНЯТИЕ 1. Параметры и диспетчеры соединений уровней пакета и проекта .................... 336
Применение диспетчеров соединений уровня проекта .................................................... 336
Параметры ............................................................................................................................ 337
Использование параметров ........................................................................................ 338
Определение параметров ........................................................................................... 338
Конфигурации построения в службах SQL Server 2012 Integration Services .................. 340
Создание конфигураций построения......................................................................... 341
Применение конфигураций построения ................................................................... 342
Выражения свойств ............................................................................................................. 343
ПРАКТИКУМ. Применение параметров ........................................................................... 345
Задание 1. Задание параметра для строки соединения ............................................ 345
Задание 2. Использование параметра в задаче потока данных ............................... 346
Задание 3. Использование конфигураций построения ............................................ 347
Резюме занятия .................................................................................................................... 349
Закрепление материала........................................................................................................ 349
ЗАНЯТИЕ 2. Конфигурации пакета ........................................................................................... 350
Работа с конфигурациями пакета ....................................................................................... 350
Создание конфигурации ............................................................................................. 351
Создание XML-файла конфигурации ........................................................................ 353
Создание конфигурации SQL Server ......................................................................... 354
Вставка свойств в вашу конфигурацию .................................................................... 355
Совместное использование, упорядочивание и редактирование конфигураций ...... 356
ПРАКТИКУМ. Использование конфигураций пакета ..................................................... 357
Задание. Создание XML-файла конфигурации ........................................................ 357
Резюме занятия .................................................................................................................... 359
Закрепление материала........................................................................................................ 359
УПРАЖНЕНИЯ ........................................................................................................................... 359
Упражнение. Превращение пакетов SSIS в динамические .............................................. 360
Рекомендуемые упражнения ............................................................................................... 360
Использование параметра в добавочной загрузке таблицы фактов ....................... 360
Глава 10. Аудит и ведение журналов ...................................................................... 361
ЗАНЯТИЕ 1. Ведение журналов пакетов .................................................................................. 363
Регистраторы или поставщики журналов .......................................................................... 363
Выбор регистратора ................................................................................................... 364
Оглавление XIII
Настройка ведения журналов.............................................................................................. 366
Наследование настроек журнала ............................................................................... 368
Шаблоны настроек журналов .................................................................................... 368
ПРАКТИКУМ. Настройка ведения журналов SSIS .......................................................... 369
Задание 1. Подготовка среды ..................................................................................... 369
Задание 2. Настройка контейнера SSIS для ведения журнала событий ................. 369
Задание 3. Создание шаблона настроек журнала ..................................................... 372
Резюме занятия .................................................................................................................... 374
Закрепление материала........................................................................................................ 374
ЗАНЯТИЕ 2. Выполнение аудита и фиксация жизненного пути данных ............................... 375
Методы аудита ..................................................................................................................... 376
Компонент преобразований потока данных Row Count .......................................... 380
Компонент преобразований потока данных Aggregate ............................................ 380
Компонент преобразований потока данных Audit ................................................... 381
Корреляция данных аудита и журналов SSIS .................................................................... 381
Сохранение .................................................................................................................. 382
ПРАКТИКУМ. Реализация базового аудита ..................................................................... 383
Задание 1. Подготовка среды ..................................................................................... 383
Задание 2. Реализация аудита уровня строки
с помощью преобразования Audit ............................................................................. 383
Резюме занятия .................................................................................................................... 385
Закрепление материала........................................................................................................ 386
ЗАНЯТИЕ 3. Подготовка шаблонов пакета .............................................................................. 386
Шаблоны пакетов SSIS ........................................................................................................ 387
Создание шаблона пакета SSIS .................................................................................. 388
Применение шаблона пакета SSIS ............................................................................ 388
ПРАКТИКУМ. Создание и использование шаблона пакета SSIS ................................... 389
Задание 1. Создание шаблона пакета SSIS ............................................................... 389
Задание 2. Создание нового пакета SSIS с помощью шаблона пакета SSIS ......... 390
Резюме занятия .................................................................................................................... 391
Закрепление материала........................................................................................................ 391
УПРАЖНЕНИЯ ........................................................................................................................... 391
Упражнение 1. Реализация ведения журналов SSIS на нескольких уровнях иерархии
объектов служб SSIS............................................................................................................ 392
Упражнение 2. Реализация аудита SSIS на разных уровнях иерархии объектов
служб SSIS ............................................................................................................................ 392
Рекомендуемые упражнения ............................................................................................... 392
Вставка аудита в операцию обновления имеющейся задачи Execute SQL Task .... 393
Создание шаблона пакета SSIS в вашей собственной среде ................................... 393
ЧАСТЬ IV. УПРАВЛЕНИЕ И ОБСЛУЖИВАНИЕ ПАКЕТОВ SSIS ............... 395
Глава 11. Установка служб SSIS и развертывание пакетов ............................... 397
ЗАНЯТИЕ 1. Установка компонентов служб SSIS ................................................................... 399
Подготовка установки SSIS ................................................................................................ 400
Разработка или эксплуатация ..................................................................................... 400
Аппаратные и программные требования .................................................................. 401
Рекомендации по безопасности ................................................................................. 401
Сравнение 64- и 32-разрядных сред .......................................................................... 403
XIV Оглавление
Установка SSIS .................................................................................................................... 404
Обновление служб SSIS ............................................................................................. 405
Средства служб SSIS .................................................................................................. 406
ПРАКТИКУМ. Установка служб SSIS .............................................................................. 408
Задание 1. Установка служб SSIS на имеющийся экземпляр SQL Server.............. 408
Задание 2. Проверка установки служб SSIS ............................................................. 411
Резюме занятия .................................................................................................................... 412
Закрепление материала........................................................................................................ 413
ЗАНЯТИЕ 2. Развертывание пакетов SSIS ................................................................................ 413
Каталог SSISDB ................................................................................................................... 414
Настройка SSISDB ...................................................................................................... 415
Объекты SSISDB .................................................................................................................. 416
Папки ........................................................................................................................... 416
Проекты и пакеты ....................................................................................................... 417
Параметры ................................................................................................................... 417
Серверные среды, серверные переменные и ссылки на серверную среду ............ 417
Операции ..................................................................................................................... 418
Развертывание проекта ........................................................................................................ 418
ПРАКТИКУМ. Развертывание проектов SSIS .................................................................. 420
Задание 1. Создание и настройка SSISDB ................................................................ 420
Задание 2. Подготовка среды ..................................................................................... 422
Задание 3. Развертывание проекта SSIS в среде SSDT с помощью Deployment
Wizard .......................................................................................................................... 422
Задание 4. Развертывание проекта SSIS с использованием SQL Server
Management Studio ...................................................................................................... 424
Задание 5. Просмотр метаданных пакета SSIS в каталоге SSISDB ........................ 425
Резюме занятия .................................................................................................................... 425
Закрепление материала........................................................................................................ 426
УПРАЖНЕНИЯ ........................................................................................................................... 426
Упражнение 1. Применение строго структурированных развертываний ....................... 427
Упражнение 2. Установка сервера SSIS ............................................................................ 427
Рекомендуемые упражнения ............................................................................................... 427
Обновление имеющихся решений SSIS .................................................................... 427
Глава 12. Выполнение и безопасность пакетов ..................................................... 428
ЗАНЯТИЕ 1. Выполнение пакетов SSIS .................................................................................... 429
Выполнение SSIS по требованию ....................................................................................... 430
Среда SQL Server Management Studio ....................................................................... 430
DTExecUI ..................................................................................................................... 430
Transact-SQL, Windows PowerShell, SSIS Managed API и DTExec ......................... 431
Автоматическое выполнение SSIS ..................................................................................... 435
SQL Server Agent ......................................................................................................... 435
Мониторинг выполнения SSIS ........................................................................................... 438
Операции ..................................................................................................................... 438
Проверки...................................................................................................................... 439
Выполнения ................................................................................................................. 440
Ведение журналов ....................................................................................................... 441
Мониторинг SSIS в SQL Server Management Studio ................................................ 442
Оглавление XV
ПРАКТИКУМ. Запуск и мониторинг процессов SSIS ..................................................... 443
Задание 1. Проверка проектов и пакетов SSIS с помощью SSMS .......................... 444
Задание 2. Выполнение и мониторинг пакета SSIS в среде SSMS ......................... 446
Задание 3. Выполнение пакета SSIS с помощью DTExec ....................................... 447
Задание 4. Выполнение пакета SSIS с использованием Windows PowerShell ....... 448
Задание 5. Создание, настройка расписания и выполнение пакета SSIS
с помощью SQL Server Agent .................................................................................... 448
Резюме занятия .................................................................................................................... 452
Закрепление материала........................................................................................................ 453
ЗАНЯТИЕ 2. Безопасность пакетов SSIS .................................................................................. 453
Безопасность SSISDB .......................................................................................................... 454
Участники .................................................................................................................... 455
Защищаемые объекты ................................................................................................ 455
Разрешения .................................................................................................................. 455
ПРАКТИКУМ. Управление разрешениями SSISDB ........................................................ 457
Задание 1. Создание пользователей SSISDB ............................................................ 458
Задание 2. Создание и защита сред SSISDB ............................................................. 458
Задание 3. Настройка проекта SSISDB ..................................................................... 460
Задание 4. Управление разрешениями проекта SSIS и их проверка ...................... 462
Резюме занятия .................................................................................................................... 463
Закрепление материала........................................................................................................ 463
УПРАЖНЕНИЯ ........................................................................................................................... 464
Упражнение 1. Развертывание пакетов SSIS в нескольких средах ................................. 464
Упражнение 2. Удаленные выполнения............................................................................. 464
Рекомендуемые упражнения ............................................................................................... 465
Расширение возможности многократного использования решения SSIS ............. 465
Глава 13. Устранение неисправностей и настройка производительности ...... 466
ЗАНЯТИЕ 1. Обнаружение и устранение проблем при выполнении пакетов ....................... 467
Устранение неполадок времени разработки ...................................................................... 467
Отладка потока управления с помощью точек останова ......................................... 469
Применение средств просмотра данных в потоке данных ...................................... 471
Применение других методов для отладки ................................................................ 473
Устранение неисправностей в процессе эксплуатации .................................................... 474
Устранение неисправностей с помощью каталога SSISDB .................................... 474
Использование отводов данных ................................................................................ 476
ПРАКТИКУМ. Устранение неисправностей пакетов ...................................................... 477
Задание 1. Исправление ошибки усечения ............................................................... 477
Задание 2. Вставка отвода данных ............................................................................ 478
Резюме занятия .................................................................................................................... 479
Закрепление материала........................................................................................................ 480
ЗАНЯТИЕ 2. Настройка производительности .......................................................................... 480
Подсистема обработки потока данных SSIS ..................................................................... 481
Структура буфера данных .......................................................................................... 481
Типы преобразований ................................................................................................. 481
Деревья выполнения ................................................................................................... 482
Механизм замедленной обратной реакции ............................................................... 483
Варианты настройки потока данных .................................................................................. 483
Оптимизация буфера .................................................................................................. 484
Рекомендации по повышению производительности потока данных ..................... 485
XVI Оглавление
Параллельное выполнение в службах SSIS ....................................................................... 486
Устранение неисправностей и контрольное тестирование производительности ........... 487
Применение каталога SSISDB для контрольного тестирования
производительности пакета ....................................................................................... 487
Мониторинг производительности SSIS с помощью счетчиков
производительности ................................................................................................... 489
ПРАКТИКУМ. Отслеживание выполнения пакета .......................................................... 489
Задание 1. Отображение дерева выполнения ........................................................... 490
Задание 2. Отслеживание выполнения пакета .......................................................... 490
Резюме занятия .................................................................................................................... 492
Закрепление материала........................................................................................................ 492
УПРАЖНЕНИЯ ........................................................................................................................... 492
Упражнение. Настройка пакета SSIS ................................................................................. 493
Рекомендуемые упражнения ............................................................................................... 493
Изучите, как следует представления каталога SSISDB ........................................... 493
ЧАСТЬ V. ПОСТРОЕНИЕ РЕШЕНИЙ DATA QUALITY .................................. 495
Глава 14. Установка и поддержка Data Quality Services ..................................... 497
ЗАНЯТИЕ 1. Проблемы качества данных и роли ..................................................................... 498
Показатели качества данных ............................................................................................... 499
Полнота ........................................................................................................................ 499
Корректность ............................................................................................................... 500
Информативность ....................................................................................................... 501
Непротиворечивость ................................................................................................... 501
Косвенные показатели ................................................................................................ 501
Показатели качества схемы данных .......................................................................... 502
Действия по обеспечению качества данных и роли .......................................................... 503
ПРАКТИКУМ. Поиск проблем качества данных ............................................................. 507
Задание 1. Поиск проблем качества данных в AdventureWorksDW2012 ............... 507
Задание 2. Обзор потенциальных проблем качества данных в рабочей системе ..... 508
Резюме занятия .................................................................................................................... 508
Закрепление материала........................................................................................................ 508
ЗАНЯТИЕ 2. Установка служб Data Quality Services ............................................................... 509
Структура служб DQS ......................................................................................................... 509
Установка DQS ........................................................................................................... 511
ПРАКТИКУМ. Установка служб Data Quality Services .................................................... 513
Задание 1. Запуск SQL Server Setup .......................................................................... 513
Задание 2. Выполнение послеустановочных задач DQS ......................................... 515
Резюме занятия .................................................................................................................... 517
Закрепление материала........................................................................................................ 517
ЗАНЯТИЕ 3. Поддержка и безопасность Data Quality Services ............................................... 518
Выполнение административных операций с помощью Data Quality Client .................... 518
Выполнение административных операций с помощью других средств ......................... 523
ПРАКТИКУМ. Мониторинг операций DQS ..................................................................... 524
Задание 1. Создание вашего первого проекта DQS ................................................. 524
Задание 2. Мониторинг операций DQS .................................................................... 527
Резюме занятия .................................................................................................................... 528
Закрепление материала........................................................................................................ 528
Оглавление XVII
УПРАЖНЕНИЯ ........................................................................................................................... 529
Упражнение. Неиспользуемое хранилище данных ........................................................... 529
Упражнения для самостоятельной работы ........................................................................ 529
Анализ базы данных AdventureWorksDW2012 ........................................................ 529
Знакомство со средствами профилирования данных .............................................. 530
Глава 15. Реализация Master Data Services ............................................................ 531
ЗАНЯТИЕ 1. Определение основных данных ........................................................................... 531
Что такое основные данные? .............................................................................................. 532
Управление основными данными....................................................................................... 535
Трудности MDM .................................................................................................................. 539
ПРАКТИКУМ. Определение основных данных ............................................................... 540
Задание 1. Определение основных данных в базе данных
AdventureWorksDW2012 ............................................................................................ 540
Задание 2. Определение основных данных в пользовательской
рабочей системе .......................................................................................................... 541
Резюме занятия .................................................................................................................... 541
Закрепление материала........................................................................................................ 541
ЗАНЯТИЕ 2. Установка Master Data Services ........................................................................... 542
Структура служб Master Data Services ............................................................................... 542
Установка MDS .................................................................................................................... 544
ПРАКТИКУМ. Установка служб Data Quality Services .................................................... 546
Задание 1. Выполнение предустановочных задач .................................................... 546
Задание 2. Выполнение операций установки MDS .................................................. 548
Задание 3. Выполнение послеустановочных задач MDS ........................................ 549
Резюме занятия .................................................................................................................... 554
Закрепление материала........................................................................................................ 554
ЗАНЯТИЕ 3. Создание модели Master Data Services ................................................................ 555
Модели MDS и объекты в моделях .................................................................................... 555
Объекты MDS....................................................................................................................... 556
ПРАКТИКУМ. Создание модели MDS ............................................................................. 560
Задание 1. Создание модели и базовых объектов .................................................... 560
Задание 2. Заполнение сущностей ............................................................................. 564
Резюме занятия .................................................................................................................... 566
Закрепление материала........................................................................................................ 567
УПРАЖНЕНИЯ ........................................................................................................................... 568
Упражнение 1. Ввод в действие решения MDM ............................................................... 568
Упражнение 2. Расширение пилотного проекта ............................................................... 568
Результаты опроса ...................................................................................................... 568
Вопросы ....................................................................................................................... 569
Рекомендуемые упражнения ............................................................................................... 569
Анализ базы данных AdventureWorksDW2012 ........................................................ 569
Расширение модели MDS .......................................................................................... 569
Глава 16. Управление основными данными ......................................................... 570
ЗАНЯТИЕ 1. Импорт и экспорт основных данных .................................................................. 571
Создание и развертывание пакетов MDS .......................................................................... 571
Импорт пакетов данных ...................................................................................................... 572
Экспорт данных ................................................................................................................... 574
XVIII Оглавление
ПРАКТИКУМ. Импорт и экспорт основных данных ....................................................... 575
Задание 1. Создание пакета развертывания модели и развертывание пакета ....... 575
Задание 2. Импорт данных и создание представлений подписки ........................... 577
Резюме занятия .................................................................................................................... 580
Закрепление материала........................................................................................................ 580
ЗАНЯТИЕ 2. Установка системы безопасности основных данных ........................................ 581
Пользователи и разрешения ................................................................................................ 581
Перекрывающиеся разрешения .......................................................................................... 584
ПРАКТИКУМ. Установка системы безопасности MDS .................................................. 585
Задание 1. Назначение разрешений ........................................................................... 585
Задание 2. Тестирование разрешений ....................................................................... 588
Резюме занятия .................................................................................................................... 589
Закрепление материала........................................................................................................ 589
ЗАНЯТИЕ 3. Использование надстройки Master Data Services для Excel .............................. 590
Редактирование данных MDS в Excel ................................................................................ 590
Создание объектов MDS в Excel ........................................................................................ 592
ПРАКТИКУМ. Применение надстройки MDS для Excel ................................................ 594
Задание 1. Загрузка данных MDS в программу Excel .............................................. 594
Задание 2. Изменение данных MDS в программе Excel .......................................... 595
Резюме занятия .................................................................................................................... 597
Закрепление материала........................................................................................................ 597
УПРАЖНЕНИЯ ........................................................................................................................... 598
Упражнение. Редактирование пакетов данных MDS ........................................................ 598
Рекомендуемые упражнения ............................................................................................... 598
Анализ промежуточных таблиц ................................................................................. 599
Проверка безопасности .............................................................................................. 599
Глава 17. Создание проекта качества данных для очистки данных ................ 600
ЗАНЯТИЕ 1. Создание и обслуживание базы знаний .............................................................. 600
Построение базы знаний DQS ............................................................................................ 601
Управление доменом ........................................................................................................... 602
ПРАКТИКУМ. Создание базы знаний ............................................................................... 604
Задание 1. Применение обнаружения знаний........................................................... 604
Задание 2. Редактирование доменов ......................................................................... 607
Резюме занятия .................................................................................................................... 609
Закрепление материала........................................................................................................ 609
ЗАНЯТИЕ 2. Создание проекта качества данных ..................................................................... 609
Проекты DQS ....................................................................................................................... 610
Очистка данных ................................................................................................................... 611
ПРАКТИКУМ. Создание проекта DQS ............................................................................. 613
Задание 1. Создание представления для очистки ..................................................... 613
Задание 2. Очистка данных с помощью проекта DQS............................................. 614
Резюме занятия .................................................................................................................... 617
Закрепление материала........................................................................................................ 617
ЗАНЯТИЕ 3. Профилирование данных и повышение качества данных ................................. 618
Применение запросов для профилирования данных ........................................................ 618
Задача SSIS Data Profiling Task .......................................................................................... 621
ПРАКТИКУМ. Применение задачи SSIS Data Profiling Task ......................................... 622
Задание 1. Анализ представления TK463CustomersDirty ........................................ 622
Задание 2. Просмотр результатов профилирования ................................................ 624
Оглавление XIX
Резюме занятия .................................................................................................................... 624
Закрепление материала........................................................................................................ 624
УПРАЖНЕНИЯ ........................................................................................................................... 625
Упражнение. Повышение качества данных ....................................................................... 625
Рекомендуемые упражнения ............................................................................................... 625
Создание дополнительных базы знаний и проекта .................................................. 626
ЧАСТЬ VI. ДОПОЛНИТЕЛЬНЫЕ СВЕДЕНИЯ О SSIS
И DATA QUALITY ...................................................................................................... 627
Глава 18. Службы SSIS и интеллектуальный анализ данных ........................... 629
ЗАНЯТИЕ 1. Задача и преобразование интеллектуального анализа данных ......................... 630
Что такое интеллектуальный анализ данных? ................................................................... 630
Алгоритмы интеллектуального анализа в службах SSAS ................................................ 632
Применение прогнозов интеллектуального анализа данных в службах SSIS ................ 634
ПРАКТИКУМ. Применение прогнозов интеллектуального анализа данных
в службах SSIS ..................................................................................................................... 635
Задание 1. Создание модели на основе дерева принятия решений ........................ 635
Задание 2. Применение модели интеллектуального анализа
в потоке данных SSIS ................................................................................................. 639
Резюме занятия .................................................................................................................... 643
Закрепление материала........................................................................................................ 643
ЗАНЯТИЕ 2. Интеллектуальный анализ текста ........................................................................ 644
Извлечение терминов .......................................................................................................... 644
Уточняющий запрос термина ............................................................................................. 645
ПРАКТИКУМ. Выполнение интеллектуального анализа текста .................................... 647
Задание 1. Применение преобразования Term Extraction ........................................ 647
Задание 2. Использование преобразования Term Lookup ....................................... 648
Резюме занятия .................................................................................................................... 651
Закрепление материала........................................................................................................ 651
ЗАНЯТИЕ 3. Подготовка данных для интеллектуального анализа ......................................... 652
Подготовка данных .............................................................................................................. 652
Выборки SSIS ....................................................................................................................... 654
ПРАКТИКУМ. Формирование случайной выборки ......................................................... 655
Задание 1. Создание обучающего и проверочного наборов ................................... 655
Задание 2. Тестирование разделения ........................................................................ 657
Резюме занятия .................................................................................................................... 658
Закрепление материала........................................................................................................ 658
УПРАЖНЕНИЯ ........................................................................................................................... 659
Упражнение. Подготовка данных для интеллектуального анализа ................................. 659
Рекомендуемые упражнения ............................................................................................... 659
Протестируйте преобразования Row Sampling и Conditional Split ......................... 659
Глава 19. Применение пользовательского кода в пакетах SSIS ........................ 660
ЗАНЯТИЕ 1. Задача Script Task .................................................................................................. 661
Настройка задачи Script Task .............................................................................................. 662
Написание кода для задачи Script Task .............................................................................. 663
ПРАКТИКУМ. Применение Script Task для чтения результатов задачи
профилирования данных ..................................................................................................... 664
Задание 1. Использование задачи Data Profiling ..................................................... 665
XX Оглавление
Задание 2. Применение задачи Script Task для обработки результатов
профилирования данных ............................................................................................ 666
Резюме занятия .................................................................................................................... 668
Закрепление материала........................................................................................................ 668
ЗАНЯТИЕ 2. Компонент Script Component ............................................................................... 669
Настройка компонента Script Component .......................................................................... 669
Кодирование компонента Script Component ...................................................................... 671
ПРАКТИКУМ. Использование результатов профилирования данных
для обработки строк потока данных .................................................................................. 673
Задание 1. Подготовка среды ..................................................................................... 673
Задание 2. Использование компонента Script Component ....................................... 674
Резюме занятия .................................................................................................................... 677
Закрепление материала........................................................................................................ 677
ЗАНЯТИЕ 3. Реализация пользовательских компонентов ....................................................... 677
Планирование пользовательского компонента ................................................................. 678
Разработка пользовательского компонента ....................................................................... 680
Время разработки и время выполнения ............................................................................. 681
Методы времени разработки ..................................................................................... 681
Методы времени выполнения .................................................................................... 683
ПРАКТИКУМ. Разработка, развертывание и применение пользовательского
компонента потока данных ................................................................................................. 687
Задание 1. Подготовка среды ..................................................................................... 687
Задание 2. Разработка пользовательского преобразования потока данных .......... 687
Задание 3. Развертывание пользовательского компонента потока данных ........... 689
Задание 4. Настройка и применение пользовательского компонента потока
данных ......................................................................................................................... 690
Резюме занятия .................................................................................................................... 692
Закрепление материала........................................................................................................ 692
УПРАЖНЕНИЯ ........................................................................................................................... 693
Упражнение. Очистка данных ............................................................................................ 693
Рекомендуемые упражнения ............................................................................................... 693
Создайте источник Web-службы ............................................................................... 693
Глава 20. Сопоставление и устранение дублирования ........................................ 694
ЗАНЯТИЕ 1. Представление о проблеме .................................................................................. 695
Проблемы сопоставления и дедупликации ........................................................................ 695
Решение проблем ................................................................................................................. 697
ПРАКТИКУМ. Подготовка данных ................................................................................... 700
Задание 1. Подготовка чистых данных ..................................................................... 700
Задание 2. Подготовка грязных данных.................................................................... 701
Резюме занятия .................................................................................................................... 704
Закрепление материала........................................................................................................ 704
ЗАНЯТИЕ 2. Применение служб DQS и преобразования DQS Cleansing .............................. 705
Преобразование DQS Cleansing .......................................................................................... 705
Сопоставление DQS ............................................................................................................. 706
ПРАКТИКУМ. Использование преобразования DQS Cleansing
и сопоставления DQS .......................................................................................................... 707
Задание 1. Использование преобразования DQS Cleansing .................................... 708
Задание 2. Использование сопоставления DQS ....................................................... 712
Оглавление XXI
Резюме занятия .................................................................................................................... 715
Закрепление материала........................................................................................................ 715
ЗАНЯТИЕ 3. Использование нечетких преобразований SSIS ................................................. 716
Алгоритм нечетких преобразований .................................................................................. 717
Версии нечетких преобразований ...................................................................................... 718
ПРАКТИКУМ. Использование SSIS-преобразования Fuzzy Lookup
и надстройки MDS для Excel вместе с базой знаний DQS для сопоставления ............... 720
Задание 1. Применение Fuzzy Lookup ....................................................................... 720
Задание 2. Использование надстройки MDS для Excel и сопоставления DQS ..... 724
Резюме занятия .................................................................................................................... 725
Закрепление материала........................................................................................................ 725
УПРАЖНЕНИЯ ........................................................................................................................... 726
Упражнение. Повышение качества данных ....................................................................... 726
Рекомендуемые упражнения ............................................................................................... 726
Дополнительно исследуйте сопоставление .............................................................. 726
ОТВЕТЫ ....................................................................................................................... 729
Глава 1 .......................................................................................................................................... 729
Занятие 1. Закрепление материала ..................................................................................... 729
Занятие 2. Закрепление материала ..................................................................................... 730
Занятие 3. Закрепление материала ..................................................................................... 730
Упражнения .......................................................................................................................... 731
Упражнение 1. Краткосрочный пробный проект ..................................................... 731
Упражнение 2. Расширение краткосрочного пробного проекта ............................ 731
Глава 2 .......................................................................................................................................... 732
Занятие 1. Закрепление материала ..................................................................................... 732
Занятие 2. Закрепление материала ..................................................................................... 732
Занятие 3. Закрепление материала ..................................................................................... 733
Упражнения .......................................................................................................................... 734
Упражнение 1. Медленные отчеты хранилища данных .......................................... 734
Упражнение 2. Проблемы администрирования хранилища данных ...................... 734
Глава 3 .......................................................................................................................................... 735
Занятие 1. Закрепление материала ..................................................................................... 735
Занятие 2. Закрепление материала ..................................................................................... 736
Занятие 3. Закрепление материала ..................................................................................... 736
Упражнения .......................................................................................................................... 737
Упражнение 1. Копирование производственных данных в среду разработки ...... 737
Упражнение 2. Параметризация диспетчеров соединений ..................................... 738
Глава 4 .......................................................................................................................................... 738
Занятие 1. Закрепление материала ..................................................................................... 738
Занятие 2. Закрепление материала ..................................................................................... 739
Занятие 3. Закрепление материала ..................................................................................... 740
Упражнения .......................................................................................................................... 741
Упражнение 1. Разработка процесса очистки .......................................................... 741
Упражнение 2. Интеграция внешних процессов ...................................................... 741
Глава 5 .......................................................................................................................................... 742
Занятие 1. Закрепление материала ..................................................................................... 742
Занятие 2. Закрепление материала ..................................................................................... 743
Занятие 3. Закрепление материала ..................................................................................... 743
Упражнение .......................................................................................................................... 744
XXII Оглавление
Глава 6 .......................................................................................................................................... 745
Занятие 1. Закрепление материала ..................................................................................... 745
Занятие 2. Закрепление материала ..................................................................................... 746
Занятие 3. Закрепление материала ..................................................................................... 747
Упражнения .......................................................................................................................... 747
Упражнение 1 .............................................................................................................. 747
Упражнение 2 .............................................................................................................. 748
Глава 7 .......................................................................................................................................... 749
Занятие 1. Закрепление материала ..................................................................................... 749
Занятие 2. Закрепление материала ..................................................................................... 749
Занятие 3. Закрепление материала ..................................................................................... 750
Упражнение .......................................................................................................................... 751
Глава 8 .......................................................................................................................................... 751
Занятие 1. Закрепление материала ..................................................................................... 751
Занятие 2. Закрепление материала ..................................................................................... 752
Занятие 3. Закрепление материала ..................................................................................... 753
Упражнение. Аудит и уведомления в пакетах служб SSIS .............................................. 753
Глава 9 .......................................................................................................................................... 754
Занятие 1. Закрепление материала ..................................................................................... 754
Занятие 2. Закрепление материала ..................................................................................... 755
Упражнение. Превращение пакетов SSIS в динамические .............................................. 756
Глава 10 ........................................................................................................................................ 756
Занятие 1. Закрепление материала ..................................................................................... 756
Занятие 2. Закрепление материала ..................................................................................... 757
Занятие 3. Закрепление материала ..................................................................................... 758
Упражнения .......................................................................................................................... 759
Упражнение 1. Реализация ведения журналов SSIS на нескольких уровнях
иерархии объектов служб SSIS .................................................................................. 759
Упражнение 2. Реализация аудита SSIS на разных уровнях иерархии
объектов служб SSIS .................................................................................................. 759
Глава 11 ........................................................................................................................................ 760
Занятие 1. Закрепление материала ..................................................................................... 760
Занятие 2. Закрепление материала ..................................................................................... 761
Упражнения .......................................................................................................................... 762
Упражнение 1. Применение строго структурированных развертываний .............. 762
Упражнение 2. Установка сервера SSIS ................................................................... 762
Глава 12 ........................................................................................................................................ 762
Занятие 1. Закрепление материала ..................................................................................... 762
Занятие 2. Закрепление материала ..................................................................................... 763
Упражнения .......................................................................................................................... 764
Упражнение 1. Развертывание пакетов SSIS в нескольких средах ........................ 764
Упражнение 2. Удаленные выполнения ................................................................... 764
Глава 13 ........................................................................................................................................ 765
Занятие 1. Закрепление материала ..................................................................................... 765
Занятие 2. Закрепление материала ..................................................................................... 766
Упражнение. Настройка пакета SSIS ................................................................................. 766
Глава 14 ........................................................................................................................................ 767
Занятие 1. Закрепление материала ..................................................................................... 767
Оглавление XXIII
Занятие 2. Закрепление материала ..................................................................................... 768
Занятие 3. Закрепление материала ..................................................................................... 768
Упражнение. Неиспользуемое хранилище данных ........................................................... 769
Глава 15 ........................................................................................................................................ 769
Занятие 1. Закрепление материала ..................................................................................... 769
Занятие 2. Закрепление материала ..................................................................................... 770
Занятие 3. Закрепление материала ..................................................................................... 771
Упражнения .......................................................................................................................... 772
Упражнение 1. Ввод в действие решения MDM ...................................................... 772
Упражнение 2. Расширение пилотного проекта ...................................................... 772
Глава 16 ........................................................................................................................................ 772
Занятие 1. Закрепление материала ..................................................................................... 772
Занятие 2. Закрепление материала ..................................................................................... 773
Занятие 3. Закрепление материала ..................................................................................... 774
Упражнение. Редактирование пакетов данных MDS ........................................................ 775
Глава 17 ........................................................................................................................................ 775
Занятие 1. Закрепление материала ..................................................................................... 775
Занятие 2. Закрепление материала ..................................................................................... 776
Занятие 3. Закрепление материала ..................................................................................... 776
Упражнение. Повышение качества данных ....................................................................... 777
Глава 18 ........................................................................................................................................ 777
Занятие 1. Закрепление материала ..................................................................................... 777
Занятие 2. Закрепление материала ..................................................................................... 778
Занятие 3. Закрепление материала ..................................................................................... 779
Упражнение. Подготовка данных для интеллектуального анализа ................................. 780
Глава 19 ........................................................................................................................................ 780
Занятие 1. Закрепление материала ..................................................................................... 780
Занятие 2. Закрепление материала ..................................................................................... 781
Занятие 3. Закрепление материала ..................................................................................... 781
Упражнение. Очистка данных ............................................................................................ 782
Глава 20 ........................................................................................................................................ 783
Занятие 1. Закрепление материала ..................................................................................... 783
Занятие 2. Закрепление материала ..................................................................................... 784
Занятие 3. Закрепление материала ..................................................................................... 784
Упражнение. Повышение качества данных ....................................................................... 785
Предметный указатель .............................................................................................. 786
Об авторах .................................................................................................................... 792