Эддоус М., Стэнсфилд Р. Методы принятия решений

Подождите немного. Документ загружается.

Гл.

8. Линейная

регрессия

243

Они включают в себя как простые модели для двух переменных, с которыми мы

главным образом столкнемся, так и более совершенные модели для многих

переменных, которых мы лишь коснемся. Эти модели широко использукгтся

потому, что существуют пакеты прикладных программ (ППП), которые осущест-

вляют требуемые расчеты. Нужно быть предельно внимательным при использовании

ППП для того, чтобы окончательно убедиться, что мы досконально понимаем

результаты и правильно их оцениваем.

Эта глава охватывает анализ простой модели линейной регрессии, построенной

на конкретных данных (парной линейной регрессия). В конце главы рассматрива-

ются множественные регрессионные модели, несколько моделей нелинейной связи

и, наконец, измерение корреляхши с использованием коэффициента ранговой

корреляции Спирмена.

8.2. ПРОСТАЯ МОДЕЛЬ ЛИНЕЙНОЙ РЕГРЕССИИ

Простая линейная регрессия связана с тем, что мы называем двумерным

распределением, т.е. распределением двух переменных. Существует ли линейная

связь между двумя переменными или нет? Всегда лучше использовать две пере-

менные, нежели одну. Например, нас интересует соотношение между ростом и

весом у определенной группы людей; между ценой и количеством проданного

товара; возрастом служащих и их заработной платой; возрастом и весом кур;

еженедельными издержками и отработанным временем в отделах; пройденной

дистанцией и затраченным временем.

Первым шагом в анализе является изучение переменных: какие из них относятся

к факторам, каково их влияние друг на друга. Предположим, что фермер хочет

предсказать вес кур, которых он выращивает. Вес

—

это переменная, котор)гю он

желает предсказать, поэтому это будет аависимая переменная. Отмечать значения

зависимой переменной будем на осн OY. Пусть вес курицы зависит от ее возраста.

Тогда возраст

—

это независвмая перемещая, значение которой нам известно по

предположению и которое мы можем использовать при оценке ее веса. Независимая

переменная будет отмечаться нами на оси ОХ. Если мы установим природу связи,

между возрастом и весом курицы, то сможем предсказать вес курицы в данном

возрасте. Любая курица, для которой реальный вес значительно отличается от

прогнозируемого, может быть подвергнута обследованию.

Теперь мы должны ответить на вопрос: как изменяется вес в зависимости от

изменения возраста. Во-первых, можно предположить, что вес увеличивается с

возрастом. Когда курица совсем взрослая, мы можем предположить, что ее вес с

небольшими отклонениями зависит от пищи и погодных условий. Прибавка в весе

и ее вес в зрелом возрасте также будет зависеть от породы и способа ее выращи-

вания и кормления. Существует также множество других факторов, помимо

возраста, влияющих на вес. Процесс исследования возможной связи переменных

—

зависит ли зависимая переменная у от независимой переменной х и от других

факторов, которые также могут повлиять на связь,

—

очень важная часть статис-

тического моделирования. Наша цель — не просто построить какую-то любую

линейную регрессию, а постараться выяснить, чем объясняется вариация веса

244 4.2.

Анализ данных

как

составная часть принятия решений

курицы с помощью моделирования, и решить, можно ли определить вес курицы,

зная только ее возраст.

Вероятно, выводом из вышеприведенной задачи будет то, что существуют

несколько взаимосвязанных между собой факторов для определения точного веса

конкретно взятой курицы. Общая картина связи представлена на рис. 8.3.

Вес,»

Возраст, мвс

Рис. 8.3. Возможная связь между весом и возрастом

курицы определенной породы

Теперь мы должны собрать данные для того, чтобы проверить правильность

наших предположений о наличии и характере связи между переменными.

О Пример 8.1. Пример касается времени, которое занимают поставки. Мы

займемся специальными услугами — поставками на короткие расстояния внутри

города. Оценим стоимость услуги, определив время поставки при любом

расстоянии.

Факторы, помимо пройденного расстояния, которые повлияют на затраченное

время: пробки на дорогах, время суток, дорожные работы, погода, дорожная

система, водитель, вид транспорта. Однако первоначальное исследование будет

предельно простым, насколько это возможно: будем рассматривать связь только

между расстоянием, измеряемым кратчайшим маршрутом на линиях, и затрачен-

ным временем в минутах. Рассмотрим всевозможные поездки за определенный

период, которые могут быть совершены в городе. Измерим время и расстояние

каждой десятой поездки, начиная с произвольно выбранного часа и дня недели.

Фирма работает шесть дней в неделю, кроме воскресенья. Случайное число,

выброшенное игральной костью — 2, таким образом, следующий вторник —

выбранный нами день. Услуги оказываются с 8 ч утра до 6 ч вечера. Слу^айное^

число от

до 9, полученное из таблицы случайных чисел для выбора времени,

оказалось числом 6. Таким образом, первая поездка после часа дня (т. е. шестой

час,

начиная с восьми утра). Затем мы отберем каждую десятую поставку.

Выборочные данные первых десяти поставок будут использованы для анализа.

Гл.

8. Линейная регрессия

245

Таблица 8.1. Исходные данные о рясстоашш и времени поставок

Расстояние,

миль

3,5

2,4

4,9

4,2

3,0

1,3

1,0

3,0

1.5

4,1

Время, мин

Нам нужно объяснить изменения времени (переменная у), принимая расстоя-

ние в качестве независимой переменной х. Предположим, что затраченное время

растет по мере увеличения расстояния. Представим данные на графике, чтобы

определить связь, которая существует между переменными (рис. 8.4).

Врама

одной постами,

мин

12 -

т 1 1—W

3 4 5

Росстояиив одной поставки, миль

Рис. 8.4. Зависимость времени поставок от расстояния

по совокупноет случайных данных о поставках

Рис. 8.4 свидетельствует об общем увеличении времени с увеличением рассто-

яния.

Точки на графике собраны в пучки вокруг прямой линии. Это означает, что

мы можем использовать линейную модель для описания связи между двумя

переменными. Точки не находятся точно на линии. Но было бы удивительно, если

бы это было так, с точки зрения остальных факторов, которые могут повлиять на

время поездки. Линейная модель, описывающая связь между двумя переменными.

946 4.2. Анализ данных как составная часть принятия решений

будет приближением к действительности — к истинному времени и расстоянию.

Рис. 8.6 показывает наилучппсй вариант.

Для совокупности, данные из которой мы используем, существует множество

различных расстояний при различном времени. Фактически, для любого расстоя-

ния существует распределение возможного времени поставок. Наш пример вклю-

чает десяггь поездок. Их можно сгруппировать по дальности поставки. Например,

поставки на расстояние 1,0 мили 1,3, 1,5, 2,4, 3,0 миль и т.д.

Время,

мии и

20 -

10 -

I —1 1 Г" Т

;

—1 •

I 2 3 4 S 6

Росстояни*. миль

Рис. 8.S. Распределение •реиеям поставок при определенном расстошши

Эта идея важна для последующего анализа. Вернемся к нашим предположениям:

наилучшей моделью для описания связи между временем поездки и расстоянием

будет линейная модель. Теперь нам необходимо найти способ для нахождения

приемлемой схемы определения точек этой линии по исходньш данным. Эта линия

называется линией наилучшего подбора.

Время,

мин

12 -

8 -

±_

о + Ь«

-!->•

Росспмниа, миль

Рнс. 8.6. Зависимость времени поставки от расстошшя поставки

Гл.

8. Линейная

регрессия

247

Показанная на рис. 8.6 линия

—

это

возможная линейная модель для описания

связи между переменными. Уравнение этой линии может быть записано следую-

щим образом:

у =

Ьх,

где а — определяется как пересечение линии регрессии с осью у; Ь — угол

наклона линии регрессии, называется коэффициентом регрессии. Рассмотрим

конкретное значение пройденного пути, которое мы обозначим как х,. Для

X, фактическое время будет у,, тогда как время, прогнозируемое линейной моде-

лью (теоретическое) определяется из уравнения:

у, = а + Ьх,.

Разница между этими двумя значениями:

«1

У|

?!.

называется ошибкой, или отклонеинеи, или остатком. Мы можем определить

величину ошибки для всех отмеченных точек. Линейная модель, которая наилучшим

образом аппроксимирует данные — одна из тех, для которой общая ошибка

выборки имеет наименьшее значение. Чтобы рассчитать ее, нужно избежать

позитивных и негативных значений. Это можно сделать, возведя все ошибки в

квадрат и делая их положительными величинами. Линия наилучшего подбора

—

та, которая минимизирует квадраты разниц между рассматриваемыми значениями

у и соответствзпощими значениями х, рассчитанными с помощью линии наилучшего

подбора. Эта линия называется линией регрессии, полученной методом наименьших

квадратов. Может быть избран и другой критерий подбора наилучшей линии.

Используя различные расчеты, можно определить наклон и пересечение линии

регрессии с осью OY методом наименьших квадратов.

Формулы для определения угла наклона линии регрессии и ее пересечения с

осью OY следующие:

. °Z ^ - Z

нахлон

= ——— ——;-,

где а

—

размер выборки;

Zy ь^^х

пересечение а = .

Соответствуюыдае расчеты для выборки п=10 даны ниже. Линейная модель:

у = а и- Ьх.

248 4.2. Анализ данных как составная

часть

принятия решений

Таблица 8.2. Расчет линии регрессии

Расстояние, х, миль

3,5

2,4

4,9

4.2

3,0

1,3

1,0

3,0

1,5

4,1

Итого: 28,9

Время, у, мин

• 16

136

ху

56,0

31,2

93,1

75,6

36,0

14,3

8.0

42,0

13,5

65,6

435,3

х'

12,25

5.76

24,01

17,64

9,0

1,69

1,0

9,0

2,25

16.81

99,41

У^

256

169

361

324

144

121

196

256

1972

Последние три графы используются в последующих расчетах.

„ .

10 •

435.3-28.9

•

136 422.6 , ,,

Показатель наклона b = ,0.9^.41-28,92 '

TsSlg =

^•^'

_ 136 2,66

•

29,9

Показатель пересечения а = -rjj '—rz

5,91.

Подставим эти значения в линейнзгю модель:

у = 5,91 + 2.66Х.

Время поставки (мин.) = 5,91 + 2,66 расстояние (миль).

Наклон линии регрессии (2,66 минут на милю)

—

это рассчитанное количество

минут, приходящиеся на одну милю расстояния поставки. Пересечение (5,91 минут)

—

это рассчитанное время для подготовки к поездке и доставки товаров, т.е. необхо-

димое для каждой поездки время в сравнении с реально затраченным временем.

Пересечение дает средний эффект всех влияющих факторов за исключением

расстояния. Напомним, что в нашем примере эти значения основаны на малом

объеме данных. Мы должны оценить реальность полученных оценок, т.е. подсчи-

тать доверительные интервалы для параметров а и Ь.

8.3. ТЕСНОТА ЛИНЕЙНОЙ СВЯЗИ — КОЭФФИЦИЕНТ

КОРРЕЛЯЦИИ г

В приведенном выше примере данные подтвердили обоснованность линейной

модели. Однако мы не имеем объективного представления о том, насколько

хорошо аппроксимирует данные линейная модель. Подбор на основе графика в

данном случле оказался точным, но он может быть обманчивым, так как распреде-

ление точек на графике зависит от выбора масштаба. Необходимо объективное

измерение тесноты линейной связи.

Гл.

8. Линейная

регрессия

249

Мы полагаем, что связь между переменными существует. Рассмотрим две

переменные х и у. Поле точек представлено на диаграмме рассеяния (рис. 8.7),

на которой показана и линия регрессии, пол)гченная методом наименьших квадратов.

На этом графике добавлена линия у = у.

у - а + Ьх

линия рвфессии

У - У

среднее зноченив у

Рис.

8.7. Структура дисперсии зависимой переменной у

Если мы возьмем конкретное значение х, допустим Xj, то в любой точке

выборки значению х будет соответствовать значение у. Фактически это могут быть

несколько точек с одним и тем же значением х и разными значениями у, но в

каждом случае фактическое значение у может быгь разбито на два компонента.

Это можно записать как: действительное значение у равно значению исходя из

линейной связи между у и х плюс значение у, обусловленное другими факторами:

у =

+ е,

где е — остаток, разница между фактическим значением у и значением у tia

прямой.

Линейная связь только частично объясняет вариации значений у. Необъяснен-

ная часть является остатком, е. Если бы связь между х и у была абсолютно

линейной, то все е были бы равными 0. По мере того, как сила линейной связи

уменьшается, остаток увеличивается. Это соотношение формирует основу, на

которой мы можем рассчитать силу линейной связи. Мы должны рассмотреть

все точки, а не только одну-две. Общая вариация значения у может быть

записана как:

I(y-y)^

Общая вариация значений у не зависит от значения х. Общее изменение у с

учетом линейной связи между х и у может быть записано:

i:(y-y)^-

250

Ч-2-

Анализ данных как составная часть принятия решений

Это выражение соответствует той части вариации у, которая объясняется

регрессией, т.е. введением независимой переменной х, поскольку вариация х и у

связывается уравнением у • а + Ьх. Вариация у, которая не объясняется линейной

связью, записывается как:

Эта вариация возникает из-за других факторов, не включенных в линейную

модель, т.е. эта вариация не объясняется данной регрессией.

Отношение объясненной вариации к общей вариации используется как мера

линейности связи. Чем теснее связь, тем ближе это отношение к 1. Это отношение

называется коаффицнентом детериинащш, обозначается г и имеет вид:

' ЦСУ-У)' •

Коэффициент детерминации часто выражается в процентах и показывает

величину дисперсии у, которая объясняется независимой переменной х, включен-

ной в модель в случае полной линейной связи между х и у г^=1, или 100%. Если

связь отсутствует, то г^ равно 0. Коэффициент детерминации не определяет,

увеличивается ли или уменьшается у с ростом х. Эта информация может быть

получена с помощью коэффициетга корреляции Пирсона, который включает

произведение переменных х и у^он обозначается г. Этот коэффициент может быть

получен как квадратный корень из коэффициента детерминации:

Е(у-у)'

Для вычислений полезно алгебраически преобразовать это выражение и вос-

пользоваться следующей формулой:

V(nXx^-(Sx)2).(n5;y2-(5;y)2)'

Это и есть выборочный коэффициент корреляции. Значение г всегда лежит

между -1 и +1. Знак г такой же, как и знак коэффициента регрессии Ь. Если Ь

—

положителен, показывая положительную связь между переменными, то коэффи-

циент корреляции г будет также положительным. Если коэффициент регрессии b

меньше нуля, то и коэффициент корреляции г также отрицательный.

По мере того, как возрастает сила линейной связи, точки на графике будут

лежать более близко к прямой линии, а величина г будет ближе к 1. По мере

уменьшения силы связи значение г будет ближе к

О,

а точки будут более рассеяны.

При г=0 линейной связи не существует. Но это не значит, что не существует

вообще никакой связи. На рис. 8.8 и 8.9 отражены случаи, когда значения коэф-

фициента корреляции приближаются к 0.

Гя.

8. Линейная регрессия

251

г» о

Рис. 8.8. Случай отсутствия связи

между переменными

Рис. 8.9. Сильная нелинейная связь

между переменными

Вернемся к примеру 8.1, в котором рассматривается модель прогноза времени

поставки в зависимости от расстояния внутри города. Коэффициент корреляции

рассчитывается следующим образом:

г =

По нашим данным коэффициент корреляции равен:

10 43S.2 - 28.9 • 136

422,6

(10

•

99,41 - 28У)

(ГО

•

1972

- 136* V 158,9

•

1224

••

0,958.

Это значение коэффициента корреляции очень близко к единице, что свиде-

тельствует об очень тесной линейной связи между расстоянием и временем постав-

ки.

Этот вывод подтвержцает первоначальное предположение, сделанное исходя

из диаграммы.

Коэффициент детерминации (г^ • 100%) показывает процент общей вариации

времени поставки, который зависит от расстояния. В нашем случае коэффициент

детерминации высок:

г* = 0,958*- 100 = 91,8%.

По выборочной модели можно вычислить ожидаемое время при заданном

расстоянии поставки:

время (мин.) = 5,91 -•- 2,66 (расстояние в милях).

252 4.2.

Анализ данных

как

составная часть принятия решений

Выборочная модель объясняет

91,8%

вариащга времени

доставки.

Не объясняется

8,2% вариации времени поездки. Эта часть вариации обусловлена всеми остальными

факторами, влияющими на время поездки, но не включенными в модель.

8.4. ПРЕДСКАЗАНИЯ И ПРОГНОЗЫ НА ОСНОВЕ

ЛИНЕЙНОЙ МОДЕЛИ РЕГРЕССИИ

8.4.1.

Прогаозы с упорящочвнными данными

Мы можем использовать модель для прогноза времени поездки на любые

расстояния. Если расстояние равно 4,0 мили, то среднее время поставки:

у = 5,9! + 2,66

•

4,0 = 16,6 мин.

В расчетах такого рода требуется осторожность: не рекомендуется использо-

вать модель для прогноза при тех значениях независимой переменной, которые не

входят в исходные данные. В нашем случае расстояние изменяется от 1,0 мили до

4,9 мили. Не очевидно, что модель подойдет для данных, не входящих в этот

интервал.

Связь между временем и расстоянием может изменяться по мере увеличения

расстояния. Например, дальняя поездка может включать использование скорост-

ных шоссе, тогда как наша модель описывала связь с учетом медленных городских

поездок. Дальние перевозки должны включать остановки на отдых или перекус,

которые безусловно изменяют затраченное время.

Если бы нам нужно было экстраполировать расчеты для расстояния, выходя-

щего за указанные пределы, мы должны были бы собрать больше данных. Если

бы мы решили не делать этого, то должны быть предельно осторожны при

использовании прогнозных значений времени поездок. Но эти прогнозы были бы,

вероятно, ненадежны.

8.4.2. Оценки, ошибки и остатки

Насколько точными должны быть наши прогнозы? В следующей части мы

рассмотрим вопросы, св51занные с доверительными интервалами. Однако также

полезно оценить надежность, сравнив значения зависимой переменной у и

предсказанные значения у для каждого значения независимой переменной х. Эти

ошибки, или остатки е

—

необъясненная часть каждого наблюдаемого значения

у, являются чрезвычайно важными по двум причинам. Во-первых, они позволяют

проверить, применима ли данная модель и те предположения, на которых она

основана. Во-вторых, мы можем использовать их для того, чтобы дать грубую

оценку вероятных ошибок прогнозов, сделанных на основе линейной модели.

Табл.

8.3 содержит значения остатков для примера 8.1.