Общее описание используемого метода
Простые линейные регрессионные модели устанавливают 
линейную зависимость между двумя переменными, например затратами на отпуск и составом семьи; затратами на рекламу и объемом выпускаемой продукции, затратами на проживание и валовым национальным продуктом (ВНП); изменением ВНП в зависимости от времени и т.д.
При этом одна из переменных считается зависимой переменной (y) и рассматривается как функция от независимой переменной (x).
В общем виде простая выборочная регрессионная модель записывается так:
(3.1)
где
y – вектор наблюдений за зависимой переменной; 
;
x – вектор наблюдений за независимой переменной;
- неизвестные параметры регрессионной модели;
e – вектор случайных величин (ошибок); 
;
Регрессионная модель называется линейной, если она линейная по своим параметрам. Итак, модель (3.1) есть линейная регрессионная модель. Ее еще можно трактовать и как прямую на плоскости, где 
- пересечение с осью ординат, а 
- наклон (естественно, если абстрагироваться от случайной величены e).
Чтобы иметь явный вид зависимости, необходимо найти (оценить) неизвестные параметры этой модели. Как это сделать? Каким критерием лучше пользоваться?
В общем есть неограниченное количество прямых 
, которые можно провести через множество наблюдаемых точек. Какую же из них выбрать? Чтобы это узнать, необходимо иметь в распоряжении критерий, который позволил бы выбрать из множества прямых «наилучшую» с точки зрения донного критерия. Наиболее распространенным является критерий минимизации суммы квадратов отклонений. Например, одна прямая из множества, расположена таким образом, что некоторые точки находятся выше, некоторые ниже этой прямой, на основе чего можно установить отклонения (ошибки) относительно этой прямой:
, (3.2)
где
- тая точка на прямой, которая соответствует значению 
(см.рис.3.1).
Отклонения, или ошибки, еще иногда называют остатками. Логично, что надо проводить таким образом, чтобы сумма квадратов ошибок была минимальной. На этом и основывается критерий наименьших квадратов: неизвестные параметры и определяются таким образом, чтобы минимизировать 
