تحلیل رگرسیون و ضریب همبستگی

عطار آنجا عطار بودن خود را نشان داد

راهنمای کسب کارشناسی ارشد/دکترای مدیریت

تحقیق همبستگی یکی از روش‌های تحقیق توصیفی (غیرآزمایشی) است که رابطه میان متغیرها را براساس هدف تحقیق بررسی می‌کند. می‌توان تحقیقات همبستگی را براساس هدف به سه دسته تقسیم کرد: همبستگی دو متغیری، تحلیل رگرسیون و تحلیل کوواریانس یا ماتریس همبستگی. در این زمینه در بخش اول قسمت تقسیم‌بندی روش‌های تحقیق براساس هدف توضیح لازم ارائه گردید. بنابراین همبستگی برای بررسی نوع و میزان رابطه متغیرها استفاده می‌شود. در حالیکه رگرسیون پیش‌بینی روند آینده یک متغیر ملاک (وابسته) براساس یک مجموعه روابط بین متغیر ملاک با یک چند متغیر پیش‌بین (مستقل) است که در گذشته ثبت و ضبط شده است.
ضریب همبستگی شاخصی است ریاضی که جهت و مقدار رابطه ی بین دو متغیر را توصیف می‌کند. ضریب همبستگی درمورد توزیع های دویا چند متغیره به کار می رود. اگر مقادیر دو متغیر شبیه هم تغییر کند یعنی با کم یا زیاد شدن یکی دیگری هم کم یا زیاد شود به گونه‌ای که بتوان رابطه آنها را به صورت یک معادله بیان کرد گوییم بین این دو متغیرهمبستگی وجود دارد. ضریب همبستگی پیرسون، ضریب همبستگی اسپیرمن و ضریب همبستگی تاو کندال از مهمترین روش‌های محاسبه همبستگی میان متغیرها هستند. بطور کلی:
1- اگر هر دو متغیر با مقیاس رتبه‌ای باشند از شاخص تاوکندال استفاده می‌شود.
2- اگر هر دو متغیر با مقیاس نسبتی و پیوسته باشند از ضریب همبستگی پیرسون استفاده می‌شود.
3- اگر هر دو متغیر با مقیاس نسبتی و گسسته باشند از ضریب همبستگی اسپیرمن استفاده می‌شود.

- تفسیر نتایج ضریب همبستگی برونداد SPSS
براساس یک قاعده کلی براساس مقادیر زیر می‌توان درباره میزان همبستگی متغیرها قضاوت کرد. بخاطر داشته باشید همین تفسیر برای مقادیر منفی نیز قابل استفاده است:

ضریب همبستگی	تفسیر
0.00 - 0.19	خیلی اندک و قابل چشم پوشی
0.20 - 0.39	خیلی اندک تا اندک
0.40 - 0.69	متوسط
0.70 - 0.89	زیاد
0.90 - 1.00	خیلی زیاد

این مقادیر یک قانون ثابت نیستند و به صورت تجربی بدست آمده است. در برخی متون مانند زیر نیز ارائه شده است:

ضریب همبستگی	تفسیر
0.0 - 0.1	خیلی اندک و قابل چشم پوشی
0.1 - 0.3	اندک
0.3 - 0.5	متوسط
0.5 - 1.0	زیاد

همچنین آماره .sig یا همان P-Value مربوط به همبستگی مشاهده شده باید کوچکتر از سطح خطا باشد. یک قانون کلی وجود دارد و آن اینکه اگر همبستگی بزرگتر از 0.3 باشد مقدار معناداری کوچکتر از سطح خطای 0.05 خواهد بود. تجربه آماری من نیز همیشه مطابق این قانون بوده است.

ضریب همبستگی پیرسون
در بررسی همبستگی دو متغیر اگر هردو متغیر مورد مطالعه در مقیاس نسبی و فاصله‌ای باشند از ضریب همبستگی گشتاوری پیرسون استفاده می‌شود. اگر ضریب همبستگی جامعه ρ و ضریب همبستگی نمونه‌ای به حجم n از جامعه r باشد، ممکن است r تصادفی و اتفاقی بدست آمده باشد. برای این منظور از آزمون معنی داری ضریب همبستگی استفاده می‌شود. در این آزمون بررسی می‌شود آیا دو متغیر تصادفی و مستقل هستند یا خیر. به عبارت دیگر آیا ضریب همبستگی جامعه صفر است یا خیر.
این ضریب میزان همبستگی بین دو متغیر فاصله ای یا نسبی را محاسبه کرده مقدار آن بین 1+ و 1- می باشد اگر مقدار بدست آمده مثبت باشد به معنی این است که تغییرات دو متغیر به طور هم جهت اتفاق می افتد یعنی با افزایش در هر متغیر، متغیر دیگر نیز افزایش می یابد و برعکس اگر مقدار r منفی شد یعنی اینکه دو متغیر در جهت عکس هم عمل می کنند یعنی با افزایش مقدار یک متغیر مقادیر متغیر دیگر کاهش می یابد و برعکس.اگر مقدار بدست آمده صفر شد نشان میدهد که هیچ رابطه ای بین دو متغیر وجود ندارد و اگر 1+ شد همبستگی مثبت کامل و اگر 1- شد همبستگی کامل و منفی است.

ضریب همبستگی اسپیرمن
هرگاه داده‌ها بصورت رتبه‌ای جمع آوری شده باشند یا به رتبه تبدیل شده باشند، می‌توان از همبستگی رتبه‌ای اسپیرمن (rs) که یکی از روشهای ناپارامتریک است، استفاده کرد. (بهبودیان، 1383 : 145) یکی از مزیت‌های ضریب همبستگی اسپیرمن به ضریب همبستگی پیرسون این است که اگر یک یا چند داده نسبت به سایر اعداد بسیار بزرگ باشد چون تنها رتبه آنها محسوب می‌شود، سایر داده‌ها تحت الشعاع قرار نمی‌گیرند.
برای محاسبة ضریب همبستگی رتبه‌ای داده‌های زوجی (xi,yi) ابتدا به تمام xها برحسب مقادیرشان رتبه می‌دهیم و همین کار را نیز برای yها انجام می‌دهیم، سپس تفاضل بین رتبه‌های هر زوج را که با نشان می‌دهیم حساب می‌کنیم. در مرحله بعد توان دوم d‌ها را محاسبه کرده، در نهایت با استفاده از این فرمول ضریب همبستگی رتبه‌ای را حساب می‌کنیم.

ضریب همبستگی کندال
موریس گریگور کندال به سال 1930 به مطالعه در مورد این ضریب پرداخت. دقت کنید ضریب هماهنگی کندال با ضریب همبستگی تاو کندال تفاوت دارد. کندال در ضریب همبستگی کندال دارای خواصی نظیر ضریب همبستگی ساده است. برای برآورد آن از آماره τ استفاده می‌شود.
ضریب هماهنگی توافقی کندال
ضریب همبستگی کندال که با نماد w نشان داده می‌شود یک آزمون ناپارامتریک است و برای تعیین میزان هماهنگی میان نظرات استفاده می‌شود. ضریب کندال بین 0 و 1 متغیر است. اگر ضریب کندال صفر باشد یعنی عدم توافق کامل و اگر یک باشد یعنی توافق کامل وجود دارد. ویژگی‌های ضریب کندال یکی از مهمترین کاربردهای این آزمون را در مدیریت فراهم کرده است. برای پایان راندهای تکنیک دلفی می‌توان از ضریب هماهنگی کندال استفاده کرد.

سایر ضرائب همبستگی
ضریب همبستگی چوپروف T : ضریب هبستگی چوپروف به منظور تعیین شدت وابستگی بین متغیرهای مورد مطالعه به کار گرفته می شود و مقدار آن همواره بین صفر ویک در نوسان می باشد زمانی از آن استفاده کرده که هر دو متغیر اسمی و یا یکی اسمی و دیگری ترتیبی باشد. اما نباید تعداد سطر و ستون با هم برابر باشند.یعنی در جدول توافقی 2در2 نمی توان از آن استفاده کرد. در چنین مواردی باید از ضریب فی استفاده کرد.
ضریب همبستگی فی: به منظور بررسی شدت همبستگی بین دو متغیر اسمی که جدول توافقی 2 در 2 می باشد مورد استفاده قرار می گیرد.خی دو سطح معنی دار بودن همبستگی بین دو متغیر را تعیین میکند اما ضریب فی شدت همبستگی آنها را نشان می دهد. مقدار آن همواره بین صفر و یک در نوسان است.
ضریب کرامر: این ضریب برای تغیین میزان شدت همبستگی بین دو متغیر اسمی مورد استفاده قرارمی گیرد و آن را با (V2) نشان می دهند و مقدار آن نیز همواره بین صفر ویک در نوسان است.هم جدول توافقی بیشتر از 2 در 2 وهم برای مستطیلی بکار می رود . http://parsmodir.com/db/research/correlation.php

ضریب همبستگی پیرسون که به نام های ضریب همبستگی گشتاوری ویا ضریب همبستگی مرتبه ی صفر نیز نامیده می شود ، توسط سرکارل پیرسون معرفی شده است. این ضریب به منظور تعیین میزان رابطه، نوع و جهت رابطه ی بین دو متغیر فاصله ای یا نسبی و یا یک متغیر فاصله ای و یک متغیر نسبی به کار برده می شود. چندین روش محاسباتی معادل می توان برای محاسبه ی این ضریب تعریف نمود.

الف) روش محاسبه با استفاده از اعداد خام :

ب) روش محاسبه از طریق نمره های استاندارد شده :

ضریب همبستگی پیرسون بین -1 و 1 تغییر می کند.اگر r=1 بیانگر رابطه ی مستقیم کامل بین دو متغیر است ، رایطه ی مستقیم یا مثبت به این معناست که اگر یکی از متغیرها افزایش (کاهش) یابد، دیگری نیز افزایش (کاهش) می یابد. مانند رابطه ی بین میزان ساعات مطالعه در روز و معدل محصلین.

r=-1 نیز وجود یک رابطه ی معکوس کامل بین دو متغیر را نشان می دهد. رابطه ی معکوس تحلیل رگرسیون و ضریب همبستگی یا منفی نشان می دهد که اگر یک متغیر افزایش یابد متغیردیگر کاهش می یابد و بالعکس.

زمانی که ضریب همبستگی برابر صفر است نشان می دهد که بین دو متغیر رابطه ی خطی وجود ندارد.

1) صفر بودن ضریب همبستگی تنها عدم وجود رابطه ی خطی بین دو متغیر را نشان می دهد ولی نمی توان مستقل بودن دو متغیر را نیز نتیجه گرفت. هنگامی که ضریب همبستگی پیرسون بین دو متغیر صفر باشد، این متغیرها تنها در صورتی مستقل از یکدیگرند که توزیع متغیرها نرمال باشد.

2) همبستگی بین دو متغیر تنها نشان دهنده ی این است که افزایش یا کاهش یک متغیر چه تاثیری بر افزایش یا کاهش متغیر دیگر دارد ولی این همبستگی ضرورتا دال بر رابطه ی علّی بین متغیرها نمی باشد. به طور مثال اگر در یک تحقیق دو متغیر قد و تحصیلات همبستگی مثبت بالایی داشته باشندنمی توانیم نتیجه بگیریم که افراد قد بلندتر دارای تحصیلات بیشتری هستند. بنابراین باید بین مفاهیم همبستگی و رابطه ی علّت و معلولی تفاوت قائل شد. به بیان دیگر ممکن است دو متغیر همبستگی داشته باشند ولی لزومی ندارد که یکی از متغیرها علت و دیگری معلول باشد، علاوه براین عوامل متعدد دیگری نیز می توانند بر ضریب همبستگی اثرگذار باشند.

مثال : سنوات خدمت و میزان درآمد تعدادی کارمنددر دست است ، به کمک نرم افزار spss ضریب همبستگی پیرسون را محاسبه می کنیم.

رگرسیون چیست؟ پیش‌بینی در علم آمار به چه شکل است؟

به لحاظ لغوی رگرسیون به معنای بازگشت است. به بیانی دیگر این لغت یعنی پیش‌بینی و بیان تغییرات یک متغیر بر اساس اطلاعات متغیری دیگر. زمانی که بین دو متغیر همبستگی وجود داشته باشد؛ می‌توان نمره‌ی فردی را در یک متغیر از طریق متغیر دیگر برآورد یا پیش‌بینی کرد. اگر ضریب همبستگی بین متغیرها عددی بین ۱+ تا ۱- باشد و در واقع همبستگی کامل برقرار نباشد پیش‌بینی ما برآورد خوبی است اما پیش‌بینی کاملی نیست. هرچه همبستگی بین متغیرها بالاتر باشد؛ به همان اندازه پیش‌بینی دقیق‌تر است. نحوه‌ی محاسبه‌ی رگرسیون به این شکل است که اگر متغیری را که قصد پیش‌بینی آن را داریم Y و متغیری که از طریق آن پیش‌بینی صورت می‌گیرد را X بنامیم؛ نمره‌ی پیش‌بینی شده برای متغیر Y برابر است با حاصل ضرب نمره‌ی استاندارد متغیر X در ضریب همبستگی بین دو متغیر. رابطه‌ی بین متغیر پیش‌بینی شونده (y) و پیش‌بینی کننده (x) تابع علامت و شدت ضریب همبستگی است. رگرسیون به سمت میانگین پدیده‌ای بود که گالتون مطرح کرد و به معنای میل نمرات به سمت میانگین آن‌هاست. در ادامه از انواع رگرسیون‌ها نام می‌بریم و در نهایت رگرسیون خطی را شرح می‌دهیم.

پیش‌بینی

رگرسیون از جمله مطالبی است که کاملاً وابسته به بحث همبستگی است و در ادامه‌ی آن مطرح می‌شود؛ فلذا برای فهم آن باید اطلاعاتی راجع به اینکه همبستگی چیست و چه انواعی دارد؛ داشته باشید.

این مطلب از این جهت می‌تواند برای فهم دقیق و درست مطلب کاملاً مؤثر باشد.

به لحاظ لغوی رگرسیون به معنای بازگشت است. به بیانی دیگر این لغت یعنی پیش‌بینی و بیان تغییرات یک متغیر بر اساس اطلاعات متغیری دیگر. زمانی که بین دو متغیر همبستگی وجود داشته باشد؛ می‌توان نمره‌ی فردی را در یک متغیر از طریق متغیر دیگر برآورد یا پیش‌بینی کرد. مثلاً چنانچه بین بهره‌ی هوشی و پیشرفت تحصیلی در دانشگاه، همبستگی مستقیم وجود داشته باشد؛ می‌توان پیش‌بینی کرد که پیشرفت تحصیلی دانشجویانی که بهره‌ی هوشی بالاتر از میانگین داشته باشند؛ بالاتر از میانگین خواهد بود.

مثلاً تصور کنید که بین میزان تماشای تلویزیون و پیشرفت تحصیلی دانش‌آموزان همبستگی وجود دارد. در اینجا می‌توان از متغیر میزان تماشای تلویزیون به عنوان یک متغیر پیش‌بینی‌کننده برای پیش‌بینی پیشرفت تحصیلی استفاده کرد. بنابراین می‌توان با استفاده از میزان تماشای تلویزیون (متغیر ملاک یا پیش‌بینی‌کننده)، پیشرفت تحصیلی دانش‌آموزان در مدرسه (متغیر بیش‌بینی‌شونده) را پیش‌بینی کرد. دقت پیش‌بینی تحلیل رگرسیون و ضریب همبستگی به شدت به همبستگی بین متغیر پیش‌بینی‌کننده و پیش‌بینی‌شونده بستگی دارد. چنانچه همبستگی بین متغیرها کامل باشد (۱+ تا ۱-) پیش‌بینی به‌صورت کامل و دقیق امکان‌پذیر است. به عنوان مثال بین جرم برحسب کیلوگرم و تن همبستگی کامل وجود دارد. اگر وزن یا به لحاظ درستی لفظ علم فیزیک جرم کسی را به طور صحیح بدانیم؛ می‌توانیم وزن او را بر حسب تن محاسبه کنیم.

اگر ضریب همبستگی بین متغیرها عددی بین ۱+ تا ۱- باشد و در واقع همبستگی کامل برقرار نباشد پیش‌بینی ما برآورد خوبی است اما پیش‌بینی کاملی نیست. هرچه همبستگی بین متغیرها بالاتر باشد؛ به همان اندازه پیش‌بینی دقیق‌تر است.

پیش‌بینی نمره‌های استاندارد

رگرسیون چیست؟ پیش‌بینی در علم آمار به چه شکل است؟

نحوه‌ی محاسبه‌ی رگرسیون به این شکل است که اگر متغیری را که قصد پیش‌بینی آن را داریم Y و متغیری که از طریق آن پیش‌بینی صورت می‌گیرد را X بنامیم؛ نمره‌ی پیش‌بینی شده برای متغیر Y برابر است با حاصل ضرب نمره‌ی استاندارد متغیر X در ضریب همبستگی بین دو متغیر. رابطه‌ی بین متغیر پیش‌بینی شونده (y) و پیش‌بینی کننده (x) تابع علامت و شدت ضریب همبستگی است. به دو شکل:

• همبستگی مثبت: جهت پیش‌بینی y همانند جهت نمره‌ی استاندارد x
• همبستگی منفی: جهت پیش‌بینی y خلاف جهت نمره‌ی استاندارد x

اگر همبستگی مثبت و کامل باشد چنین پیش‌بینی می‌کنیم که نمره استاندارد فرد در متغیر x برابر نمره استاندارد او در متغیر y است. در صورتی که همبستگی کامل و منفی باشد اینطور یش‌بینی می‌کنیم که نمره‌ی استاندارد در دو متغیر مساوی اما از جهت علامت مخالف یکدیگر است.

اگر همبستگی مثبت و کمتر از ۱+ باشد پیش‌بینی ما این است که نمره‌ی استاندارد پیش‌بینی شده برای y نسبت نمره‌ی استاندارد x، به صفر نزدیک‌تر است. زمانی که همبستگی بین دو متغیر، منفی ولی کوچک‌تر از ۱- باشد پیش‌بینی ما این است که نمره‌ی استاندارد پیش‌بینی شده برای y نسبت به نمره‌ی استاندارد x به صفر نزدیک‌تر است ولی علامت آن با علامت x مخالف است. هنگامی که همبستگی بین دو متغیر کم باشد؛ نمره‌ی استانداردی که پیش‌بینی می‌کنیم نزدیک به میانگین خواهد بود. در واقع شدت همبستگی مشخص می‌کند که نمره‌های پیش‌بینی شده تا چه اندازه از میانگین فاصله دارند. چنانچه همبستگی بین دو متغیر کم باشد؛ نمره‌هایی که پیش‌بینی می‌کنیم؛ در میانگین y قرار خواهند گرفت.

رگرسیون به سمت میانگین

تاریخچه‌

اولین بار این پدیده را فرانسیس گالتون را مطرح کرد. او واژه رگرسیون را در مطالعه‌ی تأثیر وراثت در قد به کار برد. براساس یافته‌های او فرزندان والدین کوتاه قد، کوتاه قد هستند اما نه به اندازه‌ی والدینشان و به همین ترتیب فرزندان والدین بلند قد، قد بلند هستند؛ اما نه به اندازه‌ی والدین خود. در واقع قد فرزندان به سوی میانگین کلی جامعه گرایش دارد. گالتون این پدیده را رگرسیون به سمت میانگین نامیده است.

اصل ماجرا

اگر همبستگی بین متغیرها برای پیش‌بینی کامل نباشد؛ رگرسیون اتفاقی جالب است. به این دلیل که در چنین شرایطی نمره‌های پیش‌بینی شده به میانگین نمونه‌مان نزدیک‌تر است تا به نمره‌های پیش‌بینی‌کننده. چنانچه تعدادی آزمودنی را که نمره‌های آن‌ها در متغیری که از طریق آن پیش‌بینی صورت می‌گیرد؛ مساوی باشد انتخاب کنیم؛ متوجه خواهیم شد که نمره‌ی پیش‌بینی‌شده‌ی این آزمودنی‌ها به میانگین متغیری که قصد پیش‌بینی آن را داریم نزدیک‌تر است تا به متغیری که از طریق آن پیش‌بینی صورت می‌گیرد. مثلاً چنانچه دانش‌آموزانی را انتخاب کنیم که بهره‌ی هوشی‌شان بالاتر از ۱۴۰ است متوجه خواهیم شد که نمره‌ی بیشتر آن‌ها در آزمون پیشرفت تحصیلی بالاتر از تحلیل رگرسیون و ضریب همبستگی میانگین است و فقط نمره‌ی تعداد محدودی از آن‌ها در آزمون پیشرفت تحصیلی با نمره‌‌های بالاتر از میانگین فاصله دارد. به همین ترتیب چنانچه آزمودنی‌هایی را انتخاب کنیم که بهره‌ی هوشی آن‌ها کم است؛ نمره‌ی بیشترشان در آزمون پیشرفت تحصیلی به نزدیک‌تر به میانگین این آزمون است تا آزمون هوش.

بنابراین تاز مانی که دو متغیر به‌صورت کامل همبسته نباشند؛ این گرایش وجود دارد که نمره‌های گروهی از آن‌ها در اولین متغیر به دومین متغیر نزدیک باشد. این اثر در نمره‌ها تأثیر رگرسیون نامیده می‌شود و غالباً چون رگرسیون به به طرف میانگین دومین متغیر است؛ آن را رگرسیون در اطراف متغیر می‌نامند. نمره‌ی پیش‌بینی شده به میانگین نزدیک‌تر است تا نمره‌هایی که از طریق آن‌ها پیش‌بینی صورت می‌پذیرد.

میزان همبستگی بین دو متغیر حدود یا مقدار رگرسیون را تعیین می‌کند. اگر نمره‌ی همبستگی کامل باشد جهت هر نمره‌ی پیش‌بینی شده با جهت هر نمره در متغیری که بر اساس آن پیش‌بینی صورت می‌پذیرد؛ همسان یا همتراز است و پدیده‌ی رگرسیون یا اتفاق نمی‌افتد یا وجود ندارد. رگرسیون زمانی اتفاق می‌افتد که همبستگی بین دو متغیر کامل نباشد.

اگر همبستگی بین متغیرها بالا باشد و نه تحلیل رگرسیون و ضریب همبستگی کامل، گرایش کمی وجود دارد که میانگین نمره‌های گروه انتخاب شده در اولین متغیر به طرف میانگین نمره‌های دومین متغیر کشیده شود. اما اگر همبستگی پایین باشد گرایش خیلی زیادی وجود دارد که میانگین نمره‌ها در اولین متغیر به طرف میانگین نمره‌های دومین متغیر کشیده شود. حالت سومی هم وجود دارد که همبستگی صفر باشد که در آن صورت رگرسیون در اطراف میانگین به‌صورت کامل اتفاق می‌افتد یا به عباریت قدرت پیش‌بینی وجود ندارد و بهترین پیش‌بینی میانگین y هاست.

وقتی یک گروه به دلیل عملکرد مشابه در اولین متغیر انتخاب شده باشند؛ نمره‌های اعضای گروه در متغیر دوم دارای میانگینی مساوی با گروهی خواهد بود که دارای عملکرد یا اندازه‌های مختلف هستند.

فراموش نکنید که رگرسیون به طرف میانگین با همبستگی بین متغیرها رابطه معکوس دارد. هرچه، همبستگی بالاتر (کامل‌تر) باشد؛ رگرسیون به طرف میانگین کمتر است.

انواع رگرسیون کدام اند؟

رگرسیون چیست؟ پیش‌بینی در علم آمار به چه شکل است؟

رگرسیون خطی ساده (Simple Linear Regression)

زمانی از این آزمون استفاده می‌شود که پژوهشگر می‌خواهد تأثیر یک متغیر مستقل بر روی یک متغیر وابسته را مورد سنجش قرار دهد. به این آزمون، رگرسیون دو متغیره هم گفته می‌شود. پژوهشگر باید توجه داشته باشد؛ زمانی می‌توان از آزمون رگرسیون (ساده و چندگانه) استفاده کرد که اولاً مقیاس گردآوری داده‌ها فاصله‌ای یا نسبی باشد و دوماً ارتباط میان دو متغیر به لحاظ آماری معنادار باشد که البته نرم افزار SPSS قبل از بررسی تأثیر این رابطه را بررسی می‌کند. که در عنوان بعدی آن را به‌صورت کامل شرح می‌دهیم.

رگرسیون چند متغیره (Multiple Regression)

زمانی که تعداد متغیرهای مستقل دو و یا بیشتر باشد، دیگر رگرسیون خطی ساده نمی‌تواند نتایج دقیقی از تأثیر این متغیرها به‌ ما بدهد. در چنین شرایطی از رگرسیون چند متغیره استفاده می‌شود. رگرسیون چند متغیره به نام رگرسیون چندگانه نیز شهرت دارد. متغیرهای مستقل به ۵ روش متفاوت وارد مدل رگرسیونی می‌شوند و هر یک از این روش‌ها کاربرد متفاوتی خواهند داشت. روش هم‌زمان، روش گام به گام، روش حذفی، روش پس‌رونده و روش پیش‌رونده. این روش در مقالات بعدی به تفصیل شرح داده می‌شوند.

رگرسیون لجستیک (Logestic Regression) دو وجهی و چند وجهی:

اما گاهی اوقات اتفاق می‌افتد که متغیر وابسته تحقیق در مقیاس فاصله‌ای یا نسبی نبوده و مقیاس آن به‌صورت اسمی است. یکی از سؤالات شرکت‌کنندگان در دوره‌های کاربردی SPSS آکادمی تحلیل آماری شرکت می‌کنند این است که در چنین حالتی با توجه به اینکه پیش‌فرض اساسی تحلیل رگرسیون مقیاس فاصله‌ای /نسبی متغیر وابسته است چه باید کرد. رگرسیون لجستیک پیش‌بینی کننده متغیر وابسته دووجهی و یا چندوجهی اسمی خواهد بود. البته با توجه به بحث‌های گسترده در دوره‌های آکادمی تحلیل آماری بهتر است در این شرایط به جای استفاده از مدل‌های رگرسیون لجستیک در نرم‌افزارهایی مثل SPSS از نرم‌افزارهای با تخمین‌های مخصوص به این شرایط مثل mplus استفاده می‌کنیم.

رگرسیون تخمین منحنی (Curve Estimation) :

رگرسیون برآورد یا تخمین منحنی از خانواده تحلیل رگرسیون غیرخطی است. این نوع رگرسیون زمانی مورد استفاده قرار می‌گیرد که رابطه بین متغیر وابسته و متغیرهای مستقل به‌صورت غیرخطی است و بنابراین، نمی‌توانیم از رگرسیون‌های خطی استفاده کنیم.

رگرسیون ترتیبی (ordinal regression):

در برخی از پژوهش‌ها و به ‌خصوص پژوهش‌های پیمایشی، ممکن است که متغیر وابسته یک متغیر ترتیبی باشد. یعنی شرط اول اجرای رگرسیون‌های چندگانه که همان فاصله‌ای یا نسبی بودن متغیر است را نداشته باشد. یعنی ما می‌توانیم که به طبقات این متغیر رتبه دهیم اما هرگز نمی‌توانیم فاصله‌ی بین رتبه‌ها را مشخص نماییم؛ مثلاً متغیر شادی به جای اینکه توسط یکسری شاخص و سؤال در پرسشنامه سنجیده شده باشد که در آخر بتوان این سؤالات را به سمت یک متغیر کمی پیوسته حرکت داد؛ جواب‌ها می‌تواند شامل یک طیف سه گزینه‌ای زیاد، متوسط و کم جهت سنجش باشد. در این شرایط نیز به جای استفاده از مدل‌های رگرسیون ترتیبی در نرم‌افزارهای مثل SPSS از نرم‌افزارهایی با تخمین‌های مخصوص به این شرایط مثل mplus استفاده می‌کنیم.

رگرسیون پروبیت (Probit Regression) :

زمانی که خروجی یا متغیر وابسته دارای دو بعد باشد از این نوع رگرسیون استفاده خواهد شد. این نوع رگرسیون با عنوان مدل‌های پروبیتنیز شناخته شده است. برای مثال، زمانی که بخواهیم متغیرهای مؤثر بر شرکت افراد در برنامه‌های فرهنگی یک سرای محله را بررسی کنیم؛ این نوع رگرسیون مناسب‌تر خواهد بود. این رگرسیون مشابه رگرسیون‌های لجستیک است.

توضیح مشروح و مفصل انواع رگرسیون را می‌توانید در مقالات بعدی ما بخوانید.

رگرسیون خطی یا خط رگرسیون

رگرسیون چیست؟ پیش‌بینی در علم آمار به چه شکل است؟

وقتی که نمره‌های استاندارد پیش‌بینی شده را در دستگاه محور مختصات ترسیم می‌کنیم؛ روی یک خط مستقیم قرار می‌گیرند. دلیل این امر آن است که برای محاسبه و پیش‌بینی نمره‌ها آن‌ها را در مقدار ثابت ضریب همبستگی ضرب می‌کنیم. این خط به دست آمده خط رگرسیون است که با توجه به تعریف آن چنانچه فاصله‌ی هر نمره را از محور y کم و سپس آن را مجذور کنیم از طریق مجموع مجذورهای محاسبه شده متوجه خواهیم شد که این مجموع کوچک‌تر از مجموع مجذور هر خط دیگری تا محور y است. این مفهوم گاهی اوقات برای تعریف خط رگرسیون به کار برده می‌شود. به همین دلیل است که گاهی اوقات خط رگرسیون، خط حداقل مجذورها تعریف می‌شود. در واقع این خط، خطی است که خطاهای پیش‌بینی را به حداقل می‌رساند.

بهترین پیش‌بینی

وقتی که نمره‌ی Y را از طریق نمره‌ی x پیش‌بینی می‌کنیم؛ نمره‌های پیش‌بینی شده روی یک خط قرار می‌گیرند که به تحلیل رگرسیون و ضریب همبستگی آن خط برازش می‌گویند؛ اما نمره‌های اصلی متغیر Y بر روی این خط قرار نمی‌گیرند؛ زیرا نمره‌های پیش‌بینی شده با نمره‌های اصلی Y مساوی نیستند و بین آن‌ها اختلاف وجود دارد.

اختلاف بین نمره‌ی اصلی و نمره‌ی پیش‌بینی شده خطای پیش‌بینی نامیده می‌شود که می‌تواند مثبت یا منفی باشد.

رگرسیون خطی یکی از چند روشی است که به وسیله‌ی آن می‌توان دست به پیش‌بینی زد. اما در این پیش‌بینی نیز به طبع درصدی از خطا وجود دارد. مقاله‌های بعدی در شرح بیشتر رگرسیون و انواع روش‌های آن است که به فراخور داده‌هایتان می‌تواند دقیق‌تر و با خطای کمتری باشد.

مقالات و دروس جمعیت شناسی

این وبلاگ جهت استفاده دانشجویان به خصوص دانشجویان رشته جمعیت شناسی ایجاد شده است

آمار پیشرفته(تهیه کننده مرضیه جان بزرگی)

2)مجذور تحلیل رگرسیون و ضریب همبستگی ضریب همبستگی نشانگر چیست؟ مجذور ضریب همبستگی (r 2 xy) نشانگر واریانس مشترک بین دو متغییر x وy است واریانس مشترک را می توان به صورت در صد بیان کرد مثلا" اگر rxy معادل 60% باشد r 2 xy معادل 36% می شود بنابر این می توان گفت 36 درصد واریانس y توسط x به حساب می آید یا تبیین و پیش بینی می شود.

3) متغییر های مستقل چند نوع هستند؟ دو نوع ، فعال و منسوب . متغییر فعال متغییر اس که بر اثر دخل و تصرف ایجاد شده باشد و متغییر منسوب هم متغییر ایست که سنجیده می شود و در آن نمی توان دخل و تصرف کرد مثل هوش.

4) رابطه چیست ؟ همبستگی چیست؟ رگرسیون چیست؟به چه لحاظ این دو مفهوم مشابه اند؟ موارد اختلاف آنها در چیست؟ آیا نمودار مختصات رابطه را نشان می دهد؟ چرا؟ همبستگی می گوید بین دو متغیر رابطه هست و اگر هست جقدر از واریانس یکی را از روی دیگری می توان پیش بینی کرد ولی رگرسیون می گوید از بین متغیر x تا چه اندازه می توان متغیر y را پیش بینی کرد اگر x ,y همبستگی نداشته باشند دنبال رگرسیون نمی رویم و اگر بین آن دو رابطه وجود داشت پیش بینی می کنیم که چقدر از x می تواند y را پیش بینی کند.

همبستگی رابطه است و رابطه مجموعه ای از زوجهای مرتب است. پس همبستگی هم مجموعه ای از زوجهای مرتب است . همبستگی به معنای هم تغییری دو متغییر می باشد.گاه از همبستگی، معنای جهت رابطه مثبت یا منفی و مقدار رابطه که به آن ضریب همبستگی می گویند نیز بدست می آید.ضریب همبستگی شاخص جهت و مقدار رابطه است. رابطه به شیوه نمایش نموداری نیز نشان داده می شود. نمودار مختصات ، خود یک رابطه است و مجموعه ای از زوجهای مرتب را نشان می دهد و جداول توافقی ، دیاگرام هم رابطه تحلیل رگرسیون و ضریب همبستگی را نشان می دهد.

همبستگی شرط لازم هست ولی کافی نیست دوتا متغییر می توانند با هم همبستگی داشته باشند ولی کدام اثر گذار است معلوم نیست پس باید اولا:مطمئن شد که بین y,x رابطه منطقی وجود دارد مثلاً هرچه سن بالا می رود تعداد کلمات و توانایی فرزند بیشتر می شود ثانیاً: تقدم و تاخر رابطه مشخص کنیم ثالثاً : اگر اولی رخ داد دومی هم رخ می دهد یعنی با تغییر اولی متغییر دومی هم تغییر می کند.

5 ) فرض کنید همبستگی هوش با پیشرفت کلامی معادل0.80 باشداین همبستگی چه چیزی را نشان می دهد مجذور ضریب همبستگی مزبور r 2 معادل 0.64 می شود این نتیجه چه چیزی را نشان می دهد چرا r 2 را ضریب تعیین می خوانند؟

0.80 همبستگی همزمان هوش با پیشرفت کلامی رانشان می دهد r 2 معادل 0.64 نشان می دهد که پیشرفت کلامی 0.64 واریانس هوش به حساب می آید دو متغییر0.64 کل واریانس شریک اند اگر کل واریانسy معادل 1 باشد ضریب عدم تعیین r 2 xy -1 می باشد. 0.36=0.64-1 در واقع 36 درصد واریانس y توسط x معین نمی شود پس r 2 به علت اینکه نشان دهنده واریانس مشترک بین دو متغییر x ,y می باشد ضریب تعیین نامیده می شود و بنابراین ضریب عدم تعیین نیز واریانس باقی مانده می باشد.

رگرسیون ساده و تحلیل واریانس: با استفاده از تحلیل واریانس محقق می تواند واریانس کل مجموعه ای از اندازه های متغییر وابسته را به دو جزء واریانس بین گروهی و واریانس درون گروهی تجزیه کنددر تحلیل رگرسیون هم همین عمل صورت می گیرد و تحلیل واریانس و تحلیل رگرسیون در حقیقت یک چیزند.

جمله آماری sst, ssreg ,ssresi چگونه محاسبه می شود:
sst مجموع مجذورات کل برابر است با ssreg مجموع مجذورات xy که از رگرسیون ناشی می شودبر روی مجموع مجذورات x باضافه مجموع مجذورات باقی مانده ssresi است یا انحراف از رگرسیون می باشد. خطاها=y-y‾=ssd=ssresi ∑. پیش بینssreg= ∑ ssy = ‾ y .

متغییر پیس بینی شونده sst= ∑ ssy=y . فرمول آن عبارت است از sst=ssreg+ssresi

اگر مجموع پیش بینی با مجموع پیش بینی شونده برابر باشد در نتیجه مجموع خطا صفر است و هر چقدر پیش بینی بیشتر باشد و بهتر باشد خطا کمتر است . اصل کمترین مجذورات به ما می گوید داده ها را چنان تحلیل کن که مجذورات اشتباه پیش بینی به حداقل برسد یعنی خطا ها به حداقل برسد. خطاها=y-y‾) 2 =ssd=ssresi = ∑ d 2 ∑)

شیب خط مقدار متغیر در y به ازای واحد تغییر در x می باشد. پس اگر x یک واحد تغییر کند y هم به اندازه شیب خط از روی xتغییر می کند. y=a+b_x.y(x)

عرض از مبداء a و xاز روی y شیب خط b = b_x.y=y-a=cov_x.y/s 2 _x → ∑xy/∑ x 2

رابطه خطی زمانی رخ می دهد که افزایش در متغیر مستقل با افزایش ثابتی در متغیر وابسته همراه باشد ضریبb از طریق همبستگی کو واریانس استانداردشده است که درآن انحراف معیار هر دو متغیر برابر است.

نمره های استاندارد و وزنهای رگرسیون :تحلیل رگرسیون را می توان با نمره استاندارد انجام داد.نمره استاندارد نمره انحراف استاندارد است اگر نمره های انحراف از میانگین x-x‾ را بر انحراف استاندارد مجموعه نمره ها تقسیم کنیم نمره استاندارد به دست می آید. اگر یک توزیع نرمال داشته باشیم می توان مشخص کرد که چه نسبت از داده ها در فاصله های مختلف با میانگین قرار می گیرد 68 در صد از نمره ها در فاصله بین یک و انحراف معیار میانگین توزیع قرار دارد و 95 در صد بین دو انحراف معیار و میانگین و 99 در صد از نمره ها بین سه انحراف معیار و میانگین قراردارند.

بتا وزن رگرسیون برای نمره های استاندارد است یعنی اگر نمره ها ابتدا به صورت استاندارد در آیند وزن رگرسیون ،بتا می شود پس بتا ضریب رگرسیون مربوط به تحلیلی است که با نمره های استاندارد انجام می شود بتا وزن نامعلوم رگرسیون در جمعیت یا جامعه آماری است و b وزن معلوم رگرسیون در نمونه است آلفا عرض از مبدا در جمعیت یا جامعه اماری است چون میانگین نمره های استاندارد معادل صفر است پس آلفا نداریم. Z_xZ_y/∑Z 2 _x ∑ =بتا

وبلاگ جامع تحقیق و پژوهش Araştırma

روش تحقیق، ریاضیات و آمار Araştırma Yöntemleri, İstatistik

ضریب همبستگی

ضریب همبستگی شاخصی است ریاضی که جهت و مقدار رابطه ی بین دو متغیر را توصیف میکند.

ضریب همبستگی درمورد توزیع های دویا چند متغیره به کار می رود .

اگر مقادیر دو متغیر شبیه هم تغییر کند یعنی با کم یا زیاد شدن یکی دیگری هم کم یا زیا د شود به گونه ای که بتوان رابطه آنها را به صورت یک معادله بیان کرد گوییم بین این دو متغیرهمبستگی وجود دارد.

نمودار پراکنش یا دیاگرام پراکندگی بهترین تصویر برای نشان دادن همبستگی بین دو متغیر است .

انواع ضرایب همبستگی:

محاسبه ضرایب همبستگی تاحدود زیادی متأثر از مقیاس اندازه گیری متغیرهاست، به عنوان مثال برای متغیرهای تحلیل رگرسیون و ضریب همبستگی اسمی جهت رابطه اصلاً معنی ندارد، بین جنس و معدل، تنها می توان گفت شدت وابستگی چه مقدار است، اما افزایش یا کاهش جنس معنی ندارد.

با توجه به نوع متغیرها ضریب همبستگی می تواند یکی از حالت های زیرا داشته باشد:

1- دو متغیر اسمی

2- دو متغیر رتبه ای

3- دو متغیر فاصله ای – نسبتی

4- متغیر اسمی و متغیر رتبه ای

5- متغیر اسمی و متغیر فاصله ای – نسبتی

برای هرکدام از حالت های بالا ضرایب همبستگی متفاوتی وجود دارد و محاسبه آنها در نرم افزارهایی از جمله اس پی اس اس امکانپذیر است.

از آنجا که انتخاب ضریب همبستگی مناسب برای بررسی روابط بین متغیرها تحت تأثیر مقیاس اندازه گیری متغیرهای مورد بررسی است، لذا تناسب بین سطوح اندازه گیری وضریب همبستگی سازگار ازاین جدول برای تصمیم گیری مناسب است.

آزمونهای آماری

سطح سنجش متغیرها

متغیر وابسته y

متغیر مستقل x

خی دو- فی- وی کرامر- لاندا

خی دو- فی- وی کرامر- لاندا

تحلیل واریانس یکطرفه – تی تست

فاصله ای – نسبتی

خی دو- فی- وی کرامر- لاندا

ضریب همبستگی رتبه ای اسپیرمن

خی دو- فی- وی کرامر- لاندا

فاصله ای - نسبتی

ضریب همبستگی پیرسون r

فاصله ای - نسبتی

فاصله ای – نسبتی

ضریب همبستگی رتبه ای اسپیرمن

فاصله ای – نسبتی

هرگاه رابطه بین دو متغیر را بررسی کردیم و بین آن دو رابطه معنی دار وجود داشت می توانیم ضریب همبستگی و میزان شدت همبستگی را نیز محاسبه کنیم.

ضرایب همبستگی در واقع وابستگی دو متغیر را مشخص می کنند:

1. اگر ضریب همبستگی بین 25 درصد تا 35 درصد باشد ضریب بسیار پایین است و تنها 4 درصد تغییرات مشترک میان دو متغییر را نشان می دهد.

2. اگر ضریب همبستگی بین 35 درصد تا 65 درصد باشد ضریب متوسط است و حدود 25 درصد تغییرات مشترک میان دو متغییر را نشان می دهد.

3. اگر ضریب همبستگی بین 65 درصد تا 85 درصد باشد ضریب بالایی است و تا 72 درصد تغییرات مشترک میان دو متغییر را نشان می دهد.

انواع ضریب همبستگی:

1. ضریب همبستگی چوپروف T : ضریب همبستگی چوپروف به منظور تعیین شدت وابستگی بین متغیرهای مورد مطالعه بکار گرفته می شود و مقدار آن همواره بین صفر و یک در نوسان می باشد. زمانی از آن استفاده می کنیم که هر دو متغیر اسمی و یا یکی اسمی و دیگری ترتیبی باشد. اما نباید تعداد سطر و ستون با هم برابر باشند. یعنی در جدول توافقی 2 در 2 نمی توان از آن استفاده کرد. در چنین مواردی باید از ضریب فی استفاده کرد.

2. ضریب همبستگی فی : به منظور بررسی شدت همبستگی بین دو متغیر اسمی در جدول توافقی 2 در 2 می باشد مورد استفاده قرار می گیرد. خی دو سطح معنی دار بودن همبستگی بین دو متغییر را تعیین می کند. اما ضریب فی شدت همبستگی آنها را نشان می دهد. مقدار آن همواره بین صفر و یک در نوسان است.

3. ضریب همبستگی پیرسون r : این ضریب میزان همبستگی بین دو متغیر فاصله ای یا نسبی را محاسبه کرده و مقدار آن بین منفی یک و مثبت یک می باشد اگر مقدار بدست آمده مثبت باشد به معنی این است که تغییرات دو متغیر به طور هم جهت اتفاق می افتد یعنی با افزایش در هر متغیر، متغیر دیگر نیز افزایش می یابد و برعکس اگر مقدار r منفی شد یعنی اینکه دو متغیر در جهت عکس هم عمل می کنند با افزایش مقدار یک متغیر مقادیر متغیر دیگر کاهش می یابدو برعکس. اگر مقدار بدست آمده صفر شد نشان دهنده این است که هیچ رابطه ای بین دو متغیر وجود ندارد و اگر مثبت یک شد همبستگی مثبت کامل و اگر منفی یک شد همبستگی کامل و منفی است.

4. ضریب کرامر: این ضریب برای تعیین میزان شدت همبستگی بین دو متغیر اسمی مورد استفاده قرار می گیرد و آن را با وی دو تحلیل رگرسیون و ضریب همبستگی نشان می دهند و مقدار آن نیز همواره بین صفر و یک در نوسان است. هم برای جدول توافقی دو در دو و هم برای مستطیلی بکار می رود.

5. ضریب همبستگی رتبه ای اسپیرمن: آن را با علامت p نشان می دهند و همواره بین مثبت یک و منفی یک می باشد. از لحاظ سطح سنجش ترتیبی است. درصورتی که داده تحلیل رگرسیون و ضریب همبستگی های ما به صورت فاصله ای و نسبی باشند می توانیم آنها را به رتبه ای تبدیل کنیم و مهم نیست کدام متغیر وابسته و کدام مستقل است.

عطار آنجا عطار بودن خود را نشان داد

که مولوی را در 6 سالگی شناخت .

شما معلمان در کلاسی که هستید،

روبروی شما شمس نشسته است ،

ابن سینا ، مولوی ، دانشمندی بزرگ

یا یک جلاد بی رحم . اگر احتیاط کنیم

و نگوییم که یک کلمه ی معلم است

که زمینه های دانشمندشدن را فراهم

می کند ، لا اقل می توان گفت معلم

است که زمینه های دانشمند شدن

یا جلاد شدن را فراهم می کند .

((استاد محمد تقی جعفری ))

در این وبلاگ سعی می شه که به سوالات پژوهشی خوانندگان پاسخ داده یشه. البته بدیهی هست که ممکنه به دلیل محدودیت زمان تحلیل رگرسیون و ضریب همبستگی تحلیل رگرسیون و ضریب همبستگی و اطلاعات توانایی پاسخ کامل و جامع رو نداشته باشم. لذا از سایر خوانندگان تقاضا می شه که در پاسخ به سوالات همفکری و هم اندیشی و کمک نمایند.

رگرسیون به چه معنا است و چه کاربردی دارد؟

در این مطلب از سایت جدولیاب اطلاعات کاملی در خصوص رگرسیون می خوانید: رگرسیون: ضریب همبستگی نشان دهنده ارتباط دو متغیر است . بطور کلی ربط دادن دو یا چند متغیر به یکدیگر را رگرسیون می گویند .

این واژه در فرهنگ لغت به معنی بازگشت می باشد و اغلب جهت رساندن مفهوم “بازگشت به یک مقدار متوسط یا میانگین” به کار می رود. بدین معنی که برخی پدیده ها به مرور زمان از نظر کمی به طرف یک مقدار متوسط میل می کنند .

بیش از ۱۰۰ سال پیش در سال ۱۸۷۷ فرانسیس گالتون (Francis Galton) در مقاله ای که در همین زمینه منتشر کرد اظهار داشت که متوسط قد پسران دارای پدران قد بلند ، کمتر از قد پدرانشان می باشد .

به نحو مشابه متوسط قد پسران دارای پدران کوتاه قد نیز بیشتر از قد پدرانشان گزارش شده است. به این ترتیب گالتون پدیده بازگشت به طرف میانگین را در داده هایش مورد تأکید قرار داد .

برای گالتون رگرسیون مفهومی زیست شناختی داشت اما کارهای او توسط کارل پیرسون (Karl Pearson) برای مفاهیم آماری توسعه داده شده . گرچه گالتون برای تأکید بر پدیده “بازگشت به سمت مقدار متوسط” از تحلیل رگرسیون استفاده کرد، اما به هر حال امروزه واژه تحلیل رگرسیون جهت اشاره به مطالعات مربوط به روابط بین متغیرها به کار برده می شود .

نمودار پراکندگی رگرسیون

در حقیقت تحلیل رگرسیونی فن و تکنیکی آماری برای بررسی و مدل سازی ارتباط بین متغیرها است. رگرسیون تقریباً در هر زمینه ای از جمله مهندسی، فیزیک، اقتصاد، مدیریت، علوم زیستی، بیولوژی و علوم اجتماعی برای برآورد و پیشبینی مورد نیاز است .

می توان گفت تحلیل رگرسیونی، پرکاربردترین روش در بین تکنیک های آماری است. شمایی کلی و خلاصه شده از یک تحلیل رگرسیونی ساده به صورت زیر می باشد:

در ابتدا تحلیل گر حدس می زند که بین دو متغیر نوعی ارتباط وجود دارد ، در حقیقت حدس می زند که یک رابطه به شکل یک خط بین دو متغیر وجود دارد و سپس به جمع آوری اطلاعات کمی از دو متغیر می پردازد و این داده ها را به صورت نقاطی در یک نمودار دو بعدی رسم می کند.

این نمودار که به آن نمودار پراکندگی [scatter plot] گفته می شود نقش بسیار مهمی را در تحلیل های رگرسیونی و نمایش ارتباط بین متغیرها ایفا می کند.

در صورتی که نمودار نشان دهنده این باشد که داده ها تقریباً (نه لزوماً دقیق) در امتداد یک خط مستقیم پراکنده شده اند، حدس تحلیل گر تأیید شده و این ارتباط خطی به صورت زیر نمایش داده می شود:

که در آن a عرض از مبدأ و b شیب این خط است.

بین برخی از نقاط و تصویر آنها بر روی خط رگرسیونی (خط y) کمی تفاوت به چشم می­خورد که از آن به عنوان خطای برآورد یاد می کنیم.

این خطا ممکن است از خطا در اندازه گیری ، شرایط محیط ، تفاوت های طبیعی و… ناشی شده باشد. بنابراین معادله اولیه را به صورت زیر اصلاح می کنیم :

معادله بالا یک مدل رگرسیون خطی نامیده می شود . معمولاً به x متغیر مستقل (رگرسیونی) و به y متغیر وابسته (پاسخ) گفته می ­شود . که ? خطای تصادفی است که برای کامل شدن مدل و نشان دادن این که خطا نیز تا حدی وجود دارد در نظر گرفته می شود.

معمولا فرض میشود که خطاها یکدیگر را خنثی میکنند ، به عبارت دیگر مجموع خطا ها برابر صفر است . همچنین فرض میشود خطای موجود در یک مشاهده رابطه ای با خطاهای دیگر ندارد و در نهایت تغییرات بین خطاها ثابت در نظر گرفته می شود .

این سه فرض برای ساختن یک مدل ضروری است و روشهای بسیاری برای پی بردن به وجود (یا عدم برقراری ) این فرض ها وجود دارد . یکی از دلایل استفاده های نادرست از رگرسیون معمولا نادیده گرفتن این فرض ها است که موجب استدلال های غلط خواهد شد .

در صورتی که در مدل رگرسیونی فقط یک متغیر مستقل وجود داشته باشد، مدل را مدل رگرسیونی خطی ساده می نامند.