روایی و پایایی چیست؟ Validity and Reliability
روایی و پایایی در مطالعات پژوهشی گاهی اوقات به جای یکدیگر استفاده می‌گردند. پایایی نشان دهنده ثبات در اندازه‌گیری است در حالی که روایی در واقع ابزار مناسب اندازه گیری برای یک آزمون یا ابزار اندازه‌گیری میباشد.
در مطالعات کمی یا کیفی استفاده از ابزاری همانند پرسشنامه، تست‌های آموزشی و یا ارزیابی داوران بسیار رایج میباشد. روایی و پایایی در مطالعات پژوهشی مفاهیمی می‌باشند که برای بررسی کیفیت، ثبات، دقت و صحت تحقیقات به کار می‌روند. مفاهیم روایی و پایایی در مطالعات پژوهشی نشان دهنده این است که یک ابزار، روش، تکنیک یا آزمون تا چه اندازه عوامل مورد نظر را به درستی اندازه‌گیری می‌کند.
مثال پایایی: اگر شما 5 مرتبه آزمون آیلتس یا تافل را بدهید تا حدودی نتایج یکسانی برای هر بار آزمون به دست خواهید آورد. پس میتوان گفت که آزمون آیلتس و تافل برای اندازه گیری میزان یادگیری یک فرد از زبان انگلیسی دارای ثبات هستند و پایا هستند.
مثال روایی: آزمون آیلتس یا تافل برای بررسی میزان دانش یک فرد از ریاضیات مناسب نیست. اما این آزمون میزان دانش یک فرد از زبان انگلیسی مناسب است. پس میتوان گفت که این آزمون‌ها برای بررسی میزان دانش یک فرد از زبان انگلیسی مناسب هستند و روا می‌باشند
پایایی در واقع ثبات یک ابزار (یکسانی نتایج در صورت تکرار تحقیق در شرایط یکسان) و روایی صحت و دقت ابزار مورد نظر را تعیین مینماید (تناسب ابزار یا آزمون استفاده شده با شاخص و یا مولفه مورد نظر). در نظر گرفتن روایی و پایایی در مطالعات پژوهشی یکی از مبانی طراحی مطالعه، برنامه‌ریزی روش مطالعه و نگارش نتایج در مطالعات کمی و کیفی میباشد.
یک آزمون خوب باید از تعدادی ویژگی مطلوب همانند روایی، پایایی، عینیت، سهولت اجرا، عملی بودن و سهولت تعبیر و تفسیر برخوردار باشد. مهمترین موارد ذکر شده در این ویژگی ها، روایی و پایایی است. یکی از ملزومات اجرای یک طرح تحقیقاتی برقرار بودن روایی و پایایی ابزارهای مورد استفاده در پژوهش است.
روایی چیست؟ (Validity)
روایی به دقت و صحت ابزار مورد نظر اشاره دارد. روایی به ما این را می‌گوید که آیا ابزار یا آزمونی که انتخاب کرده‌ایم آنچه را که مد نظر ماست به صورت واقعی اندازه گیری مینماید یا خیر.
بعنوان مثال هیچ‌گاه نمی‌توان برای وزن یک فرد از سانتی‌متر استفاده نمود. اگر یک مطالعه روایی بالایی داشته باشد به این معناست که در این مطالعه ابزار مورد نظر نتایج یکسان با ویژگی‌ها، مشخصات و تغییر‌پذیری آن ابزار در دنیای واقعی دارد.
مثال1:بعنوان مثال یک دماسنج برای تعیین دما استفاده می‌گردد. حتی اگر در طی چندین بار اندازه‌گیری در شرایط یکسان دماهای متفاوتی نشان داده شود، اما ماهیت اینکه دماسنج برای استفاده دما استفاده می‌گردد از بین نمی‌رود و میتوان گفت که یک دماسنج از روایی لازم برای تعیین دما برخوردار است.
مثال2: فرض کنید که محققی قصد تعیین میزان هوش گروهی از دانشجویان را دارد. وی پرسشنامه‌ای را برای تعیین میزان هوش این دانشجویان طراحی می‌کند. برخی معیارها و اندازه‌گیری‌ها همانند قدرت فیزیکی هیچ رابطه‌ای با هوش فرد ندارد. بنابراین اگر در تعیین میزان هوش یک دانشجو، معیارهایی همچون تعداد دراز و نشستی که یک دانشجو میتواند انجام دهد در پرسشنامه وارد شود، یک ملاک بی ارزش برای تعیین هوش میباشد و پرسشنامه مورد نظر از روایی لازم برای تعیین هوش دانشجویان برخوردار نیست.
انواع روایی در مطالعات پژوهشی
روشهای مختلفی برای تعیین روایی و پایایی در مطالعات پژوهشی وجود دارد. انواع روایی در مطالعات عبارتند از
- روایی توصیفی (Descriptive Validity): نوعی از روایی است که در تحقیقات کیفی مورد استفاده قرار می‌گیرد و به صحت و درستی داده‌ها واطلاعات موضوع گزارش شده توسط محقق اشاره می‌کند
- روایی تفسیری (Interpretative Validity): نوعی از روایی در تحقیقات کیفی است که به تاثیر مفاهیمی که افراد شرکت کننده در مطالعه به شاخص مد نظر مطالعه داشته‌اند اشاره دارد.
- روایی نظری (Theoretical Validity): نوعی روایی در تحقیقات کیفی است که سازگاری بین داده‌ها را با تئوری نظری مطالعه، مورد بررسی قرار میدهد.
- روایی ارزیابی (Evaluative Validity): در این نوع روایی که در تحقیقات کیفی مورد استفاده قرار می‌گیرد، به بررسی مبانی اخلاقی و هنجاری در مورد موضوع مورد مطالعه میپردازیم.
- روایی سازه (Construct Validity): نوعی از روایی است که در مدل‌سازی معادلات ساختاری (SEM) مورد استفاده قرار می‌گیرد که هدف از آن بررسی میزان سازگاری سنجه‌های مطالعه با مبانی تئوریک آزمون انجام شده است.
- روایی همگرایی (Convergent Validity): نوعی از روایی ساختار است که بیان می‌کند آزمون‌هایی که ساختار مشابه و یکسانی دارند باید از همبستگی بالایی برخوردار باشند.
- روایی واگرا (Divergent Validity): نوعی از روایی ساختار است که به بررسی تفاوت موجود بین یک سازه (به عنوان مثال عصبانیت) در مطالعه با دیگر سازه‌ها موجود در مطالعه (همانند افسردگی) می‌پردازد.
- روایی محتوا (Content Validity): در این نوع از روایی به بررسی اینکه ابزار و یا آزمون مورد استفاده تا چه حد در بردارنده محتوای مورد نظر در مطالعه ما است، میپردازیم.
- روایی ملاک یا معیار(Criterion-Related Validity): اگر بخواهیم بدانیم که دقت اندازه‌گیری یک معیار در تعیین معیار یا برآمد دیگر تا چه میزان است از این نوع از روایی استفاده می‌نماییم. اگر یک آزمون برای پیش‌بینی عملکرد یا رفتار در شرایط متفاوت و یا زمان مختلف(گذشته، حال یا آینده) مفید باشد می‌گوییم آن آزمون از روایی ملاک یا معیار برخوردار است.
- روایی پیشگویی کننده (Predictive Validity): در واقع این نوع از روایی اشاره به این دارد که نمره و یا مقدار به دست آمده از یک آزمون و یا ابزار تا چه میزان میتواند عملکرد یک معیار مد نظر را در آینده پیش‌بینی نماید.
- روایی همزمان (Concurrent Validity): روایی همزمان یک نوع از روای ملاک یا معیار میباشد که میزان همبستگی بین نمره‌های آزمون و یا ابزار مورد نظر و ملاک که هر دو مورد در یک زمان یکسان به دست آمده باشند به دست می‌آید.
- روایی صوری (Face Validity): نوعی از روایی محتوا میباشد که به ما می‌گوید به صورت ظاهری آزمون و یا ابزار مورد نظر توانایی اندازه‌گیری مفهوم پژوهش را دارد.
- روایی تمایز (Discriminant Validity): این نوع از روایی که روایی تشخیصی و یا واگرا نیز نامیده می‌شود، نوعی از روایی ملاک است که به همبستگی بین سوالات در یک حیطه اشاره دارد. در واقع این نوع از روایی به ضریب همبستگی سوالات درون یک حیطه دلالت دارد که می‌گوید سوالات در یک حیطه باید ضریب همبستگی بالایی با یکدیگر داشته باشند اما سوالات در حیطه‌های مختلف باید ضریب همبستگی پایینی با یکدیگر داشته باشند.
- روایی تجربی (Experimental Validity): این نوع از روایی اشاره به این دارد که یک ابزار و ملاک از نظر تجربه محقق میتواند شاخصه مورد نظر مطالعه را بسنجد یا خیر.
- روایی پیامدی (consequential validity): این روایی به پیامدهای مثبت و منفی اجتماعی یک آزمون یا ابزار اشاره می‌کند.
- روایی بوم شناختی (Ecological validity):این نوع از روایی معیاری برای بررسی عملکرد یک آزمون و یا ابزار در پیش‌بینی پیامدهای آن در دنیایی واقعی دارد.
- روایی بیرونی (External Validity): این نوع از روایی در واقع تعمیم یافته‌های یک مطالعه به شرایط، افراد، موقعیت ها و معیارهای مد نظر در مطالعه میباشد. در واقع یک مطالعه بدون روایی بیرونی بالا نمی‌تواند نتایج خود را به جامعه بزرگتر تعمیم دهد.
- روایی درونی (Internal Validity):در تحقیقات تجربی هدف یافتن روابط علی و معلولی بین متغیرهاست. در روایی درونی مواردی همچون تاثیر متغیر مستقل بر روی وابسته، واقعی بودن این تاثیر تنها به علت اثر متغیر مستقل و نیز دخالت متغیرهای مزاحم و کنترل نشده برای تعمیم‌پذیری نتایج بررسی می‌گردد.
- روایی نتیجه گیری آماری ( Statistical Conclusion Validity): با استفاده از این روایی میتوان میزان صحت یا معقول بودن نتیجه آماری به دست امده و ارتباط مشاهده شده بین متغیرها را بررسی نمود.
پایایی چیست؟ (Reliability)
پایایی به این اشاره دارد که یک ملاک، ابزار و یا یک روش در صورت تکرار مجدد در شرایط یکسان نتایج یکسانی داشته باشد. در واقع به ملاک، ابزار، آزمون و یا یک روشی پایا می‌گوییم اگر در صورت تکرار در شرایط یکسان نتایج مشابهی به دست آید.
مثال1: محققی در آزمایشگاه مشغول آزمایش دمای یک مایع میباشد. وی در شرایط یکسان در طی چندین بار دمای مایع را اندازه‌گیری می‌کند و هر بار دماسنج دمای مشابهی را نشان میدهد. پس میتوان گفت که نتایج دماسنج مورد نظر از پایایی لازم برای اندازه گیری دمای مایع برخوردار است.
مثال2: بعنوان مثال فرض کنید پرسشنامه‌ای برای تعیین یک بیماری وجود دارد. 5 بیمار مبتلا به آن بیماری خاص را در نظر می‌گیریم و 3 پزشک را برای تشخیص بیماری آنها مشخص می‌نماییم. پرسشنامه مذکور را به پزشکان ارائه و از آنها میخواهیم که تشخیص بیماری را با توجه به پرسشنامه مذکور تعیین نمایند. این 3 پزشک هر کدام تشخیص‌های متفاوتی از بیماری را در این 5 بیمار تعیین می‌نمایند. در این چنین شرایطی میتوان گفت که پرسشنامه مذکور از پایایی لازم برخوردار نیست چونکه نمی‌تواند بدرستی تعیین کننده وجود بیماری در بیماران باشد.
انواع پایایی در مطالعات پژوهشی- (Types of Reliability)
اینکه بگوییم روایی و پایایی در مطالعات پژوهشی برقرار است به تنهایی کافی نمیباشد. روشهای آماری بسیار زیادی وجود دارد که می‌توانید از آنها برای اندازه‌گیری پایایی استفاده نمایید. بعنوان مثال
- روش آزمون بازآزمون(Test Retest): ارائه یک آزمون بیش از یکبار در یک گروه آزمودنی تحت شرایط یکسان است.
- روش فرم‌های موازی (Parallel forms): با استفاده از این روش پایایی یک ابزار تشخیصی با استفاده از تخصیص دو نسخه متفاوت از آن ابزار(که هر دو نسخه باید شامل موارد همانند و مشابهی از لحاظ ساختاری، مهارتی و یا دانشی باشند) به یک گروه از افراد به دست می‌آید. سپس همبستگی دو نسخه برای تعیین ثبات نتایج در نسخه های متفاوت بررسی می‌گردد.
- روش همسانی درونی (Internal Consistency): در این روش همسانی یا یکنواختی مولفه ها، حیطه‌ها یا اجزای تشکیل دهنده یک آزمون مورد ارزیابی قرار می‌گیرد.
- روش دو نیمه کردن (Split half): روشی که در آن یک آزمون یا ابزار به دو نیمه تقسیم می‌گردد و رابطه همبستگی بین دو نیمه سنجیده می‌شود. در هر دو نیمه باید سختی سوالات به صورت یکسان توزیع گردیده باشد.
- روش کودر-ریچاردسون (Kuder-Richardson): با استفاده از این روش که آزمون همگنی بین سوالات است، دو آزمون انجام می‌گیرد که نسبت پاسخ های درست به نادرست را در یک ابزار یا آزمون در نظر می‌گیرند.
- روش ضریب آلفای کرونباخ(Cronbach’s Alpha): معمول ترین روش بررسی پایایی میباشد که تناسب گروهی از سوالات یا آیتم‌های یک ابزار، آزمون یا یک سازه را با آن می‌سنجند.
ارتباط بین روایی و پایایی – Validity vs. Reliability
روایی و پایایی در مطالعات پژوهشی، در ارتباط خیلی نزدیکی با یکدیگر قرار دارند.آزمون و یا ابزاری که روایی داشته باشد پایا نیز هست. اما عکس این قضیه لزوما برقرارنمی‌باشد و شرط لازم برای روایی یک آزمون پایایی آن است ولی شرط کافی نیست.
بعنوان مثال آزمون آیلتس و یا تافل به دلیل اینکه میزان یادگیری یک فرد از زبان انگلیسی را مورد ارزیابی قرار میدهد از روایی لازم برخوردار است (و بنابراین پایا نیز هست). اما ممکن است که برخی از آزمون‌ها از پایایی برخوردار باشند اما روایی نداشته باشند.
مثال: احتمال دارد که آزمون یا ابزاری پایا باشد اما از روایی برخوردار نباشد. بعنوان مثال یک دماسنج را در نظر بگیرید که پایاست (یعنی نتایج یکسان و دمای یکسانی را در شرایط یکسان نشان میدهد)، اما روایی نداشته باشد (چونکه دماسنج مقدار دمای واقعی را به ما نشان نمی‌دهد و معیوب میباشد)
ارتباط بین روایی و پایایی مستقیم است یعنی با افزایش پایایی ، روایی نیز افزایش می‌یابد و بالعکس. اما برخی محققین رابطه معکوس بین روایی و پایایی را نشان داده‌اند(همانند مصاحبه با سوالات باز که پایایی کمی دارد ولی روایی بالایی دارد در حالی که یک مصاحبه استاندارد نتیجه عکس دارد).
اگر آزمون یا ابزاری در هر بار اجرا روی تعدادی نمونه، نتایج مختلفی داشته باشد آن آزمون یک آزمون پایا نخواهد بود. در واقع این آزمون و ابزار اهداف مورد نظر مطالعه را به درستی اندازه نخواهد گرفت. اگر یک آزمون چیزی را به درستی اندازه‌گیری نکند هیچ اطلاعات مفیدی به ما نخواهد داد.
مثال: یک آزمون ریاضی برای اندازه‌گیری محتوا و هدف های درس تاریخ مناسب نمیباشد(روایی ندارد) اما این آزمون میتواند مطالب ریاضی را با دقت(به طور پایا) اندازه‌گیری کند. بعنوان مثال دیگر ترازویی را در نظر بگیرید. شخصی 80 کیلویی قصد دارد با آن وزن خود را بسنجد. آن شخص ده بار وزن خود را روی ترازو اندازه گیری و در هر مرتبه ترازو عدد 75 کیلو را نشان میدهد. در این مثال میتوان گفت که ترازو پایاست (هر مرتبه مقدار 75 کیلو را نشان میدهد) اما روا نیست (وزن واقعی شخص که 80 کیلو است را 75 کیلو نشان میدهد)
در واقع هدف از روایی و پایایی در مطالعات پژوهشی بررسی کیفیت تحقیق مد نظر میباشد. این مفاهیم نشان دهنده این هستند که یک روش، تکنیک، آزمون و یا ابزار تا چه حد از کیفیت، صحت و دقت مورد نیاز برخوردار است.
ارتباط بین انواع خطاها (تصادفی و سیستماتیک) و حجم نمونه با روایی، پایایی
در انجام مطالعات ما با انواع خطاهای پژوهشی در مطالعات روبرو هستیم که عبارتند از خطای تصادفی و انواع تورش در مطالعات (خطای سیستماتیک یا منظم). پایایی ارتباط مستقیمی با حجم نمونه دارد به این صورت که با افزایش حجم نمونه (کاهش خطای تصادفی) پایایی بهبود می‌یابد و خطای تصادفی کم می‌شود. اما روایی با انواع تورش در مطالعات در ارتباط است و هر چه قدر تورش کاهش یابد مقدار روایی افزایش پیدا می‌کند.
افزایش روایی که نشان دهنده دقت و صحت اندازه‌گیری میباشد مستلزم استفاده از ابزارهای استاندارد و موثر میباشد. در شکل زیر تیراندازی قصد شلیک به یک سیبل تیراندازی را دارد.حالت‌های مختلفی امکان دارد رخ دهد که در ادامه به تفصیل به هر کدام خواهیم پرداخت.
- پایایی ضعیف و روایی قوی: حال اگر این تیرانداز تمام تیرهایی که شلیک می‌کند الگوی خاصی نداشته باشد و در سراسر سیبل خورده باشد میتوان گفت که تیراندازی وی از پایایی ضعیفی برخوردار است اما روایی لازم را داراست.
- پایایی ضعیف و روایی ضعیف: تیرانداز بی دقتی را تصور کنید که قصد شلیک به یک سیبل را دارد. وی در هر بار تیراندازی تیر را به یک سمت شلیک می‌کند و از این رو هیچ یک ازتیرها در نزدیکی تیر قبلی به سیبل اصابت نمی‌کند. یعنی در شرایط ثابت در تکرار یک عمل نتایج شبیه و یا نزدیک به هم ایجاد نمی‌شود. در اصطلاح میتوان گفت که تیراندازی چنین فردی پایا نیست. از آنجا که در عمل هیچ یک از تیرها نیز به مرکز سیبل برخورد نکرده‌اند میتوان اینطور فرض کرد که تیراندازی وی معتبر(روایی ندارد) نیست. اگر تعداد تیرهای شلیک شده زیاد باشد چون میانگین و برآورد نقاط پراکنده در حدود مرکز سیبل است میانگین نتایج تیر اندازی وی را میتوان معتبر فرض کرد.بدین ترتیب ملاحظه می‌کنید که خطاهای تصادفی سبب مخدوش شدن پایایی میشوند. علاوه بر این با افزیش تعداد نمونه‌ها میتوان اثر خطاهای تصادفی را در کاهش اعتبار حذف کرد.
- روایی قوی و پایایی قوی: اگر تمام تیرهای این تیراندازه به مرکز سیبل و در یک ناحیه برخرود کرده باشد میتوان گفت که تیراندازی وی از روایی و پایایی لازم برخوردار است. به این معنی که در صورت تکرار شرایط نتایج مشابهی به دست می‌آید(ثبات دارد) و نیز ابزار مورد استفاده وی دقیق میباشد
- پایایی قوی و روایی ضعیف: حال فرض کنید که تیر انداز دقت لازم را در تیر اندازی خود دارد ولی لوله تفنگ وی به یک سمت منحرف است. در اینصورت پایایی تیر اندازی وی مخدوش نمی‌شود چرا که در عمل تمام تیرهای وی نزدیک به هم به یک نقطه سیبل اصابت می‌کنند . در این مورد تمامی تیرها به یک اندازه از مرکز سیبل دور بوده و به سمت انحراف لوله منحرف شده‌اند. در این حالت انحراف لوله میتواند نمادی از یک خطای سیستماتیک یا تورش باشد که باعث کاهش اعتبار نتایج شده است. همانطور که ملاحظه می‌نمایید تورش سبب مخدوش شدن اعتبار می‌شود ولی بر پایایی تاثیری ندارند. بدیهی است که در اینجا تعداد نمونه های مورد بررسی تاثیری در حذف خطای سیستماتیک و در نتیجه افزایش اعتبار ندارند. به طور خلاصه میتوان به این استنتاج رسید که با افزایش تعداد نمونه های میتوان اثر خطاهای تصادفی را از بین برد و اعتبار را افزایش داد. ولی این افزایش تعداد نمونه تاثیری در افزایش پایایی ندارد. همچنین جزئی از اعتبار که در اثر تورشها مخدوش میشوند نیز از افزایش یا کاهش تعداد نمونه‌ها تاثیر نمی‌گیرند.
نتیجه گیری
روایی و پایایی در مطالعات پژوهشی نشان دهنده کیفیت ثبات، دقت و صحت یک ابزار، آزمون و یا پرسشنامه میباشد. مفهوم روایی و پایایی در مطالعات پژوهشی یکی از مهمترین موارد ذکر شده در طراحی مطالعات میباشد. پایایی عبارت از ثبات، تکرارپذیر و همسان بودن نتایج ابزار و آزمون مورد استفاده در شرایط یکسان است. درحالی که روایی به مناسب بودن آن ابزار و آزمون برای اندازه گیری شاخص مورد نظر اشاره دارد. این دو مفهوم در ارتباط تنگاتنگی با یکدیگر دارند. آزمونی که از روایی لازم برخوردار باشد پایا نیز هست. اما عکس این قضیه لزوما برقرار نیست و پایا بودن یک شرط لازم اما ناکافی برای روایی میباشد. پایایی را میتوان با افزایش حجم نمونه بهبود بخشید. اما روایی مربوط به تورش در مطالعه میباشد و برای بهبود آن در مطالعه باید طراحی مطالعه و ابزار مورد استفاده را بهینه سازی نماییم.
