تعریف برخی شاخص‌های پژوهشی

بررسی همکار Peer-Review یا داوری همتا

در نشر آکادمیک هدف بررسی همکار، بررسی کیفیت مقالات ارائه شده برای انتشار در یک ژورنال علمی است. پیش از آنکه یک مقاله در یک ژورنال متکی به بررسی همکار برای انتشار مناسب تلقی شود، می‌بایست از مراحل زیر عبور کند:

✓نویسنده مقاله می‌بایست آن را به دبیر ژورنال ارائه کند تا دبیر مقاله را به خبرگان آن حوزه اهدا کند. چون که تخصص ارزیابان هم در همان حوزه‌ نویسنده است، آنها به عنوان همتایان نویسنده به حساب می‌آیند (به همین دلیل بررسی همکار نام دارد).
✓این ارزیابی‌های منصفانه با هدف بررسی دقیق کیفیت دست نوشته ارائه شده انجام می‌شوند.
✓ارزیابان دست نوشته را برای دقت بررسی می‌کنند و اعتبار روش تحقیق و رویه پژوهش را بررسی می‌کنند.
✓در صورت لزوم، بازبینی‌هایی را پیشنهاد می‌کنند. اگر مقاله از نظر ایشان فاقد اعتبار علمی و دقت لازم باشد، آن را رد می‌کنند. زیرا ژورنالی که بررسی همکار انجام می‌دهد مقالاتی که فاقد استانداردهای لازم برای هر رشته باشد را منتشر نمی‌کند، مقالات بررسی شده توسط بررسی همکار که برای انتشار قبول شده‌اند، نمود بهترین پژوهش‌ها در هر حوزه هستند.

منبع از وبسایت : tehrantrainer

شروع روش داوری همتا

داوری همتا از حدود 300 سال پیش برای ارزیابی مقالات علمی در ژورنال‌ها به کار گرفته شد. شواهد حاکی از آن است که مجله علمی The Philosophical Transactions of the Royal Society برای اولین بار از این روش ارزیابی برای سنجش اعتبار مقالات علمی دریافتی استفاده کرده است.

اهمیت داوری همتا در پژوهش

نقدهای زیادی در رابطه با استفاده از داوری همتا مطرح می‌شود. از سوی دیگر، بررسی‌های زیادی در تایید این روش انجام شده‌است و جوامع علمی کماکان به داوری همتا اطمینان دارند. مانند تحقیقی که الزویر (Elsevier) به‌عنوان یکی از معتبرترین ناشران علمی جهان با همکاری موسسه علمی خیریه Sense about Science در سال ۲۰۰۹ انجام داده‌اند. نتیجه تحقیقی مشابه که در سال 2015 انجام شده حاکی از آن است که حدود 82 درصد محققان بر این باور هستند که «در صورت عدم انجام داوری همتا، کنترلی روی جوامع علمی نخواهد بود».

چهار روش‌ برای داوری همتا

۱- داوری پنهان یا داوری یک‌سو کور Single blind review داوری یک طرفه :

داوران نام نویسندگان را می‌دانند اما نویسندگان نمی‌دانند که چه کسی متن آنها را بررسی کرده است؛ مگر آنکه بازخوان‌ها (داوران) طبق میل خود گزارش را امضا کند. این روش نوعی از ارزیابی‌های قدیمی و درعین‌حال متعارف‌ترین نوع داوری مقالات علمی است.

۲- داوری پنهان دوسو کور Double-blind review داوری دو طرفه

بازخوان ها نام نویسندگان را نمی‌دانند و نویسندگان نیز نمی‌دانند که چه کسی متن آنها را ارزیابی کرده است. استفاده از این روش نیز برای داوری مقالات علمی بسیار محبوب است.

۳- داوری سه‌سرکور (Triple-blind review)

در این روش، نه تنها هویت نویسنده و بازخوان برای یکدیگر ناشناس است، بلکه حتی سردبیر و ویراستار نیز هویت نویسنده را نمی‌داند. در روش داوری سه‌سر ناشناس، مقالات در همان مرحلۀ ارسال از اسم خالی و به‌گونه‌ای مدیریت می‌شود که سوگیری‌های احتمالی به حداقل برسد. مجلات و نشریات زیادی از این نوع داوری مقالات علمی استفاده نمی‌کنند.

۴- داوری شناس یا شناخته شده (Open review)

نویسندگان می‌دانند که داورها چه کسانی هستند و همچنین داوران نیز می‌دانند که نویسندگان چه کسانی هستند. اگر متن پذیرفته شود، گزارش‌های داوران نامبرده شده همراه با مقاله چاپ می‌شود.

بسیاری از افراد بر این باور هستند که این سبک داوری مقالات علمی از ارسال نظرات مخرب و همچنین از سرقت ادبی جلوگیری می‌کند و همچنین به کار بازخوان‌ها چارچوب می‌دهد و سبب بازخوانی صادقانه و آزاد می‌شود. این در حالی است که برخی از افراد این مدل را چندان صادقانه تلقی نمی‌کنند چراکه تعارف، ادب یا ترس از عواقب احتمالی ممکن است باعث ارائۀ انتقادات شود.

برای کسب اطلاع دربارۀ سیستم و نحوۀ بازخوانی و داوری مجلات، باید به صفحۀ «دربارۀ مجله» رجوع و آن را مطالعه کنید. روش به‌کار گرفته شده برای داوری در این صفحه درج خواهد شد.

لزوم به‌کارگیری داوری همتا

✓قوی‌تر: داوران به وجود شکاف‌هایی در متن اشاره می‌کنند که نیازمند توضیحات و آزمایشات اضافی است.
✓قابل‌فهم‌تر: اگر بخش‌هایی از متن شما به‌سختی قابل‌درک باشند، بازخوان‌ها می‌توانند تغییراتی را پیشنهاد دهند.
✓مفیدتر: داوران همتا اهمیت مقالۀ شما را نسبت به مقالات دیگران در این حوزه را نیز در نظر می‌گیرند.

منبع : transnet.ir/blog/peer-review-importance

پایایی reliability و روایی validity

روایی و پایایی در مطالعات پژوهشی حاکی از کیفیت، ثبات، دقت و صحت یک ابزار، آزمون یا پرسشنامه است. پایایی (Reliability) به میزان پایداری و ثبات سنجش اشاره دارد و روایی (Validity) به میزان دقت آن اشاره دارد.

ممکن است یک آزمون پایا باشد، اما روا نباشد. با این حال، چنانچه آزمونی روا باشد، معمولاً پایا نیز است یعنی آزمونی که از روایی لازم برخوردار باشد پایا نیز هست. اما عکس این قضیه لزوماً صدق نمی‌کند.

پایایی یا قابلیت اطمینان Reliability به میزان ثبات و پایداری یک ابزار سنجش اشاره دارد. اگر بتوان در شرایط مشابه، با استفاده از روش‌های مشابه، به نتیجه‌ای نتیجه‌ای مشابه رسید، ابزار سنجش پایا است.
اگر دمای آب را چندین بار، تحت شرایط مشابه، اندازه‌گیری کنید و هر بار، شاهد نتیجۀ عدد یکسانی باشید، نتیجۀ آزمایش‌تان پایا است.

روایی و اعتبار Validity پرسشنامه یا پژوهش به میزان دقت آن اشاره دارد. هر چه میزان روایی آزمون یا پژوهش بالاتر باشد، نتیجۀ آن تطابق به واقعیت نزدیک‌تر خواهد بود.

اگر یک ترمومتر، در شرایط مشابه، دمای یکسانی را نشان ندهد، احتمالاً خراب است و در نتیجه، نتایجی که نشان می‌دهد معتبر نیستند.

به‌طور کلی، سنجش روایی، در مقایسه با سنجش پایایی، دشوارتر است.

چگونگی ارزیابی پایایی و روایی : پایایی را می‌توانید با مقایسۀ نتایج چند اندازه‌گیری بسنجید. اما ارزیابی روایی دشوارتر است. می‌توانید آن را با مقایسۀ نتایج به‌دست‌آمده با دیگر داده‌ها یا نظریۀ مرتبط بسنجید. روش‌های متعددی برای تخمین روایی و پایایی وجود دارد.

انواع پایایی : انواع پایایی را می‌توان با استفاده از روش‌های مختلف آماری تخمین زد.

۱- بازآزمایی : بازآماییْ ثبات نتایج را در گذر زمان می‌آزماید: آیا با تکرار آزمون، به نتیجه‌ای مشابه دست پیدا می‌کنید؟

مثال: گروهی از شرکت‌کنندگان پرسش‌نامه‌ی مربوط به ویژگی‌ای شخصیتی را پُر می‌کنند. اگر این پرسش‌نامه را روزها، هفته‌ها یا ماه‌ها بعد، مجدداً، پر کنند و نتیجۀ مشابهی حاصل شود، پایایی بازآزمایی پرسشنامه بالا است.

۲- پایایی بین مشاهده‌گران : سازگاری اندازه در میان مشاهده‌گران.

مثال: پنج آزمون‌گر، براساس معیارهای ارزیابی، نتایج متفاوتی را برای پروژۀ دانشجویی مشخصی را ارائه می‌کنند. این حاکی از پایایی بین‌مشاهده‌گران پایین است (به عنوان مثال، وقتی معیارها بیش‌ازحد ذهنی باشد و عینی نباشد، این اتفاق خواهد افتاد).

۳- سازگاری درونی :
سازگاری خود سنجش: آیا از بخش‌های مختلف آزمون، که برای سنجش مورد مشخصی طراحی شده‌‌اند، نتیجۀ مشابهی را دریافت کرده‌اید؟

مثال: پرسش‌نامه‌ای را برای سنجش میزان عزت نفس طراحی کرده‌اید. اگر نتایج را، به‌طور تصادفی، به دو قسمت تقسیم کنید، باید همبستگی قوی میان دو نتیجه یا دسته وجود داشته باشد. اگر تفاوت زیادی میان دو نتیجه وجود داشته باشد، سازگاری درونی پایین است.

انواع روایی : روایی آزمون را می‌توان براساس سه نوع اصلی مدرک سنجید. هر نوع را می‌توان از طریق روش‌های آماری یا قضاوت‌های تخصصی سنجید.

۱- روایی سازه : نزدیکی یک سنجه به دانش و تئوری موجود در مورد مفهومی که ارزیابی شده است.

مثال: پرسشنامه عزت نفش را می‌توان با اندازه‌گیری دیگر ویژگی‌های مربوط به مفهوم عزت نفس، مانند مهارت‌های اجتماعی و خوش‌بینی، سنجید. اگر همبستگی قوی میان نمرات عزت نفس و نمرات مربوط به این ویژگی‌ها وجود داشته باشد، روایی سازه پرسش‌نامه‌تان بالا است.

۲- روایی محتوایی : این سنجش، تا چه میزان، همۀ ابعاد مفهوم اندازه‌گیری‌شده را می‌سنجد.

مثال: آزمونی که می‌خواهد سطح زبان اسپانیایی دانش‌آموزان کلاسی را بسنجند شامل مهارت‌های خواندن، نوشتن و صحبت کردن می‌شود، اما مهارت گوش را شامل نمی‌شود. متخصصان معتقدند که درک شنیداری از ابعاد ضروری توانش زبانی است، بنابراین، چنین آزمونی فاقد روایی محتوایی برای سنجش سطح زبان اسپانیایی دانش آموزان است.

۳- روایی ملاکی : میزان تطابق نتایج یک سنجه با دیگر سنجه‌های معتبر مفهومی مشابه.

مثال: مطالعه‌ای در مورد بررسی نظرات سیاسی رأی‌دهندگان صورت می‌گیرد. اگر نتایج مطالعه پیش‌بینی دقیقی را از نتیجه نهایی انتخابات ارائه دهد، مطالعه از روایی ملاکی بالایی برخوردار بوده است.

عوامل موثر در روایی و پایایی نتایج پژوهش

طراحی پژوهش
انتخاب روش‌های مناسب
انتخاب درست نمونه‌ها
حفظ انسجام پژوهش
انجام پژوهش با دقت بالا
روش‌های درست اندازه‌گیری را انتخاب کنید.
برای انتخاب سوژه، از روش‌های درست نمونه‌گیری استفاده کنید.
همواره، در همه مراحل پژوهش، از روش‌های‌ مشخص استفاده کنید.
پژوهش را در شرایط استاندارد انجام دهید.

منبع : transnet.ir/blog

شاخص H-Index، شاخصی برای ارزیابی علمی پژوهشگران است که میزان تأثیر گذاری آن ها را در پیشبرد علم نشان می دهد. این شاخص در حال حاضر به عنوان بهترین معیار موجود در ارزیابی علمی افراد به کار برده می شود.

شاخص H-index یا شاخص H، اولین بار توسط Jorge E. Hirsch که یک فیزیکدان دانشگاه کالیفورنیای جنوبی است به عنوان ابزاری جهت ارزیابی کیفی تحقیقات علمی پژوهشگران ارائه شد. این شاخص برای یک پژوهشگر عبارت است از H تعداد مقاله ارائه شده توسط وی، که به هر کدام حداقل H بار استناد شده باشد . برای مثال اگر ۵ مقاله از کل مقالات منتشر شده توسط یک محقق، هر کدام حداقل ۵ بار به عنوان مرجع در مقالات دیگر مورد استفاده قرار گرفته باشد، شاخص H آن محقق برابر ۵ است. بنابراین H-index نتیجه تعادل بین تعداد مقالات و استنادات است.
خود مبدع شاخص یعنی Hirsch که خود شاخص H برابر ۵۵ دارد، معتقد است یک «دانشمند موفق» باید پس از ۲۰ سال تلاش علمی-پژوهشی شاخص H بیشتر از ۲۰ داشته باشد. این شاخص می بایست برای یک «دانشمند برجسته»، ۴۰ و برای یک «دانشمند بی نظیر» برابر با ۶۰ در طی ۲۰ سال باشد.
سه پایگاه اطلاعاتی معروف وجود دارد که شاخص H را محاسبه می کنند. پایگاه های Web of Knowledge و Scopus که نیاز به اشتراک دارند و Google Scholar که این کار را به صورت رایگان انجام می دهد.

نقدهای وارد بر این شاخص

✓ این شاخص تعداد نویسندگان یک مقاله و سهم آن ها در پژوهش را مد نظر قرار نمی دهد.

✓ این شاخص محدودیت های موجود در تعداد ارجاعات زمینه های مختلف علمی و مجلات مختلف را مد نظر قرار نمی دهد. برخی رشته های علمی و به تبع آن برخی مجلات، محدودیت ها و شیوه های مختلفی برای استناد مقالات دارند، گاها دیده می شود یک مقاله چند صد رفرنس دارد اما مقاله ای در زمینه علمی دیگر تعداد رفرنس های به مراتب کمتری دارد که این ناشی از تفاوت مجلات و رشته های علمی است.

✓ شاخص H محدود به تعداد مقالات منتشر شده است. به عبارت دیگر اگر یک محقق تعداد محدودی مقاله داشته باشد که به دفعات بسیار ارجاع داده شده اند، شاخص H بالایی نخواهد داشت. ( با داشتن citation در سرچ گوگل تعداد استنادها بدست می‌آید )

✓ شاخص H متن ارجاعات را مورد بررسی قرار نمی دهد. برای مثال در یک مقاله ممکن است به مقالات زیادی استناد شده باشد، اما از بسیاری تنها یک جمله از آورده شود و محوریت پژوهش تنها بر چند مقاله خاص باشد.

✓ این شاخص خود ارجاعی را نیز مد نظر قرار می دهد. به این ترتیب یک محقق می تواند بار ها به تحقیقات پیشین خود استناد کند و این استناد ها در شاخص H وی تاثیر می گذارند.

سایتیشن citation در لغت به معنای ارجاع یا رفرنس دادن است. به عبارت دیگر وقتی شما در مقاله خود و به خصوص در بخش مقدمه مقاله به سایر مقالات و کتاب ها رفرنس می دهید عملا میزان سایتیشن ان مقاله را افزایش می دهید. سایتیشن هر مقاله را می توانید در سایت گوگل اسکولار مشاهده نمایید.