ارزیابی جمعی پروژه‌های درسی

رسم است در دانشگاه که دانشجوهای خوب سال‌بالایی، کمک‌استاد¹ می‌شوند تا وظیفه تعریف و ارزیابی پروژه‌ها را بر عهده بگیرند. فکر می‌کنم از این پروژه‌های درسی و کمک‌استادها چیزهای مهمتری یاد گرفته باشم تا خود دروس. در واقع، وضع پروژه‌های درسی بهتر است از تدریس یا امتحان و خوب‌تر کردن چیزهای خوب راهی است که ما انتخاب کرده‌ایم².

به لطف کمک‌استادهای پرتلاش، درس مهندسی نرم‌افزار ۲ در دانشگاه علم و صنعت، تبدیل شده است به انجام یک پروژه تقریبا تجاری توسط گروه‌های پنج یا شش نفری دانشجوها. یعنی هر گروه باید محصولی را در طول ترم آماده کند و در چند مرحله برای گروه‌های دیگر ارائه دهد. ما می‌خواستیم پروژه‌ها برای حل مشکلات واقعی تعریف شوند و همچنین با مشارکت دادن دانشجوها در ارزیابی کار همدیگر به دنبال ایجاد رقابتی بودیم در تولید نرم‌افزارهای با کیفیت و به درد بخور.

ایده ارزیابی جمعی، بی‌سابقه نیست. سایتی هست به نام کورسرا که درس‌های دانشگاهی را به صورت مجازی ارائه می‌کند. بعضی از تمرین‌های درسی این سایت به صورت خودکار ارزیابی می‌شوند؛ مثلا شما برنامه‌ای می‌نویسید و متناسب با عملکرد آن، نمره می‌گیرید. همه درس‌ها را نمی‌شود این طوری ارزیابی کرد، گاهی باید چیزی طراحی کنید یا مطلبی بنویسید. در این درس‌ها خود دانشجوها باید کار همدیگر را ارزیابی کنند و البته قانونی هم وجود دارد که ارزیابی‌کننده نمی‌تواند به همه خوب امتیاز بدهد، باید از بعضی کم کند تا به دیگران بیافزاید.

برای اصلاح درس، از پیشنهاد پروژه شروع کردیم و گفتیم که باید در آن بخشی را به مشکل اختصاص دهند؛ یعنی با زحمتی که می‌کشند چه چیزی را می‌خواهند بهتر کنند. همچنین خواستیم که فکر کنند وقتی محصول آماده شد، چطور آن را به دست مخاطب می‌رسانند. یک نمونه هم نوشتیم تا الگو بگیرند.

چند مرحله ارائه داشتیم که هر گروه باید حاصل کارش را برای همه دانشجوها ارائه می‌داد. یعنی هم باید می‌گفتند که چه ویژگی‌هایی افزوده‌اند، چطور تقسیم کار کرده‌اند و اینکه قرار است برای مرحله بعد چه کارهایی بکنند. ما از جهت‌های مختلفی کار هر گروه را ارزیابی می‌کردیم و نتیجه ارزیابی برای همه منتشر می‌شد. برای مشارکت دانشجوها هم سامانه‌ای درست کرده بودیم که بعد از هر ارائه برای همه نامه‌ای می‌فرستاد تا نظرشان را در مورد کارهای دیگران بگویند. یعنی باید به کار هر گروه امتیاز می‌دادند، البته با همان شکل که نمی‌توانستند به همه خوب امتیاز بدهند و باید از یک گروه کم می‌کردند تا به دیگری اضافه کنند.

به ما انتقاد می‌کردند که دانشجوها به رفقایشان بیشتر امتیاز می‌دهند و کمتر به کیفیت کارها توجه دارند. راستش خودمان هم احساس می‌کردیم که امتیازها خیلی با معنی نیستند، یعنی بالا بودن امتیاز یک گروه، نشان از کیفیت بالای محصول آنها نداشت. ولی خب برای خود دانشجوها مهم بود و می‌دیدیم که گاهی به امتیازی که دیگران داده‌اند، ارجاع می‌دهند.

فکر کردیم اگر قرار باشد دانشجوها از حاصل کار همدیگر استفاده کنند و به هم نمره بدهند، ارائه پروژه‌ها باید قالب نوشتاری داشته باشد. این طوری فرصت نقد کارها هم فراهم می‌شود و بهتر از ارائه‌های شفاهی است که همه فقط گوش می‌کنند. اگر تا حالا مقاله‌تان توسط داور یک ژورنال یا کنفرانس نقد شده باشد، تجربه کرده‌اید که داور اول می‌گوید شما در این مقاله چه کار کرده‌اید و بعد نقاط ضعف یا قوت را بیان می‌کند. خب آدم دوست ندارد اشکالات کارش را بشنود، اما احساس خوانده شدن، ارزشش را دارد؛ مثل اینکه قدر زحمت شما دانسته شده باشد.

این بار رفتیم سراغ درس هوش مصنوعی که کمک‌استادها، خوب را مدیریت می‌کردند¹. پروژه‌های این درس بسیار جالب و کاربردی هستند و با قالب نوشتاری که به دنبالش بودیم، تناسب دارند. از دانشجوها انتظار داشتیم که یک پژوهش‌نامه تهیه کنند و برای اینکه نقطه شروع خوبی داشته باشند، با کمک دوستان، چندین پیشنهاد پروژه آماده کردیم. هر پیشنهاد توضیح مختصری در مورد مساله داشت به همراه چند مقاله مرجع برای شروع کار؛ مثل این یکی. دانشجوها باید در چند مرحله این گزارش را تکمیل می‌کردند:

1. اول باید با مساله آشنا می‌شدند، مقدمه‌ای می‌نوشتند و مقاله‌هایی را با همان موضوع پیدا می‌کردند.

2. بعد مقاله‌ها را می‌خواندند و کارهای مرتبط را پر می‌کردند از روش‌هایی که برای حل مساله استفاده شده.

3. سپس نوبت انجام آزمایش بود، یعنی اینکه پیاده‌سازی کنند و نتایج را گزارش دهند.

4. آخرین مرحله را هم گذاشته بودیم برای ارتقا، یعنی بهتر کردن نتیجه‌ای که در مرحله قبل گزارش کرده بودند.

اگر قرار بود فقط خودمان گزارش‌ها را بخوانیم، می‌شد با ایمیل فایل‌ها را تحویل بگیریم. اما برای اینکه همه بتوانند حاصل کار همدیگر را بخوانند و نقد کنند، نیاز به یک سایت بود. کار سایت با انتخاب پیشنهاد پروژه‌ها شروع می‌شد، خیلی تجربه خوبی نداشتیم از اینکه استاد موضوعات را مشخص کند و چند دانشجو بخواهند یک موضوع را بردارند. زمان زیادی را برای انتخاب گذاشتیم که دانشجوها همه پیشنهادها را بخوانند و بروند سراغ علاقمندی خودشان. اگرچه وقتی امکان انتخاب را قرار دادیم، به نظر می‌رسید که پیشنهاد پروژه‌ها خوانده نشد و فقط عنوان‌ها مورد بررسی قرار گرفت؛ یعنی سرعت انتخاب پروژه‌ها خیلی بالا بود.

بعد از انتخاب پروژه‌ها تا اولین ارزیابی یک ماه فرصت بود. در همین زمان که دانشجوها باید یکی-دو مقاله می‌خواندند و مقاله‌های مرتبط با موضوع را پیدا می‌کردند، ما هم مشغول آماده کردن سایت بودیم برای ارزیابی پروژه‌ها. وقتی مرحله اول به پایان رسید، نتایج را خیلی شفاف برای همه نمایش دادیم، تا پروژه‌ها را جدی بگیرند. فکر می‌کردیم اگر دانشجو زیاد زحمت نمی‌کشد به خاطر این است که استاد زیاد وقت نمی‌گذارد و البته استاد هم فکر می‌کند دانشجو فقط می‌خواهد درس را پاس کند. برای شکستن این حلقه، گفتیم ما زحمت می‌کشیم و می‌بینیم که دانشجوها هم تلاش می‌کنند.

در مرحله اول، خودمان پروژه‌ها را ارزیابی کردیم و می‌خواستیم خود دانشجوها در ارزیابی مرحله دوم کمک کنند. تمام مقدمات درس را آماده کرده بودیم برای همین که دانشجوها کار همدیگر را نقد کنند. اما حالا که وقتش رسیده بود، تردید داشتیم که شاید مثل همان درس مهندسی نرم‌افزار بشود و نمره‌ها خیلی معنی‌دار نباشند. یا حتی بدتر، ممکن بود کسی نقدی ننویسد؛ آخر این کار اختیاری بود و تایید شدن نقدها نمره اضافه داشت. هر نقد با امتیازی همراه بود که اگر کمک‌استاد آن را تایید می‌کرد، در محاسبه امتیاز پروژه لحاظ می‌شد. این کارها را کرده بودیم که به تدریج نقش کمک‌استادها را کم کنیم و خود دانشجوها درس را اداره کنند.

شکر خدا، استقبال خوب بود. برای مرحله اول هر کس می‌توانست ۳ پروژه را نقد کند؛ یعنی ما برایشان به صورت اتفاقی پروژه‌ها را انتخاب می‌کردیم. در مراحل بعد که پروژه‌ها هم بیشتر ارزش خواندن داشت، این تعداد را بعد ۵ و سپس ۱۰ پروژه رساندیم. این‌طوری هر دانشجو فرصت داشت با بیشتر پروژه‌های درس آشنا شود، از روی پروژه‌های خوب الگو بگیرد و با نوشتن پیشنهاد و انتقادهای منطقی دیگران را راهنمایی کند. همه اینها در کنار احساس اینکه برای زحمات خودش اهمیت قائل شده‌اند و افراد زیادی پروژه‌اش را مطالعه کرده‌اند. به این ترتیب، تا پایان درس:

• تعداد ۴۸۰ نقد برای ۴۱ پروژه نوشته شد.

• ۶ کمک‌استاد ۱۱۸ بار پروژه‌ها را نقد کردند.

• از هر ۱۰ نقد دانشجوها ۴,۶ تا مورد تایید قرار گرفت.

• هر پروژه به طور میانگین ۱۱,۷ بار نقد شد.

فضای نقدها هم خوب بود، مثلا نگاه به این پروژه و نقدهایش که زیر متن قرار گرفته‌اند، حال‌وهوای درس را نشان می‌دهد. البته این طوری نشد که نقدهای خود دانشجوها برای ارزیابی کافی باشد. یعنی نکاتی باقی می‌ماند که کمک‌استاد تذکر دهد و تایید یا رد نقدها هم خیلی آسان نبود چون باید متن پروژه را هم مطالعه می‌کرد.

در زمان کارشناسی دوستی داشتیم که حالا طلبه شده است و در حوزه علمیه مشکات درس می‌خواند. گفت که در درس نهج‌البلاغه پروژه‌هایی دارند و استفاده از سایتی مثل بوته می‌تواند به تحویل گرفتن و نمایش پروژه‌ها کمک کند. وقتی در این مورد صحبت می‌کردیم، کمتر از یک ماه مانده بود به زمان تحویل پروژه‌ها. رویه‌ای که طراحی کرده بودیم نیاز داشت به زمان طولانی استفاده و بارها ارزیابی و نقد، ولی فکر کردیم که بلاخره یک شروع است و قرار گذاشتیم که پروژه‌ها را در سایت تحویل بگیریم. چون دیگر فرصتی برای ارزیابی جمعی نبود، قرار شد چند طلبه فاضل وظیفه نقد پروژه‌ها را بر عهده بگیرند.

تجربه قبلی‌مان با دانشجوهای کامپیوتر بود که می‌توانستیم به‌شان بگوییم باید مرتب بنویسند و اصلا سایت را مناسب همین نوشتار آماده کرده بودیم. برای طلبه‌ها این کار سخت بود و معمولا برای نوشتن از ورد مایکروسافت استفاده می‌کردند. به همین دلیل مجبور شدیم خودمان هم به تبدیل پروژه‌ها کمک کنیم. حاصل کار بد نشد؛ بلاخره قرار دادن پروژه‌ها در سایت مطالعه‌شان را آسان می‌کند، ولی خب استاد یا طلبه‌ها، پروژه‌ای را نقد نکردند. از راهی که نصفه‌نیمه رفتیم، راضی نیستیم؛ همین‌طوری است دیگر یا باید محکم وارد کاری شد یا اینکه اصلا سراغش نرفت.

ترم جدید برای درس الگوشناسی آماری برنامه چیدیم. دانشجویان کارشناسی ارشد هوش مصنوعی در را بر می‌دارند و معلوم است که با قالب پژوهش‌نامه‌ای ما سازگاری دارد. فکر کردیم چقدر خوب می‌شد اگر به جای تعریف پروژه‌های همین‌طوری برویم به دنبال مساله‌هایی که دردی را درمان کنند. مثلا از شرکت‌ها بخواهیم، مرتبط با کارهایشان پروژه تعریف کنند یا حتی پروژه‌هایی در راستای تحقیقات اساتید، آماده شود. البته روی خروجی کار دانشجو نمی‌شود خیلی حساب کرد ولی اینکه با شرکت یا پژوهش‌گران دیگری ارتباط داشته باشد خیلی مفید است؛ هم برای خود دانشجو و هم برای کسانی که پروژه تعریف می‌کنند. مخصوصا که این رابطه ممکن است به شکل همکاری یا حمایت ادامه پیدا کند.

خیال‌پردازانه فکر کردیم که برویم مساله‌ها را بفروشیم. اینطوری برای خود شرکت‌ها پروژه‌ای که تعریف کرده‌اند مهم می‌شود و دانشجوها هم احساس می‌کند کار جدی است. فقط مشکلی که وجود دارد این است که معلوم نیست مساله‌های فروخته شده به خوبی انجام شوند، حتی احتمال این هست که کسی آنها را انتخاب نکند. آن طرفش هم این است که شاید کار خیلی خوبی انجام شود و اصلا برسد به همکاری‌های بعد از پایان پروژه. راه حل ما این بود که چون ریسک بالاست، قیمت را پایین می‌آوریم. یعنی قیمت مساله‌های ما می‌شود معادل کسر کوچکی از قیمت واقعی انجام پروژه؛ مثلا یک‌صدم.

این امید کم‌کم جدی شد و رفتیم با سه شرکت تجاری صحبت کردیم که دو تای آنها حاضر شدند مساله بخرند. البته بیشتر اعتماد و خیرخواهی و رفاقت بود که این کار را کردند، تا اینکه معامله باشد. با شرکت‌ها صحبت کردیم و از میان کارها و آرزوهایشان برای هر کدام پروژه‌هایی تعریف کردیم. پایین پروژه‌های فروخته‌شده هم نوشتیم که پروژه توسط یک بنگاه تجاری تعریف شده و اگر خوب انجام شود مورد حمایت قرار می‌گیرد. چند پروژه هم از طرف آزمایشگاه استاد درس، دکتر آنالویی تعریف شد که آرزوی دیگرمان هم محقق شود.

وقتی زمان انتخاب پروژه‌ها رسید، فرصتی را مشخص کردیم تا پیشنهاد پروژه‌ها را بخوانند و مثل دفعه قبل نشود که دانشجوها فقط به عناوین توجه کنند. اگرچه باز هم در زمان انتخاب، سرعت خیلی بالاتر بود از آنچه فکر می‌کردیم. در این حد که پس از چند دقیقه، بیشتر پروژه‌ها ثبت شده بودند. به نظر می‌آمد که خیلی قدر پروژه‌های تجاری دانسته نشد؛ یعنی دانشجوها برای‌شان این موضوع چندان پررنگ نبود که ممکن است از این طریق ارتباط خوبی با یک شرکت تجاری برقرار کنند. توجیه خوبش این می‌شود که شاید تا حالا چنین تجربه‌ای نداشته‌اند.