KTU mokslininkė apie DI įtaką studentams: kaip galėtų keistis atsiskaitymai ir jų vertinimas universitetuose?

Jei pradžioje dar buvo nemažai svarstymų apie DI įrankių žalą ar net jų ribojimą, tai dabar jau tapo akivaizdu, jog tiek tobulėjančių tokių įrankių augančios pasiūlos, tiek kasdieninio naudojimosi jais tikrai nesustabdysime. Į duris beldžiasi jau ir nauji multimodalinį turinį generuojantys įrankiai.

Panašu, kad darbdaviai vis dažniau dairysis tų darbuotojų, kurie geba dirbti efektyviai ir greitai būtent pasitelkiant DI, o ne be jo pagalbos. Todėl ir universitetams svarbu studentus paruošti atsižvelgiant į darbo rinkos poreikius.

KTU sukurta DI naudojimo politika

KTU darbo grupė, vadovaujama SHMMF profesorės Ramunės Kasperės, baigė rengti generatyvinių dirbtinio intelekto įrankių naudojimo politiką bei rekomendacijas dėstytojams ir studentams. Dokumente yra pateikiami svarbiausi patarimai, kaip generatyviniais DI įrankiais pasinaudoti efektyviai ir užtikrinančiai akademinį sąžiningumą. Be abejo, kol kas ten visko sutalpinti nepavyko, mat tai –  itin nauja ir greitai kintanti sritis.

Buvimas šioje universiteto darbo grupėje leido dalyvauti reguliariose diskusijose, gilintis į kitų universitetų praktikas, sekti DI įrankių pasiūlą ir jų galimybių plėtrą ir, svarbiausia, išbandyti naujus sprendimus su savo studentais.

Labiausiai teko gilintis į tokius aspektus, kaip naujų mokymo(si) veiklų kūrimas ir jų vertinimas, apie kuriuos ir dalinuosi savo asmeninėmis įžvalgomis. Svarbu paminėti ir tai, jog, universitetuose pirmiausia pradėta kalbėti apie akademinį sąžiningumą, sugeneruotų faktų teisingumą ar šališkumą, o tokios sritis, kaip naujų mokymo(si) veiklų organizavimas ir jų vertinimas, dar yra labai mažai aptartos.

Svarbiausia – nebijoti pokyčių

Visų pirma, jei to dar nepadarėme, svarbiausias pokytis, kurį turime drąsiai priimti – atsisakyti dalies tradicinių sprendimų tiek organizuojant mokymo(si) veiklas, tiek jas vertinant. Žinoma, svarbu nepamiršti, jog ir toliau turėtume laikytis esminių vertinimo principų – vertinimas turi derėti su mokymosi veiklomis ir laukiamais rezultatais, jis turi būti patikimas, savalaikis, teisingas ir aiškus.

Taip pat turime galvoti ne tik ką ir kaip vertiname, bet ir dėl ko vertiname – vertinimas turi besimokančiuosius motyvuoti bei jiems padėti pasiekti geresnių mokymosi rezultatų. Neabejotinai, jei seniau vertinome tik tai, ką padarė studentas ar jų grupelės, tai dabar sunkiausia bus vertinti tai, ką padarė DI ir studentai kartu.

Universitetuose dar dažnai daugiausia dėmesio skiriama dalykinėms žinioms ar tam tikroms procedūroms išmokyti, kai vėliau yra tikrinama studentų gebėjimai tai atsiminti. Dažnai tai gali būti išmokstama prieš pat egzaminą ir greitai pamirštama, taip pat neaišku, kurių konkrečių žinių prireiks realiame gyvenime ir ar dalis jų jau nebus pasenę.

Vietoj to, didesnį dėmesį turėtume skirti aukštesnių gebėjimų lavinimui ir jų tikrinimui – gebėjimui naujai įgytas dalykines žinias vertinti kritiškai, jas pritaikymui realaus gyvenimo kontekstui ir situacijoms, problemų sprendimui ar inovacijų kūrimui, geriausia tai darant bendradarbiaujant su kitais (kartu tai būtų ir pasiruošimas vis populiarėjančiam projektiniam darbui).

Pavyzdžiui, studentų gali būti prašoma atlikti ir įrašyti realų interviu su mokslininku dirbančiu kurioje nors studijuojamo dalyko srityje ar su kitais tos srities atstovais (darbdaviais, darbuotojais ar klientais). Tokių užduočių pokalbių robotai tikrai nepadarys, nebent padės joms pasiruošti pasiūlydami tinkamus klausimus.

Vertinimo svoris – nebe dalykinėms žinioms

Jei tradiciškai didžiausias vertinimo balas būdavo skiriama už dalykines žinias, kurias DI įrankiai gali sugeneruoti akimirksniu, tai dabar galbūt pagrindinį svorį reikėtų perkelti visai kitų aspektų vertinimui – pavyzdžiui, kūrybiškumo, originalumo, gebėjimo atsirinkti tinkamus įrankius mokymosi proceso palengvinimui ar refleksijos apie metakognityvinių gebėjimų kaitą.

Vertinimo dėmesį turėtume perkelti nuo tų dalykų, kurie buvo svarbūs anksčiau, į naujas kompetencijas (pvz., pereiti nuo gebėjimo esė parašyti pačiam vertinimo į gebėjimą ją parašyti DI įrankių pagalba, gebėjimą atskirti DI sugeneruoto turinio šališkumą bei netikrus faktus). Nereikėtų vertinti tik galutinių mokymosi įrodymų, svarbu vertinti ir patį procesą (pvz., paprašyti studentų pasidalinti nuorodą į bendrą rašymo dokumentą ir stebėti procesą jame).

Kalbant apie įvairaus tipo rašymo užduotis, turėtume atsisakyti tokių užduočių, kurias studentams gali atlikti DI įrankių pagalba nuo pat pradžių iki galo. Nauja užduotis, pavyzdžiui, galėtų būti surasti (net nereikia sakyti, jog studentai tai darys DI pagalba) ir įvertinti, ką ta pačia tema ar klausimu parašė kiti, surastos nuomonės ar faktų įvertinimas ir tik tada savo argumentų išdėstymas. DI įrankių naudojimas gali būti pasiūlytas ir teksto taisyklingumui bei sklandumui užtikrinimui ar greitesniam tyrimo atlikimui. Dėstytojai turėtų pergalvoti ir pačią rašymo paskirtį, pavyzdžiui, ar tikrai tam tikrų techniškųjų specialybių studentams svarbu išmokti kažkurio konkretaus formato rašymo reikalavimus ar užtektų tik trumpesnių kūrybiškų rašymo užduočių, kuriose būtų užtikrinama teksto kokybė ir originalumas. Esant galimybei, rašymo užduotys galėtų būti keičiamos į atsiskaitymus žodžiu.

Dažna praktika universitetuose yra ir atsiskaitymai žodinių iliustruotų pranešimų pagalba. Kadangi jau yra gausybė DI įrankių (pavyzdžiui, „SlidesGPT“, „Canva“, „Simplified“ ar „Gamma“), kurie gali sukurti pakankamai kokybiškus iliustruotus pranešimus bet kokia tema akimirksniu, šio formato naudojimas turėtų būti mažinamas ir keičiamas įvairesnėmis formomis.

Jei visgi šis vertinimo būdas naudojamas, dėstytojai galėtų sugalvoti netradicinius reikalavimus žodinių iliustruotų pranešimų kūrimo rengimui (pvz., įtraukti tik tam tikrus elementus) ar visą pranešimą iliustruoti tik vaizdų rinkiniu, plakatu, infografiku, grafiniu abstraktu ar net gyvais klausimais-apklausa studentams pačio pranešimo metu (tam tikslui yra sukurta puikių programėlių, leidžiančių klausimus ir kartu atsakymus matyti savo mobiliųjų telefonų ekranuose). Dėstytojai galėtų paprašyti ir atvirkštinio proceso – DI sukurtą pateiktį sutrumpinti, kritiškai įvertinti ar pritaikyti kontekstui.

Kaip organizuoti atsiskaitymus?

Organizuojant galutinius egzaminus, reikėtų mažinti „užverstos knygos“ metodo taikymą, kuris dažnai tikrina tik trumpalaikes besimokančiųjų dalykinių žinių įsiminimo galimybes. Pavyzdžiui, tradicinis uždarų ar/ir atvirų klausimų egzaminas (kartais dėl didelio studentų skaičiaus, akademinį sąžiningumą jo metu būna sunku užtikrinti) galėtų būti pakeistas į studentų diskusijas mažose grupelėse, kurių metu jie galėtų pademonstruoti iš anksto pateiktos egzamino medžiagos supratimą ar kritinį vertinimą.

Studentai galėtų ir patys būti įtraukiami į egzamino klausimų ar net visos medžiagos ruošimą, o taip pat ir įvertinimo ar įsivertinimo kriterijų atranką. Juk kiekvienas jaučiamės svarbus ir gerbiamas, kai yra klausiama ir atsižvelgiama į mūsų nuomonę, o ne priimami „nuleisti iš viršaus“ sprendimai.

Manau, jog dabartinė situacija suaktyvino diskusijas ir apie nevertinimo balais (angl. „ungrading“) metodų grupės taikymą. Mes visi esame įpratę, jog vertinimas visuomet pasibaigia galutiniu pažymiu ar balais ir tai dažnai motyvuoja studentus atlikti jiems skirtas užduotis.

Tuo pačiu puikiai žinome, jog, kai studentai gauna pažymį ir dar kažkokius komentarus apie užduotį, juos domina tik galutiniai balai. Tačiau viso to trūkumas yra tai, jog patys pažymiai yra mažai vertingi studentams. Daug vertingiau yra dėstytojų komentarai arba jų pačių savirefleksijos apie mokymąsi, kurios galėtų pasibaigti įsivertinimu balais (taip būtų sutelpama į reikalaujančios įvertinimų balais sistemos rėmus).

Studentų gali būti prašoma reflektuoti apie tai, kokias naujas dalykines žinias įgijo, kokie aspektai sekėsi geriausiai, kas buvo naudingiausia, su kokiais sunkumais susidūrė, kiek pastangų įdėjo, kaip sekėsi bendradarbiauti ir pan.

Pačių studentų įsivertinimo taikymas rodytų pasitikėjimą jais. Tačiau mano asmeninė patirtis kartu rodo, jog, prašant studentus rašyti refleksijas, labai svarbu išdetalizuoti tą procesą ir, pavyzdžiui, iš anksto pateikti konkretesnius smulkesnius klausimus ar aspektus, nes studentai stokoja gebėjimo tinkamai reflektuoti apie savo mokymąsi.

Tai neabejotinai juos labiau įtrauktų į mokymosi procesą nei vien tik galutinio pažymio gavimas. Dar vienas tradicinis supratimas, kurio reikėtų dažnai atsisakyti, yra tai, jog vertinti geriausiai gali tik dėstytojai. Pačių studentų vienas kitos vertinimas yra ne mažiau svarbus.

Vis dar trūksta DI raštingumo

Šiuo metu itin dažni yra pastebėjimai apie DI raštingumo trūkumą visuomenėje. Tiek universitetų dėstytojams, tiek patiems studentams vien tik naudojimosi DI įrankiais praktikos gali būti negana, svarbu ir universiteto iniciatyvos, užtikrinančios papildomas mokymosi galimybes apie DI integravimą universitetinėse studijose ir vėlesnį pritaikymą realiame gyvenime.

Dėstytojai turbūt jau yra girdėję, jog šiuo metu svarbiausias gebėjimas DI raštingumo ir taikymo srityje yra tinkamų užklausų formulavimas (angl. „prompt engineering“), būtent šio aspekto mokymasis galėtų būti svarbiu tiek patiems dėstytojams, tiek patiems studentams.

„OpenAI“ jau pasidalino bendrosiomis užklausų formulavimo strategijomis siekiant gauti geresnius rezultatus, tačiau gali būti ir specifinės tam tikrai sričiai ar funkcijai atlikti užklausos, kurių taikymo gebėjimą galėtų plėtoti kiekvieno dalyko dėstytojas, atsižvelgdamas į konkretaus dalyko specifiką.

Pavyzdžiui, šiuo metu rengiu bendrauniversitetinį mikromodulį problemų sprendimo gebėjimui tobulinti, kurio metu yra integruojamas DI ir žmogaus partnerystė sprendžiant problemas bei lavinu studentų gebėjimą tinkamai pasinaudoti DI galimybėmis šioje srityje.

Dėstytojai studentams galėtų paaiškinti, kaip pasinaudoti moderniais DI įrankiais efektyviai ir kūrybiškai. Pavyzdžiui, jie gali būti puikūs mokymosi pagalbininkai – perkurti ar apibendrinti mokomąją medžiagą, išversti, paaiškinti sąvokas, atsakyti klausimus apie mokomąją medžiagą ar pati mokymosi procesą, parodyti pavyzdžių, suteikti grįžtamąjį ryšį apie jau atliktą veiklą, paaiškinti konkrečias užduotis smulkiau, padėti planuoti mokymosi procesą ar bendradarbiauti su kitais studentais ar dėstytojais ir pan.

Dėstytojams ir patiems svarbu pagilinti žinias, kaip panaudoti DI įrankius kuriant naujas mokymo/si veiklas bei planuojant jų vertinimą. Mano asmeninė patirtis parodė, kad tokių įrankių naudojimas gali reikšmingai sutrumpinti laiką paskaitos pasiruošimui ir profesionalesnių vertinimo metodų parengimui.

Studentai jau išbandė

Kartu norėčiau pasidalinti ir vienu iš naujų, autentiškų ir, mano nuomone, prasmingesnių mokymosi veiklų pavyzdžiu ir jo vertinimo ypatumais, kurį neseniai teko įgyvendinti savo dėstomame modulyje „Akademinė ir dalykinės srities komunikacija anglų kalba“ KTU Informatikos fakultete su multimedijos specialybės studentais.

Vietoj tradicinių ir mažai prasmingų pavienių pratimų (tokių, kaip žodžių sudarymo ar tinkamų žodžių parinkimo į tarpelius), dalies modulio metu studentai darė įvairias kalbines veiklas, susijusias su asmens duomenų saugumo internete.

Projekto temą „Digital Footprint, Privacy and Costs“ paskatino faktas, jog 2023 metai buvo laikomi pačiais nesaugiausiais šiuo atžvilgiu, ką parodė ir mūsų universiteto patirtis. Projekto veiklas taip pat įkvėpė ir panašus projektas atliktas University of Massachusetts Amherst, kurį modifikavau su doc. dr. Torrey Trust sutikimu.

Tai buvo daugiafunkcinis projektas, kurio metu be kalbos įgūdžių tobulinimo, studentai taip pat turėjo galimybę įgyti žinių šioje srityje bei plėtoti kitus įvairius gebėjimus – bendradarbiavimą, kritinį mąstymą, vaizdinį raštingumą, tarpkultūrinę komunikaciją (grupėse buvo ir užsieniečių studentų), viešą kalbėjimą bei skaitmeninį raštingumą (įskaitant ir DI raštingumą).

Dirbdami grupelėse, projekto pabaigoje studentai turėjo pasirinkti tikslinę auditoriją ir sukurti įtikinamą komunikacinį (modulis skirtas komunikacinių gebėjimų lavinimui) įvairaus formato multimodalinį turinį, kuris prisidėtų prie asmens duomenų saugumo didinimo jiems atliekant įvairias veiklas internetinėje erdvėje. Šį turinį jie turėjo pristatyti viešai universiteto bibliotekoje (mano asmeninė patirtis rodo, jog projektų galutinių darbų pristatymas viešai užtikrina jų aukštesnę kokybę ir taip daro mokymosi veiklas prasmingesnėmis).

Džiugu, jog projekto metu studentai sukūrė įvairaus formato turinį – vaizdo įrašus, infografikus, interaktyvią viktoriną, komiksus, lankstinukus ir pan. Kai kurios grupelės kūrybingai panaudojo ir įvairias komunikacines prieigas.

Pavyzdžiui, viena grupelė sukūrė turinį, remiantis romanu „1984-ieji“, kuris laikomas viena žymiausių literatūrinių utopijų apie per didelį valdžios ar atskirų asmenų siekį prižiūrėti ir kontroliuoti visuomenę su išgalvotu personažu Didysis Brolis (angl. „Big Brother) ir fraze „Didysis Brolis stebi tave“ (angl. „Big Brother is Watching You“).

Kitos grupelės vaizdo įrašas buvo įkvėptas Leonido Kanevskio kriminalinių istorijų formato. Dar viena grupelė vaišino auditoriją tikrais sausainiais pateikdami interaktyvią viktoriną apie slapukų (angl. „cookies“) naudojimą.

Padės spręsti ateities problemas

Ypač svarbu yra tai, jog studentai turėjo galimybę išbandyti įvairius DI įrankius ir jų galimybes –  scenarijaus rašymui, vaizdo įrašų redagavimui ir kūrimui, vaizdų generavimui, balso keitimui, garso kokybės redagavimui, naujų formatų kūrimui ir pan., kas buvo rekomenduojama pateikiant šią užduotį.

Jei kalbinių veiklų vertinimas yra pažįstamas, tai kitų aspektų, tokių, kaip originalumo, kūrybiškumo ar pastangų vertinimas, ypač kai veiklos buvo atliekamos partnerystėje su DI, tikrai nebuvo lengva – tai, ką sukūrė studentai projekto pabaigoje, labai skyrėsi – nuo ilgų filmavimų ir savo scenarijaus rašymo iki paprastos tekstinės užklausos pateikimo moderniam įrankiui ir būtent to įrankio sugeneruoto turinio pristatymas.

Svarbiausia, jog tai buvo autentiška užduotis su galimybe visiems pasimokyti naudoti DI įrankius, kurių multimedijų specialybės studentams neabejotinai prireiks realiame gyvenime. Kartu, manau, jog tai buvo prasmingesnė mokymosi patirtis, kurią studentai įsimins ir po universitetinių studijų.

Apibendrinant, manau, jog drąsūs pokyčiai, netradiciniai sprendimai, nesustojantis ir dar intensyvesnis mokymasis (to reikalauja dabartinis laikmetis) bei ilgesnė praktika tiek kuriant naujas mokymo(si) veiklas, tiek parenkant jų vertinimą kartu su universitetų suteikta laisve tai taikyti, galėtų prisidėti prie dar šaunesnių būsimų darbdavių ar darbuotojų paruošimo, gebančių nesunkiai prisitaikyti prie sparčiai besikeičiančios darbo rinkos poreikių ir lengviau spręsti suintensyvėjusias įvairias pasaulio problemas.