Raport z pilotażu procedur oceny wpływu społecznego – III kryterium ewaluacji

http://ekulczycki.pl/warsztat_badacza/raport-z-pilotazu/
 
Pod koniec 2019 roku Emanuel Kulczycki pisał o rozpoczęciu badań pilotażowych procesu ocen wpływu społecznego (tzw. Kryterium III w ewaluacji jakości działalności naukowej).
http://ekulczycki.pl/warsztat_badacza/pilotaz-procedur-oceny-wplywu-spolecznego-na-potrzeby-ewaluacji-w-2021-r/
Obecnie udostępniony został raport końcowy z pilotażu oraz Podręcznik dla ewaluowanych podmiotów http://excellence-project.zut.edu.pl/dokumenty/
Wybrane wnioski z pilotażu:

  1. uczestnicy badań pilotażowych zgodzili się w przeważającej większości ze stwierdzeniem, że wpływ społeczny jest długofalowym efektem pracy naukowej,
  2. sprawdziło się wykorzystanie opisów wpływu jako sposobu prezentacji związku między wynikami działalności naukowej a społeczeństwem i gospodarką; wszystkie dyscypliny z uczelni biorących udział w badaniu pilotażowym były w stanie zidentyfikować i udowodnić wpływ społeczny przy pomocy opisów wpływu,
  3. dowody wkładu naukowego oraz dowody wpływu społecznego można ocenić poprawnie jedynie wtedy, gdy eksperci mają dostęp do wskazywanych materiałów (np. publikacji naukowych w plikach PDF czy też nagrań audio-wideo w formacie np. MP4); pilotaż pokazał niezbędność dostępu do tych materiałów,
  4. pilotaż pokazał, że przyjęty model indywidualnej oceny eksperckiej się nie sprawdził; oceny ekspertów dość mocno różniły się między sobą, a uzasadnienia bywały częściowo sprzeczne,
  5. badania pilotażowe pokazały, że jednym z największych wyzwań jest przygotowanie ekspertów do oceny oraz czas potrzebny do przeprowadzenia tego procesu,
  6. eksperci reprezentujący tę samą dyscyplinę, której opis wpływu oceniali, przywiązywali znacznie większą wagę do omówienia wkładu działalności naukowej niż eksperci, którzy reprezentowali inną dyscyplinę.

[Przesłano przez: Ewa Nowak]