Ewaluacja. Czemu służy?

Ewaluacja to ocena jakości działalności naukowej, którą przeprowadza się w ramach dyscyplin uprawianych w danym podmiocie. Przy ocenie bierze się pod uwagę indywidualne osiągnięcia pracowników reprezentujących daną dyscyplinę. Poszczególnym dyscyplinom przyznawane będą kategorie naukowe: A+, A, B+, B albo C. Od nich zależą uprawnienia do prowadzenia studiów, szkół doktorskich, nadawania stopni i tytułów. A także kwota subwencji, czyli środków finansowych, które jednostki naukowe otrzymują z budżetu państwa. Rozporządzenie ewaluacyjne jest więc kluczowe w całym systemie zreformowanego szkolnictwa wyższego i nauki.

Dla chętnych czy obowiązkowa?

Jeżeli uczelnia akademicka, instytut PAN lub międzynarodowy instytut naukowy zatrudnia co najmniej 12 pracowników prowadzących działalność naukową w danej dyscyplinie, podlega obowiązkowej ewaluacji w tej dyscyplinie. Inaczej sprawa się ma w przypadku uczelni zawodowej, instytutu badawczego lub podmiotu prowadzącego głównie działalność naukową w sposób samodzielny i ciągły. Tutaj ewaluacja odbywa się na wniosek.

Dlaczego w ramach dyscyplin?

Ewaluacja przeprowadzana będzie w obrębie dyscyplin w ramach uczelni, a nie wydziałów (jednostek organizacyjnych) – tak jak to miało miejsce dotychczas. To kluczowe założenie nowego modelu oceny jakości działalności naukowej. Dzięki temu potencjał naukowy uczelni zostanie wzmocniony – a przedstawiciele poszczególnych dyscyplin, którzy rozsiani są obecnie po różnych wydziałach tej samej uczelni, nie będą ze sobą rywalizować. Połączą siły.

Nowość. Oceniane będą osiągnięcia wszystkich pracowników, a nie – wybranych

W ocenie działalności naukowej brane będą pod uwagę osiągnięcia wszystkich pracowników prowadzących działalność naukową w ewaluowanej dyscyplinie. A także osiągnięcia osób, które kształciły się w szkołach doktorskich prowadzonych przez ewaluowany podmiot i przygotowały rozprawę doktorską. Dzięki temu – ewaluacja będzie sprawiedliwsza i bardziej miarodajna. Do oceny nie będą zgłaszani, tak jak to było do tej pory, jedynie najlepsi (co siłą rzeczy fałszowało obraz danego wydziału). W nowym systemie wszyscy naukowcy pracujący w ramach konkretnej dyscypliny będą musieli przedstawić swoje osiągnięcia do oceny.

Tego jeszcze nie było – limit osiągnięć

Trzecią fundamentalną zmianą – obok ewaluacji dyscyplin i wszystkich pracowników – jest wprowadzenie limitu osiągnięć. Do ewaluacji nie będzie trzeba już zgłaszać dziesiątek dokonań, a jedynie 4 najlepsze. Stare zasady sprawiały, że naukowcom bardziej opłacało się pisać wiele artykułów naukowych kiepskiej jakości niż pracować nad kilkoma dobrymi, które mogłyby być opublikowane w prestiżowych czasopismach. Wprowadzony mechanizm sprawi, że polscy naukowcy będą mogli skupić się na pracy nad wartościowymi projektami, a nie na pogoni za punktami.

---

Według jakich kryteriów oceniani będą badacze w 2021 roku? Jak ocena naukowców przełoży się na kategorie naukowe dla jednostek? Czy wszystkie dyscypliny będą oceniane w ten sam sposób? Odpowiedzi na te pytania znajdują się poniżej. Treść podzielona została na rozdziały – do każdego z nich można przejść, klikając w link znajdujący się w spisie treści.

W Państwa ręce oddajemy kompletny i zaktualizowany przewodnik po systemie ewaluacji jakości działalności naukowej. Znajduje się w nim szczegółowy opis kryteriów oceny, zasady przydzielania punktacji za publikacje, a także wzory pozwalające obliczyć sloty, czyli jednostkowy udział autora w publikacji.

---

Co będzie oceniane przy ewaluacji w poszczególnych kryteriach?

Ewaluacja będzie przeprowadzona w ramach trzech kryteriów.

Kryterium I – poziom naukowy lub artystyczny prowadzonej działalności naukowej

Ocena poziomu naukowego dotyczy artykułów naukowych (zarówno tych z wykazu, jak i spoza wykazu), monografii, redakcji monografii i autorstwa rozdziałów w monografiach (zarówno tych z wykazu, jak i spoza wykazu), a także przyznanych patentów na wynalazki.

W ramach pierwszego kryterium oceniane będą:

• artykuły naukowe opublikowane w czasopismach naukowych i w recenzowanych materiałach z międzynarodowych konferencji naukowych, zamieszczonych w wykazie czasopism;
• artykuły naukowe opublikowane w czasopismach naukowych niezamieszczonych w wykazie czasopism;
• monografie naukowe wydane przez wydawnictwa zamieszczone w wykazie wydawnictw, redakcje naukowe takich monografii i autorstwo rozdziałów w takich monografiach;
• monografie naukowe wydane przez wydawnictwa niezamieszczone w wykazie wydawnictw, redakcje naukowe takich monografii i autorstwo rozdziałów w takich monografiach;
• patenty na wynalazki, prawa ochronne na wzory użytkowe i wyłączne prawa do odmian roślin.

Kryterium II – efekty finansowe badań naukowych i prac rozwojowych

Efekty finansowe ocenia się na podstawie wysokości środków pozyskanych na projekty badawcze w ramach konkursów organizowanych przez instytucje unijne, zagraniczne, NCBR, NCN i NPRH. W kryterium tym będzie brana pod uwagę również komercjalizacja wyników badań lub prac rozwojowych, a także prace naukowe realizowane na zlecenie podmiotów spoza sektora szkolnictwa wyższego i nauki.

W tym kryterium można wykazać takie osiągnięcia jak:

• projekty obejmujące badania naukowe lub prace rozwojowe finansowane w trybie konkursowym przez instytucje zagraniczne lub organizacje międzynarodowe, a także przez NCN i NCBR;
• projekty finansowane w ramach Narodowego Programu Rozwoju Humanistyki;
• komercjalizacja wyników badań naukowych, prac rozwojowych lub know-how związanego z tymi wynikami;
• usługi badawcze świadczone na zlecenie podmiotów nienależących do systemu szkolnictwa wyższego i nauki.

Kryterium III – wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki

Ocenę wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki przeprowadza się na podstawie opisów udowadniających związek między badaniami a funkcjonowaniem administracji, ochroną zdrowia, kulturą itp. Przy ocenie tego kryterium bierze się pod uwagę tzw. studium indywidualnych przypadków, które pozwala na rzetelny pomiar i ocenę wpływu.

Ważne! Kryteria dla każdej z grupy nauk będą miały inną wagę. To pozwoli na ocenę poszczególnych dyscyplin z uwzględnieniem specyfiki każdej z nich.

Punktacja publikacji naukowych

• artykuły naukowe

• monografie naukowe

Po konsultacjach publicznych zwiększono wartość punktową dla monografii humanistycznych, społecznych i teologicznych.

• redakcja naukowa

• rozdział w monografii

Punktacja publikacji wieloautorskich

k – liczba autorów, którzy upoważnili ewaluowany podmiot do wykazania monografii naukowej jako osiągnięcia naukowego w danej dyscyplinie naukowej

m – liczba autorów ogółem

Publikacje wydane w 2017-2018

W związku z tym, że najbliższa ewaluacja obejmie lata 2017-2020 (a więc również okres, w którym obowiązywały inne akty prawne regulujące kwestię oceny działalności naukowej), rozporządzenie zawiera również przepisy przejściowe. Wynika z nich, że:

• za artykuł naukowy opublikowany w latach 2017–2018 punkty przyznaje się zgodnie z wykazem opublikowanym w komunikacie z dnia 25 stycznia 2017 r.
• liczbę punktów przyznawanych za monografie naukowe opublikowane w ostatecznej formie w latach 2017 i 2018, rozdziały w tych monografiach i redakcję naukową tych monografii ustala się zgodnie z ostatnim wykazem wydawnictw sporządzonym i udostępnionym przez ministra w 2019 r.
• za artykuł naukowy opublikowany w latach 2017 i 2018 w recenzowanych materiałach z międzynarodowej konferencji naukowej punkty ustala się zgodnie z wykazem czasopism sporządzonym i udostępnionym przez ministra w 2019 r.

Limity zgłaszanych osiągnięć

Ze względu na publikacje wieloautorskie i limity zgłaszanych osiągnięć oraz podział punktów w ewaluacji uwzględnia się tak naprawdę nie tyle publikacje, ile jednostkowe udziały każdego autora w poszczególnych publikacjach – czyli właśnie tzw. sloty.

Dla publikacji jednoautorskiej udział ten wynosi 1. Natomiast w przypadku publikacji wieloautorskich udział zależy od:

• wartości całkowitej danej publikacji,
• liczby współautorów z danego podmiotu i danej dyscypliny,
• liczby wszystkich autorów danej publikacji.

Jak kształtują się limity zgłaszanych osiągnięć?

1. Limit publikacji naukowych w danej dyscyplinie naukowej dla osób, które nie zostały uwzględnione przy określeniu liczby N (bo oświadczenie o liczbie N złożyły w innym podmiocie), ale prowadziły działalność naukową i były zatrudnione w sposób ciągły w ewaluowanym podmiocie na podstawie umowy o pracę przez okres co najmniej 12 miesięcy i osób, które w okresie objętym ewaluacją odbywały kształcenie w szkole doktorskiej prowadzonej przez ewaluowany podmiot i przygotowywały rozprawę doktorską – wynosi:

– nie więcej niż 20%*3N.

2. Limit publikacji naukowych autorstwa albo współautorstwa poszczególnych pracowników prowadzących działalność naukową wynosi:

– nie więcej niż 4 sloty publikacyjne w zależności od wymiaru etatu i udziału czasu pracy w dyscyplinie,

w tym:

a) limit monografii naukowych autorstwa albo współautorstwa poszczególnych pracowników prowadzących działalność naukową, których całkowita wartość punktowa wynosi nie więcej niż 100 pkt, a także b) limit redakcji naukowych takich monografii oraz c) limit rozdziałów w takich monografiach wynosi:

 – nie więcej niż 2 sloty publikacyjne.

3. Limit monografii naukowych, których całkowita wartość punktowa wynosi nie więcej niż 100 pkt, i redakcji naukowych tych monografii wynosi:

– nie więcej niż 20%*3N (w przypadku dyscyplin humanistycznych, społecznych i teologicznych),

– nie więcej niż 5%*3N (w przypadku pozostałych dziedzin nauki).

4. Limit patentów, wzorów użytkowych i nowych odmian roślin wynosi:

– nie więcej niż N.

5. W ewaluacji przeprowadzanej w 2021 r. suma udziałów jednostkowych za uwzględniane w ocenie ewaluowanego podmiotu w danej dyscyplinie naukowej:

• artykuły naukowe opublikowane w latach 2019 i 2020
• monografie naukowe, rozdziały w monografiach naukowych i redakcje naukowe monografii naukowych, opublikowane w latach 2017–2020

– nie może być większa niż 2-krotność liczby N, z wyłączeniem dyscypliny naukowej informatyka oraz dyscypliny naukowej informatyka techniczna i telekomunikacja.

Jak ten wzór zastosować w praktyce?

Przykład I

Artykuł naukowy w czasopiśmie za 140 pkt opublikowało dwóch autorów z tej samej uczelni. Każdy z nich prowadzi działalność naukową w dyscyplinie A. Jakie znaczenie dla ewaluacji będzie miało ich osiągnięcie?

• W związku z tym, że to artykuł wysoko punktowany – całkowita wartość punktowa publikacji wynosi tyle samo, co przeliczeniowa wartość punktowa publikacji. A więc Pc=P=140.
• Udział jednostkowy wynosi ½, a więc każdemu autorowi za ten artykuł będzie przypisane ½ slotu publikacyjnego:

U=P/Pc*(1/k)=(140/140)*1/2=1/2

(gdyż w tym przypadku k=2)

• Każdemu autorowi przypadnie za ten artykuł 70 pkt.

Wobec tego każdemu udziałowi jednostkowemu będzie przypisane 140/2=70 pkt

• W przypadku, gdy powyższe sloty będą uwzględniane w limicie 3N publikacji, to w rezultacie uczelnia za ten artykuł naukowy otrzyma 140 punktów.

Przykład II

Artykuł naukowy w czasopiśmie za 140 pkt opublikowało dwóch autorów z tej samej uczelni. Z tym że jeden prowadzi działalność naukową w dyscyplinie X, a drugi w dyscyplinie Y. Jak w tym przypadku wyglądać będą wyliczenia?

• Pc=140 pkt i P=140 pkt (całkowita wartość punktowa publikacji wynosi tyle samo, co przeliczeniowa wartość punktowa publikacji).
• Udział jednostkowy wynosi 1, czyli każdemu autorowi za ten artykuł będzie przypisany 1 slot publikacyjny:

U=(140/140)*1/1=1

(gdyż w tym przypadku k=1)

• Każdemu udziałowi jednostkowemu będzie przypisane 140/1=140 pkt co oznacza, że podmiot w każdej dyscyplinie za ten artykuł otrzyma 140 pkt.

Zmniejszenie liczby publikacji – w jakich sytuacjach?

Jedną z podstawowych zasad w nowym systemie jest objęcie oceną wszystkich pracowników. W związku z tym w rozporządzeniu przewidziano sankcje dla podmiotów, które nie zgłoszą do ewaluacji części naukowców. Sankcje polegają na zmniejszeniu liczby uwzględnianych w ocenie działalności naukowej publikacji.

O 3 zmniejsza się liczbę uwzględnianych publikacji (sumy udziałów jednostkowych) w danej dyscyplinie, jeżeli pracownik prowadzący działalność naukową:

a) w okresie objętym ewaluacją był zatrudniony w tym podmiocie przez co najmniej 24 miesiące (36 miesięcy w przypadku pierwszej ewaluacji w roku 2021),

b) wskazał tę dyscyplinę w oświadczeniu o dyscyplinach,

c) złożył oświadczenie o zaliczeniu do liczby N w jednym z podmiotów, w których jest zatrudniony,

– ale nie upoważnił ewaluowanego podmiotu do wykazania do celów ewaluacji żadnej z publikacji naukowych w danej dyscyplinie z wykazów opublikowanych przez ministra.

O 6 zmniejsza się liczbę uwzględnianych publikacji w danej dyscyplinie, jeżeli pracownik prowadzący działalność naukową:

a) w okresie objętym ewaluacją był zatrudniony w tym podmiocie przez co najmniej 24 miesiące (36 miesięcy w przypadku pierwszej ewaluacji w roku 2021),

b) wskazał tę dyscyplinę w oświadczeniu o dyscyplinach,

– ale nie złożył oświadczenia o zaliczeniu do liczby N w żadnym z podmiotów, w którym jest zatrudniony.

O 6 zmniejsza się liczbę publikacji uwzględnianych w każdej dyscyplinie naukowej, w ramach której podmiot ten prowadzi działalność naukową, w przypadku każdego pracownika, który:

w okresie objętym ewaluacją był zatrudniony w tym podmiocie na jednym ze stanowisk, na których wymagane jest prowadzenie działalności naukowej przez co najmniej 24 miesiące (36 miesięcy w przypadku pierwszej ewaluacji w roku 2021)

– ale nie złożył oświadczenia o reprezentowanych dyscyplinach.

Przyznawanie kategorii naukowych

KEN określi propozycję kategorii naukowej (A, B+, B albo C) dla działalności naukowej podmiotu prowadzonej w ramach każdej dyscypliny naukowej albo artystycznej. Zrobi to na podstawie ocen przyznanych za poszczególne kryteria, a także zestawów wartości referencyjnych.

Wartości referencyjne będą określane odrębnie dla każdej dyscypliny naukowej i artystycznej w odniesieniu do standardów międzynarodowych. W szczególności na podstawie informacji z baz danych bibliometrycznych (z uwzględnieniem osiągnięć będących wynikiem działalności naukowej prowadzonej przez ewaluowane podmioty w poszczególnych dyscyplinach naukowych i artystycznych w ocenianym okresie). Zestawy wartości referencyjnych będzie zatwierdzał minister i będą one obowiązywały do czasu kolejnej ewaluacji.

Przyznanie kategorii na podstawie algorytmu

Ewaluacja jest oceną wielokryterialną (obejmuje trzy kryteria), więc do porównania ocenianego w danej dyscyplinie podmiotu z wartościami referencyjnymi stosuje się algorytm, które uwzględnia wagi przypisane poszczególnym kryteriom ewaluacji. Wagi te są zróżnicowane w zależności od dziedzin nauki.

W zależności uzyskanego wyniku podmiot będzie zaliczany do odpowiedniej kategorii naukowej A, B+,B lub C. Przyznawanie kategorii A+ będzie wyglądało nieco inaczej.

Kategoria naukowa A+ – tylko z oceną ekspercką

Kategoria ta będzie przyznawana podmiotom, których działalność wyróżnia się najwyższą jakością, a ich osiągnięcia są porównywalne z wiodącymi europejskimi ośrodkami naukowymi. Aby wyłonić takie podmioty, trzeba przeprowadzić dodatkową ocenę ekspercką.

Poddane takiej ocenie zostaną podmioty, których działalność naukowa w danej dyscyplinie naukowej albo artystycznej:

• zostanie zaliczona do kategorii naukowej A;
• uzyska w zakresie kryterium poziomu naukowego lub artystycznego prowadzonej działalności (kryterium I) ocenę o wartości nie niższej niż próg procentowy ustalony przez KEN w stosunku do najwyższej oceny w danej dyscyplinie naukowej albo artystycznej.

Próg ten zostanie ustalony dla każdej dyscypliny naukowej i artystycznej. Będzie wynosił co najmniej 80% najwyższej oceny uzyskanej przez podmioty.

KEN uwzględni także pozycję nauki polskiej w danej dyscyplinie określaną na podstawie wskaźników bibliometrycznych. Dzięki temu w dyscyplinach, w których polska nauka reprezentuje wysoki poziom na tle standardów międzynarodowych, będzie można uwzględnić w dodatkowej ocenie więcej podmiotów niż w dyscyplinach, w których poziom ten jest niższy.

Ocena ekspercka

Celem oceny będzie stwierdzenie, czy osiągnięcia wskazane przez poszczególne podmioty są na poziomie zbliżonym do osiągnięć wiodących europejskich ośrodków naukowych i artystycznych. Kategorię naukową A+ będą mogły otrzymać te podmioty, których działalność naukowa jest znana i ceniona w środowisku naukowym za granicą.

Kategorie przyznaje minister przy pomocy KEN

Komisja Ewaluacji Nauki podejmuje uchwałę w sprawie kategorii naukowych na podstawie wyników przeprowadzonej ewaluacji, czyli:

• wyników porównania danego podmiotu z wartościami referencyjnymi,
• wyników dodatkowej oceny kandydatów do kategorii A+,
• wyników oceny działalności naukowej na rzecz obronności i bezpieczeństwa państwa, która jest objęta ochroną informacji niejawnych (sposób tej oceny będzie opisany szczegółowo w przewodniku po ewaluacji).