1 Executive-Summary

1.1 Hintergrund

Auf Grund der Covid-19 Pandemie mussten die Lehrveranstaltungen (LV) des Sommersemester 2020 an der TU Berlin in wenigen Wochen komplett auf eine rein digitale Lehre umgestellt werden. Dies bedeutet auch ein Problem für die bisherige Praxis der Durchführung der Lehrveranstaltungsevaluation. Die Lehrveranstaltungsevaluation wurde bisher zu 80-90 % in Papierform durchgeführt. Auch sind die digitalen Ansprüche andere als bisher. Während einzelne Fakultätsvertreter anfangs die Evaluation ausfallen lassen wollten, wurde nach einer Diskussion mit den Evaluationsbeauftragten und im AK QM beschlossen, diese in modifizierter Form durchzuführen. Es wurde beschlossen, dass das Strategische Controlling gemeinsam mit den Evaluationsbeauftragten der Fakultäten einen neuen Fragebogen entwirft. Dieser neue Fragebogen wurde in allen Fakultäten, teilweise mit Ergänzungen, eingesetzt.

Die Gesamtauswertung für die TU Berlin und finden Sie in diesem Bericht, der den Zeitraum bis zum Stichtag 22.07.2020 berücksichtigt. Etwaige Evaluationen nach diesem Termin werden in diesem Bericht nicht behandelt.

1.2 zur Methode

Fragebogen: Gemeinsam mit den Evaluationsbeauftragten der Fakultäten entwickelte das SC einen Onlinefragebogen zum Einsatz im digitalen SoSe 2020. Dieser beinhaltete Fragen zu folgenden Kernelementen: eingesetzte Online Lernformen, Didaktik und Struktur der Lehrveranstaltung, Betreuung, Online - Lernmaterialien, Onlineaufgaben, Gruppenarbeit, Technikeinsatz, Gesamturteil. Einen Musterfragebogen finden interessierte Leser im Anhang als Papierversion (PDF).

Stichprobe und Berechnungen: Der Autor führte neun Teildatensätze zusammen (vgl. Kap.2 Zum Datensatz). In diesem Bericht werden die Ergebnisse auf der Ebene der gesamten TU dargestellt. Darüber hinaus wurden Vergleichsberechnungen (t-Test, Varianzanalysen) auf den Gruppierungsmerkmalen Geschlecht, Abschluss und Fakultät an Hand von Skalen und Einzelitems durchgeführt (vgl. Abschlüsse, Geschlecht, Fakultäten). Zusätzliche Berechnung sind als Extra gekennzeichnet.

Mit den beiden Testverfahren t Test und Varianzanalysen (ANOVA) können die Mittelwerte der Gruppierungsmerkmale auf signifikante und praktisch bedeutsame Unterschiede hin getestet werden. Signifikante und praktisch bedeutsame Unterschiede werden im Hauptbericht in Form von Tabellen und Diagrammen dargestellt. Eine Lesehilfe für die Ergebnistabellen von t Test und Varianzanalysen (ANOVA) finden interessierte Leser in den entsprechenden Anhängen.

Skalen: Für zusammenfassende Darstellungen werden Skalen genutzt. Diese wurden auf Ihre Tauglichkeit hin vorab überprüft (vgl. Anhang Reliabilitätsanalyse). Die Skalen Lehrgüte, Struktur und Inhalt der Lehrveranstaltungen, Betreuung, Onlineaufgaben, Gruppenarbeit sind reliabel und können für den Einsatz empfohlen werden.

1.3 Kernergebnisse

Es folgen die Kernergebnisse:

  • Online-Lernformen: Die drei am häufigsten eingesetzten Onlinelernformen im digitalen Semester waren, 1. ISIS Kurs, 2. Livestream (synchron), 3. Lehrvideos (Asynchron).

    Es gibt Unterschiede in der Verteilung in den Teilstichproben Abschluss und Fakultät. Für Masterstudierende hat der Livestream eine genau so hohe Bedeutung wie der ISIS Kurs. Asynchrone Lehrvideos kommen hier etwas seltener zum Einsatz. Bei den Fakultäten kann man feststellen, dass in den Fakultäten II, III, V asynchrone Lehrvideos häufiger genutzt wurden als der synchrone Livestream. Asynchrone Lehrvideos spielen an den Fakultäten I und VI in der Tendenz eine geringere Rolle in der digitalen Lehre.

    In offenen Kommentaren wurden neben den TUB Standardtools (z.B.: ISIS, ZOOM) weitere Onlinetools genannt (z.B. Dokumentensharing, Miro, Slack, diverse Laborsimulationen).

  • Lehrgüte: Die Lehrenden zeigen überwiegend ein didaktisch gutes Lehrverhalten. Hier gibt es kleinere signifikante Unterschiede zwischen den Fakultäten. Die Befragten an Fakultät I schätzen Ihre Lehrenden etwas besser ein. Es gibt keine Unterschiede hinsichtlich Geschlecht oder Abschluss.

  • Struktur und Inhalt der Lehrveranstaltungen: Die Befragten stimmen mehrheitlich zu, dass die Lehrveranstaltungen von Struktur und Aufbau gut nachvollziehbar sind. Es gibt keine Unterschiede hinsichtlich Fakultäten, Abschlüssen oder Geschlecht.

  • Betreuung der Lehrveranstaltungen: Rund 75 % der Befragten geben an, dass Lehrende für Onlinesprechstunden zur Verfügung stehen. Bei Masterstudierenden wird dies häufiger angegeben als im Bachelor. In den Fakultäten I, IV, V geben die Befragten am häufigsten an, dass es Onlinesprechstunden gibt.

    Die Betreuung durch die Lehrenden wird insgesamt als gut eingeschätzt. Die Skala zur Betreuung erreicht ebenfalls eine gute Bewertung. Es gibt keine Geschlechterunterschiede bzgl. der Betreuung. Masterstudierende schätzen die Lehrenden sowohl insgesamt als auch auf der Skala signifikant etwas besser ein. Es gibt signifikant kleine Fakultätsunterschiede, welche die Gesamtinterpretation aber nicht ändern.

  • Online - Lernmaterialien: Die für das digitale Semester erstellten Onlinelernmaterialien werden mehrheitlich als “gut” eingeschätzt. Textmaterial wird hierbei am häufigsten verwendet. Dies passt zu den häufigsten Onlinelernformen (ISIS). Rund 33 % geben an, dass die Literatur vollständig digital vorhanden ist, 37 % sagen das dies nur zum Teil so ist. Das empfohlene Literatur nicht online verfügbar ist, sagen 7 % der Befragten.

    Für 77 % stellen die Onlinelernmaterialen eine gute Hilfe zur Wiederholung dar und 78% schätzen sie als nützlich für den Lernerfolg ein. Rund 23 % schätzen die Onlinelernmaterialien auf beiden Aspekten nur zum Teil positiv ein oder sogar als negativ ein. Es gibt keine Fakultätsunterschiede bzgl. der Nützlichkeitseinschätzung.

  • Onlineaufgaben: Rund 65 % der Befragten geben an, dass es Onlineaufgaben in der Lehrveranstaltung gab. Bei Masterstudierenden wird dies seltener (58 %) angegeben als im Bachelor (69 %). In der Fakultäten I, II und IV geben die Befragten am häufigsten an, dass es Onlineaufgaben gibt.

    Die Onlineaufgaben werden insgesamt als gut bewertet. Masterstudierende bewerten sie etwas besser als Bachelorstudierende. Es gibt keine Geschlechterunterschiede. Studierende der Fakultät I schätzen ihre Lehrveranstaltungen im Mittel noch etwas besser ein.

  • Gruppenarbeit: Die Gruppenarbeit wird überwiegend außerhalb (59 %) der Lehrveranstaltung organisiert. Zu jeweils 20 % findet Gruppenarbeit innerhalb der Online Lehrveranstaltung statt, zu 21 % sowohl als auch. Es bestehen hier aber Fakultätsunterschiede. In Fakultät I wird zu 41 % die Gruppenarbeit innerhalb der Lehrveranstaltung durchgeführt.

    Die Onlinegruppenarbeit wird insgesamt von den Befragten als gut bewertet. Es gibt signifikante Unterschiede zwischen den Fakultäten. Ebenfalls bewerten Frauen die Items der Gruppenarbeit etwas besser als Männer und Masterstudierende schätzen sie ebenfalls etwas besser ein.

  • Technikeinsatz: Die von der TUB eingesetzte Onlinesoftware wird überwiegend (89 %) als gut bedienbar eingeschätzt. Beim Großteil der Befragten (82 %) gestaltete sich der Technikeinsatz weitgehend störungsfrei. Inhalte werden von der Mehrzahl (76 %) gut verstanden.

    Rund 68 % der Befragten sagen das sich die angebotenen Lehrveranstaltungen auch zukünftig für die Online Lehre eignen. Hierbei gibt es Fakultätsunterschiede. Insbesondere Studierende der Fakultät VI geben an, dass sich die Lehrveranstaltungen etwas weniger gut für zukünftige Online Lehre eignen.

  • Gesamturteil: Im Durchschnitt benötigen die Studierenden 4-6 Stunden zur Vor- und Nachbereitung der Lehrveranstaltungen. Bachelorstudierende benötigen signifikant mehr Zeit als Masterstudierende.

    Die Stoffschwierigkeit wird insgesamt als genau richtig eingeschätzt. Es gibt signifikante Unterschiede zwischen den Fakultäten. Studierende der Fakultät II schätzen die Stoffschwierigkeit höher ein, Studierende der Fakultät I und VII etwas leichter als der Durchschnitt. Es gibt keine signifikanten praktisch bedeutsamen Unterschiede zwischen den Abschlüssen oder Geschlechtern.

    Die Lehrveranstaltungen werden insgesamt als gut eingeschätzt. Es gibt kleinere Fakultätsunterschiede. Masterstudierende schätzen die Lehrveranstaltungen insgesamt etwas besser ein.

1.3.1 Tabellarischer Überblick über Ergebnisse

Im Folgenden sind die Kernergebnisse in Kurzform als Tabelle dargestellt.

Bewertungsaspekt Einschätzung Unterschiede weitere Aussagen
Onlinelehrformen Top 3: Isis, synchrone LV Streamings, asynchrone Lehrvideos Fakultät diverse Tools vgl. Kommentare
Lehrgüte gut Fakultät -
Struktur LV gut keine -
Betreuung gut Abschluss, Fakultät 75 % Onlinesprechstunden
Online Lernmaterialien gut keine Literatur nur zum Teil Online
Onlineaufgaben gut Abschluss, Fakultät 65 % hatten Onlineaufgaben
Gruppenarbeit gut Geschlecht, Abschluss, Fakultät mehrheitlich außerhalb LV
Technikeinsatz gut Fakultät 68% Eignung LV Onlineformat; Aufwände: 34% (+), 49% (0), 11% (-), 7% (k.A.)
Vor- und Nachbereitungszeit 4-6 Stunden Abschluss, Fakultät -
Stoffschwierigkeit genau richtig Fakultät -
Gesamturteil gut Abschluss, Fakultät -

1.4 SC Fazit

Die TU Berlin hat das erzwungene digitale Online Semester aus Sicht der Mehrzahl der Studierenden insgesamt gut gemeistert. Die angebotenen digitalen Lehrveranstaltungen wurden überwiegend positiv bewertet.

Die im Fragebogen verwandten Skalen sind reliabel und können für den Einsatz in zukünftigen Lehrveranstaltungsevaluationen empfohlen werden.

Folgende Aspekte sollten hinsichtlich einer Optimierung diskutiert werden:

Organisation der Evaluation:

  • Der Rücklauf der Online Lehrveranstaltungsevaluation ist im Vergleich zur Papierevaluation der vergangenen Semester schlecht (vgl. Kapitel 2.3 Rücklauf). Hier ist für das WiSe zu überlegen, inwiefern Lehrende statt den Link nur zu verteilen, auch Zeit in der Lehrveranstaltung nutzen, um den Link zu bewerben oder die Fragebögen direkt in der Lehrveranstaltung ausfüllen zu lassen.
  • Die Organisation der geplanten und real evaluierten Lehrveranstaltung muss hin zu einer besseren Durchdringung optimiert werden. Hier müsste eine Problemanalyse erfolgen, warum angelegte Lehrveranstaltungen nicht evaluiert wurden.

empfohlene Literatur Online:

  • Dass die Mehrheit der Studierenden angibt, dass die empfohlene Literatur nur teilweise online verfügbar ist, kann man kritisch einschätzen. Hier ist zu klären warum das so ist, bzw. es sollte in Zukunft ein besserer Zugang ermöglicht werden. Eine Möglichkeit zur weiteren Analyse bieten zukünftige Studierendenbefragungen sowie Diskussionen mit Lehrenden, Studierenden und Vertretern der Universitätsbibliothek über diesen Aspekt.

Betreuung und Gruppenarbeit

  • Insgesamt ist die Betreuung durch die Lehrenden eines der wichtigsten Elemente für die positive Gesamteinschätzung einer Lehrveranstaltung (r=0.75, vgl. Anhang Korrelation). Deshalb sollte man für ein mögliches weiteres digitales Semester die Lehrenden entsprechend aufklären und unterstützen, um die Kommunikation mit Studierenden zu fördern.
  • Dies betrifft zum Beispiel die stärkere Nachbereitung von Onlineaufgaben (~ 31% bemängeln dies) oder das Bereitstellen von Lösungshilfen. Es ist in Gremien zu diskutieren, inwiefern sich die TU auf Standards oder gemeinsame Richtlinien für Online Lehre einigen kann (z.B. Anbieten von Musterlösungen, Durchsprechen der Lösungen).
  • Rund 75 % der Befragten geben an, dass es Onlinesprechstunden im digitalen Semester gab. Hier ist zu erörtern, ob und wie man diesen Wert steigern kann und welche Alternativen es zu Onlinesprechstunden gibt (z.B. in großen Lehrveranstaltungen).
  • Es gibt Hinweise darauf, dass Online-Gruppenarbeit die direkt in der Lehrveranstaltung stattfindet besser beurteilt wird und sich positiv auf das Gesamturteil zur Lehrveranstaltung auswirkt. Dies sollte in Folgebefragungen genauer untersucht werden.

Onlinelehrform und Technikeinsatz

  • Generell kann man feststellen, dass die eingesetzten Softwarelösungen eine gute digitale Lehre für die Mehrzahl der Studierenden erlaubt. Nicht destotrotz gibt es Studiengänge, in denen das nicht sinnvoll ist. Insbesondere Studierende der Fakultät VI stimmen der Eignung der Lehrveranstaltungen für Onlinelehre weniger häufig zu (vgl. Extraauswertung nach Studiengang). Bei einem Anhalten der Pandemie, sollte überprüft werden inwiefern man Sonderlösungen für bestimmte Studiengänge schaffen kann.
  • Die TU sollte ebenfalls überprüfen, inwiefern man den Einsatz von Insellösungen wie (z.B. Labster oder Labexchange) für bestimmte Studiengänge, aber auch Fakultätsübergreifende Nennungen wie Miro zentral unterstützen kann oder sollte.

2 Zum Datensatz

Der Fragebogen wurde in sieben Fakultäten eingesetzt. Es wurden insgesamt 8845 Bewertungen für 829 Lehrveranstaltungen abgegeben. Der Autor hat neun Datensätze vom 22.07.2020 über die sieben Fakultäten auf den gemeinsamen Fragen zusammengeführt.

2.1 geplante und evaluierte Veranstaltungen

Ein großes Problem im Vorfeld war festzustellen, welche Lehrveranstaltungen auch digital stattfinden werden. Darüber hinaus lag die Fragebogenverteilung an die Studierenden im Sommersemester 2020 vollkommen in der Hand der Lehrenden.

In der folgenden Tabelle finden Sie die Anzahl der geplanten und bis zum Stichtag evaluierten Lehrveranstaltungen (LV) pro Fakultät. Man kann von rund 54 % Durchdringung ausgehen.

Fakultät angelegte LV evaluierte LV Durchdringung
Fakultät I 299 154 51,51%
Fakultät II Mathematik 54 45 83,33%
Fakultät II Chemie 88 20 22,73%
Fakultät II Physik 89 25 28,09%
Fakultät III 232 116 50,00%
Fakultät IV 316 205 64,87%
Fakultät V 210 53 25,24%
Fakultät VI 150 133 88,67%
Fakultät VII 111 86 77,48%
Gesamt 1549 829 53,52%

13 Lehrveranstaltungen wurden nicht berücksichtigt, da hier andere Fragebögen zum Einsatz kamen. Darüber hinaus sind Lehrveranstaltungen, die nach dem Stichtag (22.07.2020) im EvaSys System bewertet wurden, ebenfalls nicht berücksichtigt.

2.2 Verteilung über die Fakultäten

Die Verteilung der beantworteten Fragebögen über die Fakultäten in der Gesamtstichprobe verteilt sich wie in folgender Grafik.

2.3 Rücklauf

Ein weiteres Problem ist der Rücklauf.

  • Rund 32 % der evaluierten LV (n=270) haben einen Rücklauf mit weniger als fünf Teilnehmern.
  • Rund 62 % der evaluierten LV (n=514) haben einen Rücklauf mit weniger als 10 Teilnehmern.

Für die Gesamtauswertung mit der Betrachtungsebene TU Berlin und Gesamtfakultät spielt dieser Rücklauf keine Rolle. Allerdings sind Auswertungen auf LV Ebene bei geringen Rückläufen kritisch zu betrachten. Um den Rücklauf zu steigern, müssten hier evtl. andere Verfahren bei der Verteilung der Onlinelinks eine Rolle ausprobiert werden (z. B. Online in Präsenz).

3 Online Tools und Lehrformen im SoSe 2020

Zusammenfassung der Teil Ergebnisse: Die drei am häufigsten eingesetzten Onlinetools bzw. Lehrformen im digitalen Semester waren: 1. ISIS Kurs, 2. Livestream (synchron), 3. Lehrvideos (Asynchron). Es gibt Unterschiede in der Verteilung in den Teilstichproben Abschluss und Fakultät. Für Masterstudierende hat der Livestream eine genau so hohe Bedeutung wie der ISIS Kurs. Asynchrone Lehrvideos kommen hier etwas seltener zum Einsatz. Bei den Fakultäten kann man feststellen, dass in den Fakultäten II, III, V asynchrone Lehrvideos häufiger genutzt wurden als der synchrone Livestream. Asynchrone Lehrvideos spielen an den Fakultäten I und VI in der Tendenz eine geringere Rolle in der digitalen Lehre. In offenen Kommentaren wurden neben den TUB Standardtools (z.B.: ISIS, ZOOM) weitere Onlinetools genannt (z.B. Dokumentensharing, Miro, Slack, diverse Laborsimulationen).

SC 35 Fazit: Der ISIS Kurs und Dokumentensharing sind die Elemente, welche für den Großteil der Studierenden das digitale Sommersemester als häufigste Onlinelernform geprägt haben.

Der synchrone Livestream von Lehrveranstaltungen via ZOOM /Webex spielte an allen Fakultäten eine wichtige Rolle. Asynchrone Lehrvideos spielen ebenfalls eine wichtige Rolle. Allerdings gibt es bei beiden Aspekten Fakultätsunterschiede, die vermutlich im Curriculum begründet sind.

Interessante Aussagen aus den Kommentaren sind zum Beispiel der Einsatz von Insellösungen wie (z.B. Labster oder Labexchange) für bestimmte Studiengänge, aber auch Fakultätsübergreifende Nennungen wie Miro. Hier ist zu überlegen inwiefern die TU Berlin weitere Lösungen zentral unterstützen kann oder will.

3.1 Ergebnis Gesamtstichprobe

Zu Beginn des Fragebogens wurden die Onlinetools bzw. Lehrformen, die in der Lehrveranstaltung eingesetzt wurden abgefragt. Wie aus der folgenden Abbildung ersichtlich wird, ist der ISIS Kurs mit rund 79 % die verbreitete Lehrform im SoSe 2020. Gefolgt von synchronem Livestream über Tools wie ZOOM, Webex (68 %) und extra aufgezeichneten - asynchronen- Lehrvideos (62 %).

Hier gibt es andere Verteilungen bzgl. Abschluss und Fakultät.

3.2 Verteilung nach Abschluss

Bezüglich der Abschlüsse kann man feststellen, dass der synchrone Livestream von Masterstudierenden häufiger angegeben wurde als von Bachelorstudierenden. Er ist damit gleichauf mit dem ISIS Kurs. Asynchrone Lehrvideos spielen bei Masterstudierenden ebenfalls eine geringere Rolle.

3.3 Verteilung nach Fakultäten

In der folgenden Tabelle sind die Top 5 Verteilungen pro Fakultät abgetragen. Abweichungen von der TU Berlin Gesamtverteilung sind kursiv hervorgehoben.

Rang TUB gesamt Fak.I Fak.II Fak.III Fak.IV Fak.V Fak.VI Fak.VII
1 ISIS Kurs ISIS Kurs ISIS Kurs ISIS Kurs ISIS Kurs ISIS Kurs ISIS Kurs ISIS Kurs
2 Livestream (synchron) Livestream (synchron) Aufgezeichnete Lehrvideos (asynchron) Aufgezeichnete Lehrvideos (asynchron) Livestream (synchron) Aufgezeichnete Lehrvideos (asynchron) Livestream (synchron) Livestream (synchron)
3 Aufgezeichnete Lehrvideos (asynchron) Email Livestream (synchron) Livestream (synchron) Aufgezeichnete Lehrvideos (asynchron) Online-Forum Email Aufgezeichnete Lehrvideos (asynchron)
4 Online-Forum Online-Forum Online-Forum Online-Forum Online-Forum Livestream (synchron) Aufgezeichnete Lehrvideos (asynchron) Online-Forum
5 Email Aufgezeichnete Lehrvideos (asynchron) Email Email Email Email Online-Forum Email

Im Folgenden finden Sie die Verteilungsdiagramme pro Fakultät.