Was macht gute Vibe-Coder aus?

Drei Forscher von der ETH Zürich haben in einer Studie mit hundert Studierenden untersucht, welche Fähigkeiten zu guten Ergebnissen beim Vibe-Coden führen. Dabei zeigte sich, dass Informatikkenntnisse und eine gute Sprachfähigkeit hilfreich sind. Schlechtere Ergebnisse lieferten überraschenderweise die Teilnehmerinnen und Teilnehmer, die KI häufiger im Alltag nutzen.

Für die Studie haben Sverrir Thorgeirsson, Theo Weidmann und Zhendong Su den hundert Studentinnen und Studenten, die bereits einen Einführungskurs in Informatik absolviert hatten, drei Vibe-Coding-Aufgaben gestellt: Sie sollten eine App zur Planung von Mahlzeiten nachbauen, eine App zur Organisation der eigenen Universitätskurse um neue Funktionen erweitern und eine abstrakte App ohne erkennbaren Zweck ebenfalls nachbauen.

Um die Ergebnisse besser einordnen zu können, prüften die Forscher zusätzlich die allgemeinen kognitiven Fähigkeiten der Teilnehmer, ihre Informatikkenntnisse und ihre schriftliche Ausdrucksfähigkeit in einem kurzen Essay.

Informatiker coden besser vibe

Im Ergebnis zeigt sich, dass Informatikkenntnisse den größten Einfluss auf eine erfolgreiche Lösung der Aufgaben hatten. Dieser Effekt bleibt auch bestehen, wenn die Forscher die Unterschiede in den allgemeinen kognitiven Fähigkeiten der Studierenden nivellierten. Allerdings zeigt die Studie hier nur eine Korrelation und gibt keine Auskunft über die ursächlichen Zusammenhänge. Die Wissenschaftler vermuten jedoch, dass Personen, die besser verstehen, wie Programme funktionieren, einer KI auch effizientere Anweisungen geben können.

Ebenfalls vorteilhaft zeigten sich sprachliche Fähigkeiten. Studenten, die sich besser und strukturierter ausdrücken können, schreiben auch die erfolgreicheren Prompts. Unklare oder ungenaue Formulierungen ergeben hingegen eher fehlerhafte Programme.

Viel-Prompter sind schlechter

Als überraschende Erkenntnis zeigte sich, dass Studierende, die im Alltag besonders oft KI nutzen, sowohl beim Schreiben der Essays als auch beim Vibe Coding schlechter abschnitten. Warum das so ist, erklärt die Studie ebenfalls nicht. Für die Autoren wäre es denkbar, dass der häufige Einsatz von Sprachmodellen die eigene Ausdrucksfähigkeit schwächt. Umgekehrt könnten aber auch Studenten, die beim Schreiben eher Schwierigkeiten haben, schneller zu KI-Tools greifen.

(who)