Im Rahmen des Projekts befassten sich die Studierenden mit Reinforcement Learning, einem Teilgebiet des Maschinellen Lernens. Sie versuchten herauszufinden, ob sich diese Lernmethodik auf das bestehende Projekt SmartEE 2.0 (mehr Infos unter https://www.hdm-stuttgart.de/wing/studieninteressierte/projekte/projekte.html) anwenden lässt. So entstand SmartEE 3.0.
Ausgangspunkt des Projekts war die Überlegung, ob sich das intelligente Energiemanagementsystem SmartEE noch weiter verbessern lässt. Hier zeigten sich Potenziale im Bereich der Effizienz der Planung. Der vorhandene Solarstrom sollte noch besser ausgenutzt werden, damit möglichst kein Strom aus dem herkömmlichen Netz hinzugezogen werden muss und auch ein großer Verbraucher, wie z.B. eine Wallbox zum Laden eines E-Autos, ausreichend Strom zur Verfügung hat.
Reinforcement Learning ist ein Teilgebiet des Maschinellen Lernens, welches mittels eines Belohnungssystems jegliche ausgeführte Aktion eines Agenten (in unserem Fall des Energiemanagementsystems) bewertet. Ist eine Aktion zielführend (kein Strombezug aus dem herkömmlichen Netz), ist die Belohnung positiv, ist die Aktion nicht zielführend, ist die Belohnung negativ. Durch dieses Verhalten lernt das Programm selbständig, die erzielte Belohnung zu maximieren.
Da SmartEE ein recht komplexes System ist, vereinfachten die Studierenden im ersten Schritt die Energiekurven, indem sie diese auf ein Raster mit kleinen quadratischen Flächen abbildeten.
Im zweiten Schritt folgte die Implementierung: Mithilfe eines auf Reinforcement Learning basierenden Lernalgorithmus sollte die in Python programmierte Software die Verbraucher (Rechtecke) so im Raster (Kurve der zur Verfügung stehenden Energie) verteilen, dass im Optimalfall kein externer Strom bezogen werden muss. Oder bildlich gesprochen: Dass die Rechtecke nicht über das Raster hinausragen.
Schnell zeigten sich erste Erfolge, was bestätigte, dass sich Reinforcement Learning gut auf die vorliegende Problemstellung anwenden lässt.
Im dritten Schritt widmeten sich die Studierenden der Visualisierung des Lernvorgangs. Mittels einer Python-Bibliothek wurde eine grafische Ausgabe realisiert, die zu beliebigen Zeitpunkten des Lernvorgangs ausgibt, wie die Software die Verbraucher im Raster platziert (siehe Abbildungen unten).
Durch SmartEE 3.0 bekamen die Studierenden nicht nur einen Einblick in das spannende Thema des Maschinellen Lernens, sondern es ermöglichte ihnen zudem, sich in Python, eine aktuell sehr verbreitete Programmiersprache, einzuarbeiten.
