Aggregationsscript: Aging, HA OS

[cschlipf]

👋 Welcome!

We’re using Discussions as a place to connect with other members of our community. We hope that you:

• Ask questions you’re wondering about.
• Share ideas.
• Engage with other community members.
• Welcome others and are open-minded. Remember that this is a community we
  build together 💪.

To get started, comment below with an introduction of yourself and tell us about what you do with this community.

[m-milinovsky]

@cschlipf Noch ein paar Fragen zum Verständnis des Aggregations-Scripts...

1. soweit ich gesehen habe machst du ja INSERTs der aggregierten Daten in eigene Tabellen: "measurements" ...DailyEnergy bzw. ...MonthlyEnergy. Damit die Datenmenge in der DB kleiner wird, muss aber natürlich auch gelöscht werden, sonst bringt das Aggregieren ja nichts oder zumindest keine Reduktion der DB-Größe. Ich nehme an das passiert implizit durch die Retention Policy der DB. Was hast du da eingestellt?
2. Die Aggregationen finden nur auf evcc-Daten statt (pvPower, homePower, chagrePower, gridPower, batteryPower). Ich habe aber auch andere Daten in der InfluxDB gespeichert, wie z.B. Daten meiner Wärmepumpe. Die könnte man aber leicht dazu einbauen, dafür sollte das Script dann aber wahrscheinlich generischer sein, indem man anfangs definiert welche Tabellen behandelt werden sollen.
3. die Funktion isMeasurementExisting() wird soweit ich gesehen habe, nirgends verwendet. Hattest du da mal Funktionalität, die bei Nicht-Existenz des Measurements das neu anlegt?

(Post copied from evcc-io/evcc#4213)

[cschlipf]

Siehe Issue #16

[m-milinovsky]

Ja, die Idee mit der zweiten DB mit aggregierten Daten ist mir auch schon gekommen, allerdings kann ich dann natürlich nicht in jedem Graphen den Zeitraum beliebig wählen, da 'aktuelle', nicht aggregierte Daten dann nur bis zu einem gewissen Zeitpunkt in der Vergangenheit vorhanden sind. Für ältere Daten muss die DB gewechselt werden, was aber nicht implizit 'im Hintergrund' gemacht werden kann ...
Derzeit bin ich mal dabei, die Daten um alte, nicht mehr benutzte Measurements zu bereinigen, um die Gesamtdatenmenge in der DB zu verringern.

[cschlipf]

Das geht ja eh nicht. Auch jetzt schon sind aggregierte Daten ein anderes Measurement. Und daily-aggregierte Daten sind für einen Tagesverlauf (PV Today) so oder so nicht nutzbar. Problem wird nur sein, wenn man z.B. von einem Monatsdashboard in das Tagesdashboard verlinkt - dann werden bei älteren Daten dort keine Daten vorhanden sein - damit muss man aber so oder so leben, wenn man alte Daten raushaben will.

Die DB aktiv wechseln muss man dabei aber nicht. Man kann selbst innerhalb eines Grafana Dashboards auf mehrere DBs gleichzeitig zugreifen. Man muss eben zwei InfluxDB Data Sources anlegen.

[m-milinovsky]

Das Problem hat sich inzwischen entschärft: es scheint so, als ob der Debug-Mode in der evcc-config auch Unmengen an Daten in die InfluxDB in verschiedene measurements geschrieben hat (seit mehr als einem Jahr). Nach Setzen des Loglevels auf info und Löschen aller dieser measurements hat sich die DB-Größe von 180 GB(!) auf 0,5 GB reduziert. Damit kann ich leben, ohne Daten in der DB zu löschen :-)
D.h. ich kann deine Lösung mit dem Aggregations-Script verwenden, muss nur wie gesagt das Script auf Query API umschreiben.

[SchumacherFM]

Das Loglevel hat nichts mit dem Schreiben der Messwerte in die InfluxDB zu tun.

[Breakyman]

Hallo, ich habe Home Assistant auf der Yellow Hardware am laufen. Kann mir jemand erklären wie ich das Aggregation-Script unter HA OS installieren kann?

[cschlipf]

An einer Lösung hier wäre ich auch interessiert um diese zu dokumentieren. Ich selbst nutze kein HA OS, sondern habe HA als Docker Container auf Raspberry OS installiert.

[Breakyman]

Habe bereits Dein altes Dashboard seid zwei Monaten am laufen und würde dann gerne auch auf das neue umsteigen. Das alte läuft super... Danke für die tolle Arbeit und das Du es hier mit uns teils!!!

[cschlipf]

Workaround wurde gerade gemerged: Die Möglichkeit das Script auch Remote auszuführen. D.h. nun kann das Script auf einen anderen Host ausgeführt werden und verbindet sich remote mit der Influx, die unter HAOS läuft.

[Michel83]

@cschlipf
Hi, ich habe auch ihre ältere version des Dashboards am laufen ein wenig angepasst da ich 3 Loadpoints habe. Die Performance probleme habe ich was mich erhlichgesagt etwas nervt......
Zur Hardware, Grafana läuft bei mir in einem Docker auf einer Synology, influx auf einem Pi3 mit SSD, kann ich den Script auf diesem Pi laufen lassen und was muss ich anpassen, hier habe ich leider nicht so viel gefunden.

Nutzen wurde ich gerne die neue version von Ihnen, vielleicht können Sie mir ja ein Tipp zum script geben.

Grüße

[cschlipf]

Verstehe vollkommen, dass dies langsam unbenutzbar wird. Das Aggregationsscript kannst Du einfach auf einem Pi3, wo die Influx DB läuft laufen lassen. Sollte hier ohne Anpassungen gehen sofern Influx eine 1.8er Version ist.

[Michel83]

Riesen dank für die schnelle Antwort, ja ist die 1.8er Version. Dann werde ich dies am Samstag mal angehen.

Vielen Dank nochmal.

Grüße

[cschlipf]

Mehr zur Installation des Scriptes hier: https://github.com/ha-puzzles/evcc-grafana-dashboards/tree/main/scripts

[Michel83]

Ja das hatte ich bereits gelesen, war mir nur nicht sicher weil Grafana bei mir nicht auf dem Pi3 läuft.

[cschlipf]

Sollte hier vielleicht noch etwas die Doku nachbessern. Im Prinzip brauchst Du einfach nur ein System mit einer Bash, Cronjob und das Influx CLI in der Version 1.8. Aktuell noch auf eine Influx auf localhost beschränkt, was ich aber mit #20 ändern will. In Deinem Fall sollte das aber nichts ausmachen.