Low-Cost Feinstaubmessung Teil 2

Analyse und Interpretation der Messwerte

Um zu beurteilen, wie gut oder schlecht unsere gemessenen mit den offiziellen Werten übereinstimmen, muss man zunächst ein Maß für die Übereinstimmung oder Abweichung festlegen.

Die grafischen Darstellungen auf der Zeitachse und das Streudiagramm erlauben schon eine gute  intuitive Einschätzung, aber um die Qualität der Sensoren und unserer Verfahren beurteilen und untereinander vergleichen zu können, brauchen wir eine quantitative Metrik.

Metrik 

Unsere Daten sind wie folgt aufgebaut, hier am Beispiel des SDS011-Sensors:

Datum                  Sensor       HLNUG
2018-03-20 00:00:00    10.90        16.9
2018-03-20 00:30:00    10.80        17.1
2018-03-20 01:00:00     9.90        16.1
2018-03-20 01:30:00     9.30        14.7
2018-03-20 02:00:00     9.55        15.2
2018-03-20 02:30:00     9.80        15.1
2018-03-20 03:00:00    10.10        15.4
2018-03-20 03:30:00    11.30        17.1
2018-03-20 04:00:00    10.90        16.6
2018-03-20 04:30:00    11.40        17.4
2018-03-20 05:00:00    11.50        17.5
2018-03-20 05:30:00    11.40        18.0
...

Wir haben eine lange Liste mit jeweils Datum und Zeit sowie den PM2.5 Werten unseres Sensors und der offiziellen Messstation zu diesem Zeitpunkt.

Zum einen kann man die Abweichung (Fehler) der gemessenen von den offiziellen Werten quantifizieren. Eine niedrige Fehlerrate bedeutet dabei eine bessere Übereinstimmung.
Wenn wir die Werte der beiden Listen voneinander abziehen (subtrahieren), haben wir eine Liste der Abweichungen. Wenn wir all diese zusammenzählen (bzw. deren Beträge, weil sich sonst positive und negative Abweichungen ausgleichen würden), erhalten wir die Summe der Abweichungen, die grafisch gesehen dem Flächeninhalt zwischen den beiden Kurven entspricht.

• Teilen wir diese Summe durch die Anzahl der Messungen, haben wir die durchschnittliche Abweichung (Mean error).
• Wenn wir die Liste der Abweichungen sortieren und den Wert in der Mitte nehmen, haben wir ebenfalls eine mittlere Abweichung, die etwas robuster gegenüber extremen Werten wie z.B. Messfehlern ist (Median Error).
• Sicherheitshalber berechnen wir noch die maximale Abweichung (Max Error) als "worst case".
• Ein verbreitetes Maß für die Abweichung ist auch der quadratische Mittelwert des Fehlers, d.h. die Wurzel aus der Summe der Quadrate der Differenzen

Zum anderen können wir errechnen, wie stark die beiden Größen linear zusammenhängen, das sogenannte Bestimmtheitsmaß (R2-Score). Ein höherer R2-Score bedeutet eine bessere Übereinstimmung, mit dem bestmöglichen Wert von 1.

Hier im Überblick die Bewertung der PM2.5 Messungen des SDS011 von Nova Fitness:

	SDS011
R2-Score	0.6922
Mean Error	3.4367
Median Error	2.8000
Max Error	24.9000

Der durchschnittliche Fehler liegt bei 3.4, der mittlere bei 2.8 und die maximale Abweichung beträgt 24.9, alles in μg/m³. Das ist schon eine recht gute Übereinstimmung, aber der maximale Fehler ist sehr hoch und Durchschnitt und Median liegen deutlich auseinander, was bedeutet, dass unser Sensor zwar im Durchschnitt gut misst, aber bei den extremeren Werten stark abweicht.

Lineare Regression

Lineare Regression ist ein mathematisches Verfahren um Zusammenhänge zwischen mehreren Merkmalen zu modellieren und Vorhersagen zu ermöglichen. Es ist, wie der Name bereits andeutet, auf lineare Zusammenhänge beschränkt, d.h. die Zusammenhänge werden durch eine Formel Y = mX + c modelliert oder noch einfacher gesagt:
Es wird eine Formel gefunden, die die Kurve unserer Sensoren verschiebt und skaliert, um die Zielgröße, also die offiziellen Messungen, möglichst gut anzunähern.

Wir können dieses mathematische Modell nun dazu verwenden, auf Basis unserer Messwerte die offiziellen Messwerte "vorherzusagen" oder unsere Sensoren gewissermaßen zu kalibrieren.

Wenden wir diese Vorhersage (Prediction, hellgrüne Kurve) auf unsere Beispielwoche an, sieht man, dass die Kurve im Mittel etwas näher an den offiziellen Werten liegt.

Im Streudiagramm orange eingezeichnet:

In der Grafik fallen die Unterschiede nicht so stark auf, aber wenn wir die Vorhersage unter der oben beschrieben Metrik analysieren, sehen wir, dass sie die offiziellen Messungen deutlich besser beschreibt:

	Sensor	Regression
R2-Score	0.6922	0.8026
Mean Error	3.4367	2.6491
Median Error	2.8000	1.9446
Max Error	24.9000	20.3716

Multiple lineare Regression

Unsere Sensoren haben keine Möglichkeit, Luftparameter wie Temperatur, Luftfeuchtigkeit oder Luftdruck in ihre Berechnungen mit einzubeziehen. Wir haben diese Parameter allerdings getrennt gemessen und können sie in unsere Regression als weitere unabhängige Variablen einführen.

	Sensor	Regression	Multiple
R2-Score	0.6922	0.8026	0.8281
Mean Error	3.4367	2.6491	2.4636
Median Error	2.8000	1.9446	1.8086
Max Error	24.9000	20.3716	18.5109

Interessant ist dabei, dass wir nicht angeben müssen, welchen Einfluss Temperatur, Luftfeuchtigkeit oder Luftdruck auf die Messung nehmen. Wir füttern die Werte in unseren Algorithmus und er passt das mathematische Modell entsprechend an.

Polynomkombinationen

Wenn wir die Kurve unseres Sensors mit der des offiziellen Sensors vergleichen, sehen wir, dass sie manchmal darunter und manchmal darüber liegt. Das bedeutet, dass die beiden Größen nicht ganz linear zusammenhängen und eine lineare Regression damit auch keine optimale Vorhersage oder Kalibrierung leisten kann. Wir können zwar den Algorithmus der linearen Regression nicht ändern, aber wir können unsere Daten so transformieren, dass Polynom-Kombinationen der Eingangsvariablen gebildet werden, sie gewissermaßen in eine "höhere Dimension" projiziert werden. Damit wird das Modell allerdings auch wesentlich komplexer und damit schwieriger zur Kalibrierung anzuwenden. Außerdem erfordert es ein sorgfältigeres "Training" mit Testdaten.

Hier haben wir die Eingangsdaten bis zur 3. Potenz erhoben:

	Sensor	Regression	Multiple	Polynom
R2-Score	0.6922	0.8026	0.8281	0.9298
Mean Error	3.4367	2.6491	2.4636	1.6153
Median Error	2.8000	1.9446	1.8086	1.1531
Max Error	24.9000	20.3716	18.5109	9.8710

Wir haben den maximalen Fehler jetzt auf unter 10 μg/m³ bekommen und eine Korrelation von ca. 0.93. Auch das Streudiagramm erscheint jetzt wesentlich schlanker und nähert sich bereits der idealen Gerade an.
Im nächsten Post werden wir dieses Prozedere auf alle Sensoren unseres Testfeldes anwenden und sehen, wie gut sie performen.