R, MySQL, viele Daten

Mal was ganz anderes... Datenauswertungen. Ich bin in den letzten Wochen wieder etwas ins R reingeschlittert, um bei Datenauswertungen zu helfen. Große Datenmengen, vor allem viele Datensätze. Das hat mich in R dann etwas an den Rand der Verzweiflung getrieben... es wurde halt auch auf meinem MacBook Pro langsam.

Dann bin ich über dplyr gestolpert, dass u.a. auch eine direkte SQL Anbindung bietet und direkt "auf der Datenbank" arbeitet. Sprich, über Abfragen werden Daten geholt und nur das wirklich benötigte dann im R vorgehalten. MySQL war schnell auf meinem Mac installiert. Und nach anfänglichen Problemen die optimalen Abfragen zu erstellen, läuft es jetzt rasend schnell.

Ich überlege jetzt ernsthaft zur Auswertung größerer Datenmengen, zB wenn batIdent 2 ansteht, über eine Datenbank und R zu realisieren.

Beliebte Posts aus diesem Blog

EEG, Grüne Energie und die Folgen

Die folgenden Betrachtungen sind von mir privat angestellt, sie haben keinen Bezug zu meiner  Firma oder spiegeln gar die Meinung dieser wieder. Das Folgende ist also eine wirklich rein private Betrachtung. Durch meine Interessen und meine Arbeit habe ich seit 2005 regelmässig Kontakt zum Thema Windenergie. Seit 2010 stellt Windenergie und Fledermäuse einen hohen Anteil meiner Arbeit dar. Die Medien, NGOs aus dem Umweltschutz und Stromkonzerne nutzen heute sehr gerne den Begriff Grüne Energie , wenn es um eine Abgrenzung zur fossilen oder atomaren Energiegewinnung geht. Firmen nennen sich Green Energy ***  oder ähnlich. Darf Grün  so verwendet werden und welche Intentionen gibt es. Auf Grund meiner Erfahrungen spreche ich dabei nicht für alle nachhaltigen Energiequellen, sondern werde mich auf die Windkraft beschränken, da ich das Umfeld am besten kenne. Diese Überlegungen sind dennoch auch auf andere Energiebereiche erweiterbar. Was versteht man unter "Grüner Energie"
Mehr anzeigen

Swift 2, AudioConverter, Callback and Core Audio

Currently I am working on bcAnalyze 3 - our sound analysis tool. I decided to write it in Swift to learn the new language. While most of my doings went well resulting in a first bcAnalyze 3 light version... i hit a wall when starting on AudioConverters and a callback function completely written in Swift. While with some help I managed to define a callback , the AudioConverter didn't run but threw an error when calling it via AudioConverterFillComplexBuffer. After some digging I realized that the AudioBufferList supplied to the callback function was loosing its filled in values. After some days struggling I managed to get it running - I need only samplerate conversions, so, running to do that at least. How to get it running? I supplied a struct as user info in the callback. The struct holds a pointer to the sound data as well as the AudiobufferList... but I'll best show the code: struct audioIO {     var pos: UInt32 = 0     var srcBuffer: Array < Float >  
Mehr anzeigen

Aussagekraft der 7-Tage-Inzidenz

Nach dem akuten "Ausbruch" von Covid19 / SARS-CoV-2 Infektionen bei Tönnies wurden Lockdowns basierend auf den 7-Tage-Inzidenzen von über 50 je 100000 Einwohner in zwei Landkreisen verhängt. Was sagt diese 7-Tage-Inzidenz denn aber aus? Es ist ein Mittelwert der Neuinfektionen im Zeitraum von sieben Tagen normiert auf 100000 Einwohner. Das bedeutet im Mittel findet man beim Testen mehr als 50 Infizierte je 100000 Einwohner und Tag. Es handelt es sich um das arithmetische Mittel. Das bedeutet, wir gehen von einer Normalverteilung der Infektionen aus und mitteln diese bezüglich Einwohner und Zeit. Das setzt eine Gleichverteilung voraus. Epidemiologisch gesehen wäre das noch nicht schlimm, es wären gerade mal 0,05% der Menschen infiziert. Wir haben keine Gleichverteilung, denn zumeist gibt es klare Infektionswege, die auf Parametern wie Kontakt, Drinnen, Singen, etc. basieren. Bereits innerhalb häuslicher Gemeinschaften liegt die Attack-Rate unterhalb der einer Grippe. Wir hab
Mehr anzeigen