Script zur Analyse der Mozilla Location API Daten (Zell/Maststandorte)

fabius_ac · 5. März 2017

Hallo zusammen,

wer einen Überblick haben möchte, was die Provider aktuell so treiben (insbesondere O2) muss nicht unbedingt selber herumfahren und Daten sammeln, sondern kann auch die Daten von Mozilla nutzen.
Deren Datenbank wird von einer größeren Menge an Nutzern gespeist - ist allerdings unbereinigt und z.T. ungenau. Für einen groben Überblick, insbesondere in welchen Bereichen Masten umstrukturiert / ergänzt wurden ist es allerdings ziemlich hilfreich.

Ich habe mir für Linux / bzw. Bash on Windows ein kleines Pythonscript geschrieben, das hauptsächlich aber mit Shellkommandos (awk) die Daten filtert, nach Hinzufügedatum sortiert und dann mit ein paar Zeilen Python-Code um LTE Node-Nummern und menschenlesbare Zeitstempel ergänzt.
Damit die Daten in Google-Maps importiert werden können, werden die Daten in 2000er Häppchen geteilt und mit einem Header versehen (Beschriftung)
Den Code habe ich unten beigefügt, allerdings übernehme ich für die Nutzung keine Gewährleistung.

Nutzung ist einfach:

[list=1]
[*]Location Daten hier herunter laden: https://location.services.mozilla.com/downloads
[*]Datei in den Scriptordner entpacken (z.B. 7zip) und in cell-data.csv umbenennen.
[*] ./script.py starten und sich über einen neuen Ordner mit den gefilterten und sortierten Daten freuen.
[*]In eine eigene Google Map importieren und sehen, was sich so getan hat.
[/list=1]

Viele Grüße

Fabius

Code

#!/usr/bin/python
import os 
import csv
import subprocess
import datetime
import time
subprocess.call('''awk -F"," -v OFS="," '$2 == "262" { print }' cell-data.csv > out.csv''', shell=True)
subprocess.call('''awk -F"," -v OFS="," '$3 == "3" { print }'  out.csv > out2.csv''', shell=True)
subprocess.call('''awk -F"," -v OFS="," '$3 == "7" { print }'  out.csv >> out2.csv''', shell=True)
subprocess.call('''rm out.csv''', shell=True)


subprocess.call( '''sort -k11 -rn -t, out2.csv > out3.csv''', shell=True)


subprocess.call('''rm out2.csv''', shell=True)


csv_read = open('out3.csv', 'rb')
csv_new = open('out4.csv', 'wb')


writer = csv.writer(csv_new)


for row in csv.reader(csv_read):
	if row[0] == 'LTE':
		row.append( str(int(row[4])/256))
	else:
		row.append('0')

	row.append( datetime.datetime.fromtimestamp(int(row[11])))
	row.append( datetime.datetime.fromtimestamp(int(row[12])))
	writer.writerow(row)

subprocess.call('''rm out3.csv''', shell=True)


subprocess.call('''mkdir output''', shell=True)
subprocess.call('''rm output/*''', shell=True)
subprocess.call('''mv out4.csv output/out.csv''', shell=True)
subprocess.call('''split -a 4 -d -l 2000 --additional-suffix=.csv output/out.csv  output/split''', shell=True)
subprocess.call('''rm output/out.csv''', shell=True)
time.sleep(15)
subprocess.call('''sed -i -e '1iNETTYPE,Country,Provider,LAC,CELLID,CellX,LAENGE,BREITE,Range M, SeenBy,NotValidated,TimeFirst,TimeUpdate,XX,eNB,TimeFirstHuman,TimeUpdateHuman
' -- output/s*''',shell=True)

Alles anzeigen

Script zur Analyse der Mozilla Location API Daten (Zell/Maststandorte)

Jetzt mitmachen!

Teilen