April 2016 – Data Science Blog

Machine Learning mit Python – Minimalbeispiel

April 26, 2016/25 Comments/in Artificial Intelligence, Data Mining, Data Science Hack, Machine Learning, Mathematics, optimization, Predictive Analytics, Python, Tutorial, Visualization /by Benjamin Aunkofer

Maschinelles Lernen (Machine Learning) ist eine Gebiet der Künstlichen Intelligenz (KI, bzw. AI von Artificial Intelligence) und der größte Innovations- und Technologietreiber dieser Jahre. In allen Trendthemen – wie etwa Industrie 4.0 oder das vernetzte und selbstfahrende Auto – spielt die KI eine übergeordnete Rolle. Beispielsweise werden in Unternehmen viele Prozesse automatisiert und auch Entscheidungen auf operativer Ebene von einer KI getroffen, zum Beispiel in der Disposition (automatisierte Warenbestellungen) oder beim Festsetzen von Verkaufspreisen.

Aufsehen erregte Google mit seiner KI namens AlphaGo, einem Algortihmus, der den Weltmeister im Go-Spiel in vier von fünf Spielen besiegt hatte. Das Spiel Go entstand vor mehr als 2.500 Jahren in China und ist auch heute noch in China und anderen asiatischen Ländern ein alltägliches Gesellschaftsspiel. Es wird teilweise mit dem westlichen Schach verglichen, ist jedoch einfacher und komplexer zugleich (warum? das wird im Google Blog erläutert). Machine Learning kann mit einer Vielzahl von Methoden umgesetzt werden, werden diese Methoden sinnvoll miteinander kombiniert, können durchaus äußerst komplexe KIs erreicht werden. Der aktuell noch gängigste Anwendungsfall für Machine Learning ist im eCommerce zu finden und den meisten Menschen als die Produktvorschläge von Amazon.com bekannt: Empfehlungsdienste (Recommender System).

Klassifikation via K-Nearest Neighbour Algorithmus

Ein häufiger Zweck des maschinellen Lernens ist, technisch gesehen, die Klassifikation von Daten in Abhängigkeit von anderen Daten. Es gibt mehrere ML-Algorithmen, die eine Klassifikation ermöglichen, die wohl bekannteste Methode ist der k-Nearest-Neighbor-Algorithmus (Deutsch:„k-nächste-Nachbarn”), häufig mit “kNN” abgekürzt. Das von mir interviewte FinTech StartUp Number26 nutzt diese Methodik beispielsweise zur Klassifizierung von Finanztransaktionen.

Um den Algorithmus Schritt für Schritt aufbauen zu können, müssen wir uns

Natürlich gibt es in Python, R und anderen Programmiersprachen bereits fertige Bibliotheken, die kNN bereits anbieten, denen quasi nur Matrizen übergeben werden müssen. Am bekanntesten ist wohl die scikit-learn Bibliothek für Python, die mehrere Nächste-Nachbarn-Modelle umfasst. Mit diesem Minimalbeispiel wollen wir den grundlegenden Algorithmus von Grund auf erlernen. Wir wollen also nicht nur machen, sondern auch verstehen.

Vorab: Verwendete Bibliotheken

Um den nachstehenden Python-Code (Python 3.x, sollte allerdings auch mit Python 2.7 problemlos funktionieren) ausführen zu können, müssen folgende Bibliotheken eingebunden werden:

import numpy as numpy

import matplotlib.pyplot as pyplot

from mpl_toolkits.mplot3d import Axes3D #Erweiterung für die Matplotlib - siehe: http://matplotlib.org/mpl_toolkits/

Übrigens: Eine Auflistung der wohl wichtigsten Pyhton-Bibliotheken für Datenanalyse und Datenvisualisierung schrieb ich bereits hier.

Schritt 1 – Daten betrachten und Merkmale erkennen

Der erste Schritt ist tatsächlich der aller wichtigste, denn erst wenn der Data Scientist verstanden hat, mit welchen Daten er es zu tun hat, kann er die richtigen Entscheidungen treffen, wie ein Algorithmus richtig abgestimmt werden kann und ob er für diese Daten überhaupt der richtige ist.

In der Realität haben wir es oft mit vielen verteilten Daten zu tun, in diesem Minimalbeispiel haben wir es deutlich einfacher: Der Beispiel-Datensatz enthält Informationen über Immobilien über vier Spalten.

Quadratmeter: Größe der nutzbaren Fläche der Immobilie in der Einheit m²
Wandhoehe: Höhe zwischen Fußboden und Decke innerhalb der Immobilie in der Einheit m
IA_Ratio: Verhältnis zwischen Innen- und Außenflächen (z. B. Balkon, Garten)
Kategorie: Enthält eine Klassifizierung der Immobilie als “Haus”, “Wohnung” und “Büro”

[box]Hinweis für Python-Einsteiger: Die Numpy-Matrix ist speziell für Matrizen-Kalkulationen entwickelt. Kopfzeilen oder das Speichern von String-Werten sind für diese Datenstruktur nicht vorgesehen![/box]

def readDataSet(filename):

fr = open(filename) # Datei-Stream vorbereiten

numberOfLines = len(fr.readlines()) # Anzahl der Zeilen ermitteln

returnMat = numpy.zeros((numberOfLines-1,3)) # Eine Numpy-Matrix in Höhe der Zeilenanzahl (minus Kopfzeile) und in Breite der drei Merkmal-Spalten

classLabelVector = [] # Hier werden die tatsächlichen Kategorien (Haus, Wohnung, Büro) vermerkt

classColorVector = [] # Hier werden die Kategorien über Farben vermerkt (zur späteren Unterscheidung im 3D-Plot!)

#print(returnMat) # Ggf. mal die noch die ausge-null-te Matrix anzeigen lassen (bei Python 2.7: die Klammern weglassen!)

fr = open(filename) # Datei-Stream öffnen

index = 0

for line in fr.readlines(): # Zeile für Zeile der Datei lesen

if index != 0: # Kopfzeile überspringen

line = line.strip()

listFromLine = line.split('\t') # Jede Zeile wird zur temporären Liste (Tabulator als Trennzeichen)

returnMat[index-1,:] = listFromLine[1:4] #Liste in die entsprechende Zeile der Matrix überführen

classLabel = listFromLine[4] # Kategorie (Haus, Wohnung, Büro) für diese Zeile merken

if classLabel == "Buero":

color = 'yellow'

elif classLabel == "Wohnung":

color = 'red'

else:

color = 'blue'

classLabelVector.append(classLabel) # Kategorie (Haus, Wohnung, Büro) als Text-Label speichern

classColorVector.append(color) # Kategorie als Farbe speichern (Büro = gelb, Wohnung = rot, Haus = Blau)

index += 1

return returnMat,classLabelVector, classColorVector

Aufgerufen wird diese Funktion dann so:

1 2	dataSet, classLabelVector, classColorVector = readDataSet("K-Nearst_Neighbour-DataSet.txt")

Die Matrix mit den drei Spalten (Quadratmeter, Wandhohe, IA_Ratio) landen in der Variable “dataSet”.

Schritt 2 – Merkmale im Verhältnis zueinander perspektivisch betrachten

Für diesen Anwendungsfall soll eine Klassifizierung (und gewissermaßen die Vorhersage) erfolgen, zu welcher Immobilien-Kategorie ein einzelner Datensatz gehört. Im Beispieldatensatz befinden sich vier Merkmale: drei Metriken und eine Kategorie (Wohnung, Büro oder Haus). Es stellt sich zunächst die Frage, wie diese Merkmale zueinander stehen. Gute Ideen der Datenvisualisierung helfen hier fast immer weiter. Die gängigsten 2D-Visualisierungen in Python wurden von mir bereits hier zusammengefasst.

[box]Hinweis: In der Praxis sind es selten nur drei Dimensionen, mit denen Machine Learning betrieben wird. Das Feature-Engineering, also die Suche nach den richtigen Features in verteilten Datenquellen, macht einen wesentlichen Teil der Arbeit eines Data Scientists aus – wie auch beispielsweise Chief Data Scientist Klaas Bollhoefer (siehe Interview) bestätigt.[/box]

fig = pyplot.figure()

ax = fig.add_subplot(111)

ax.scatter(dataSet[:,0], dataSet[:,1], marker='o', color=classColorVector)

ax.set_xlabel("Raumflaeche in Quadratmeter")

ax.set_ylabel("Wandhohe")

ax.set_xlim(xmin=0)

ax.set_ylim(ymin=0)

pyplot.show()

fig = pyplot.figure()

ax = fig.add_subplot(111)

ax.scatter(dataSet[:,0], dataSet[:,2], marker='o', color=classColorVector)

ax.set_xlabel("Raumflaeche in Quadratmeter")

ax.set_ylabel("IA_Ratio")

ax.set_xlim(xmin=0)

ax.set_ylim(ymin=0)

pyplot.show()

Die beiden Scatter-Plots zeigen, das Häuser (blau) in allen Dimensionen die größte Varianz haben. Büros (gelb) können größer und höher ausfallen, als Wohnungen (rot), haben dafür jedoch tendenziell ein kleineres IA_Ratio. Könnten die Kategorien (blau, gelb, rot) durch das Verhältnis innerhalb von einem der beiden Dimensionspaaren in dem zwei dimensionalen Raum exakt voneinander abgegrenzt werden, könnten wir hier stoppen und bräuchten auch keinen kNN-Algorithmus mehr. Da wir jedoch einen großen Überschneidungsbereich in beiden Dimensionspaaren haben (und auch Wandfläche zu IA_Ratio sieht nicht besser aus),

Eine 3D-Visualisierung eignet sich besonders gut, einen Überblick über die Verhältnisse zwischen den drei Metriken zu erhalten: (die Werte wurden hier bereits normalisiert, liegen also zwischen 0,00 und 1,00)

fig = pyplot.figure()

ax = fig.add_subplot(111, projection='3d')

ax.scatter(dataSet[:,0], dataSet[:,2], dataSet[:,1], marker='o', color=classColorVector)

ax.set_xlabel("Raumflaeche in Quadratmeter")

ax.set_ylabel("IA_Ratio")

ax.set_zlabel("Wandhoehe in Meter")

ax.set_xlim(xmin=0)

ax.set_ylim(ymin=0)

ax.set_zlim(zmin=0)

pyplot.show()

Es zeigt sich gerade in der 3D-Ansicht recht deutlich, dass sich Büros und Wohnungen zum nicht unwesentlichen Teil überschneiden und hier jeder Algorithmus mit der Klassifikation in Probleme geraten wird, wenn uns wirklich nur diese drei Dimensionen zur Verfügung stehen.

Schritt 3 – Kalkulation der Distanzen zwischen den einzelnen Punkten

Bei der Berechnung der Distanz in einem Raum hilft uns der Satz des Pythagoras weiter. Die zu überbrückende Distanz, um von A nach B zu gelangen, lässt sich einfach berechnen, wenn man entlang der Raumdimensionen Katheten aufspannt.

$c = \sqrt{a^2+ b^2}$

Die Hypotenuse im Raum stellt die Distanz dar und berechnet sich aus der Wurzel aus der Summe der beiden Katheten im Quadrat. Die beiden Katheten bilden sich aus der Differenz der Punktwerte (q, p) in ihrer jeweiligen Dimension.Bei mehreren Dimensionen gilt der Satz entsprechend:

$Distanz = \sqrt{(q_1-p_1)^2+(q_2-p_2)^2+…+(q_n-p_n)^2}$

Um mit den unterschiedlichen Werte besser in ihrer Relation zu sehen, sollten sie einer Normalisierung unterzogen werden. Dabei werden alle Werte einer Dimension einem Bereich zwischen 0.00 und 1.00 zugeordnet, wobei 0.00 stets das Minimum und 1.00 das Maximum darstellt.

$NormWert = \frac{Wert - Min}{Wertspanne} = \frac{Wert - Min}{Max - Min}$

def normalizeDataSet(dataSet):

dataSet_n = numpy.zeros(numpy.shape(dataSet)) #[[ 0. 0. 0.]

# [ 0. 0. 0.]

# ...,

# [ 0. 0. 0.]

# [ 0. 0. 0.]]

minValues = dataSet.min(0) # [ 10. 2.6 0.]

ranges = dataSet.max(0) - dataSet.min(0) # [ 1775. 2.4 68.]

minValues = dataSet.min(0) # [ 10. 2.6 0.]

maxValues = dataSet.max(0) # [ 1785. 5. 68.]

ranges = maxValues - minValues # [ 1775. 2.4 68.]

rowCount = dataSet.shape[0] # 1039

# numpy.tile() wiederholt Sequenzen (hier: [[ 10. 2.6 0. ], ..., [ 10. 2.6 0. ]]

dataSet_n = dataSet - numpy.tile(minValues, (rowCount, 1)) #[[ 2.56000000e+02 9.00000000e-01 1.80000000e+01]

# [ 6.60000000e+01 2.00000000e-01 5.40000000e+01]

# [ 3.32000000e+02 1.50000000e-01 1.00000000e+01]

# ...,

# [ 1.58000000e+02 6.00000000e-01 0.00000000e+00]

# [ 5.70000000e+01 1.00000000e-01 5.20000000e+01]

# [ 1.68000000e+02 2.00000000e-01 0.00000000e+00]]

dataSet_n = dataSet_n / numpy.tile(ranges, (rowCount, 1)) #[[ 0.14422535 0.375 0.26470588]

# [ 0.0371831 0.08333333 0.79411765]

# [ 0.18704225 0.0625 0.14705882]

# ...,

# [ 0.08901408 0.25 0.]

# [ 0.03211268 0.04166667 0.76470588]

# [ 0.09464789 0.08333333 0.]]

#print(dataSet_n)

return dataSet_n, ranges, minValues

Die Funktion kann folgendermaßen aufgerufen werden:

1 2	dataSet_n, ranges, minValues = normalizeDataSet(dataSet)

Schritt 4 & 5 – Klassifikation durch Eingrenzung auf k-nächste Nachbarn

Die Klassifikation erfolgt durch die Kalkulation entsprechend der zuvor beschriebenen Formel für die Distanzen in einem mehrdimensionalen Raum, durch Eingrenzung über die Anzahl an k Nachbarn und Sortierung über die berechneten Distanzen.

def classify(inX, dataSet, labels, k):

rowCount = dataSet.shape[0] # Anzahl an Zeilen bestimmen

diffMat = numpy.tile(inX, (rowCount,1)) - dataSet # Berechnung der Katheten

# (über tile() wird der Eingangsdatensatz über die Zeilenanzahl des dataSet vervielfacht,

# der dataSet davon substrahiert)

sqDiffMat = diffMat**2 # Quadrat der Katheten

sqDistances = sqDiffMat.sum(axis=1) # Aufsummieren der Differenzpaare

distances = sqDistances**0.5 # Quadratwurzel über alle Werte

sortedDistIndicies = distances.argsort() # Aufsteigende Sortierung

classCount = {}

#print("inX = %s, k = %s" % (inX, k))

#print(sortedDistIndicies)

for i in range(k): # Eingrenzung auf k-Werte in der sortierten Liste

closest = labels[sortedDistIndicies[i]] # Label (Kategorie [Büro, Wohnung, Haus] entsprechend der Sortierung aufnehmen

classCount[closest] = classCount.get(closest, 0) + 1 # Aufbau eines Dictionary über die

sortedClassCount = sorted(classCount, key = classCount.get, reverse=True) # Absteigende Sortierung der gesammelten Labels in k-Reichweite

# wobei die Sortierung über den Count (Value) erfolgt

#print(classCount)

#print(sortedClassCount[0])

return sortedClassCount[0] # Liefere das erste Label zurück

# also das Label mit der höchsten Anzahl innerhalb der k-Reichweite

Über folgenden Code rufen wir die Klassifikations-Funktion auf und legen die k-Eingrenzung fest, nebenbei werden Fehler gezählt und ausgewertet. Hier werden der Reihe nach die ersten 30 Zeilen verarbeitet:

errorCount = 0

k = 5 # k-Eingrenzung (hier: auf 5 Nachbarn einschränken)

rowCount = dataSet_n.shape[0] # Anzahl der Zeilen im gesamten Datensatz

numTestVectors = 30 # Datensätze 0 - 29 werden zum testen von k verwendet,

# die Datensätze ab Zeile 30 werden zur Klassifikation verwendet

for i in range(0, numTestVectors): # Aufruf des Klassifikators von 0 bis 29

result = classify(dataSet_n[i,:], dataSet_n[numTestVectors:rowCount,:], classLabelVector[numTestVectors:rowCount], k)

print("%s - the classifier came back with: %s, the real answer is: %s" %(i, result, classLabelVector[i]))

if (result != classLabelVector[i]):

errorCount += 1.0

print("Error Count: %d" % errorCount)

Nur 30 Testdatensätze auszuwählen ist eigentlich viel zu knapp bemessen und hier nur der Übersichtlichkeit geschuldet. Besser ist für dieses Beispiel die Auswahl von 100 bis 300 Datensätzen. Die Ergebnisse sind aber bereits recht ordentlich, allerdings fällt dem Algorithmus – wie erwartet – noch die Unterscheidung zwischen Wohnungen und Büros recht schwer.

0 – klassifiziert wurde: Buero, richtige Antwort: Buero
1 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
2 – klassifiziert wurde: Buero, richtige Antwort: Buero
3 – klassifiziert wurde: Buero, richtige Antwort: Buero
4 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
5 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
6 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
7 – klassifiziert wurde: Wohnung, richtige Antwort: Buero
8 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
9 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
10 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
11 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
12 – klassifiziert wurde: Buero, richtige Antwort: Buero
13 – klassifiziert wurde: Wohnung, richtige Antwort: Buero
14 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
15 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
16 – klassifiziert wurde: Buero, richtige Antwort: Buero
17 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
18 – klassifiziert wurde: Haus, richtige Antwort: Haus
19 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
20 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
21 – klassifiziert wurde: Buero, richtige Antwort: Buero
22 – klassifiziert wurde: Buero, richtige Antwort: Buero
23 – klassifiziert wurde: Buero, richtige Antwort: Buero
24 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
25 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
26 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
27 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
28 – klassifiziert wurde: Wohnung, richtige Antwort: Wohnung
29 – klassifiziert wurde: Buero, richtige Antwort: Buero
Error Count: 2

Über weitere Tests wird deutlich, dass k nicht zu niedrig und auch nicht zu hoch gesetzt werden darf.

Datensätze	k	Fehler
150	1	25
150	3	23
150	5	21
150	20	26

Ein nächster Schritt wäre die Entwicklung eines Trainingprogramms, dass die optimale Konfiguration (k-Eingrenzung, Gewichtung usw.) ermittelt.

Fehlerraten herabsenken

Die Fehlerquote ist im Grunde niemals ganz auf Null herabsenkbar, sonst haben wir kein maschinelles Lernen mehr, sondern könnten auch feste Regeln ausmachen, die wir nur noch einprogrammieren (hard-coding) müssten. Wer lernt, macht auch Fehler! Dennoch ist eine Fehlerquote von 10% einfach zu viel für die meisten Anwendungsfälle. Was kann man hier tun?

Den Algorithmus verbessern (z. B. optimale k-Konfiguration und Gewichtung finden)
mehr Merkmale finden (= mehr Dimensionen)
mehr Daten hinzuziehen (gut möglich, dass alleine dadurch z. B. Wohnungen und Büros besser unterscheidbar werden)
einen anderen Algorithmus probieren (kNN ist längst nicht für alle Anwendungen ideal!)

Das Problem mit den Dimensionen

Theoretisch kann kNN mit undenklich vielen Dimensionen arbeiten, allerdings steigt der Rechenaufwand damit auch ins unermessliche. Der k-nächste-Nachbar-Algorithmus ist auf viele Daten und Dimensionen angewendet recht rechenintensiv.

In der Praxis hat nicht jedes Merkmal die gleiche Tragweite in ihrer Bedeutung für die Klassifikation und mit jeder weiteren Dimension steigt auch die Fehleranfälligkeit, insbesondere durch Datenfehler (Rauschen). Dies kann man sich bei wenigen Dimensionen noch leicht bildlich vorstellen, denn beispielsweise könnten zwei Punkte in zwei Dimensionen nahe beieinander liegen, in der dritten Dimension jedoch weit auseinander, was im Ergebnis dann eine lange Distanz verursacht. Wenn wir beispielsweise 101 Dimensionen berücksichtigen, könnten auch hier zwei Punkte in 100 Dimensionen eng beieinander liegen, läge jedoch in der 101. Dimension (vielleicht auch auf Grund eines Datenfehlers) eine lange Distanz vor, wäre die Gesamtdistanz groß. Mit Gewichtungen könnten jedoch als wichtiger einzustufenden Dimensionen bevorzugt werden und als unsicher geltende Dimensionen entsprechend entschärft werden.

Je mehr Dimensionen berücksichtigt werden sollen, desto mehr Raum steht zur Verfügung, so dass um wenige Datenpunkte viel Leerraum existiert, der dem Algorithmus nicht weiterhilft. Je mehr Dimensionen berücksichtigt werden, desto mehr Daten müssen zu Verfügung gestellt werden, im exponentiellen Anstieg – Wo wir wieder beim Thema Rechenleistung sind, die ebenfalls exponentiell ansteigen muss.

Weiterführende Literatur

Machine Learning in Action

Introduction to Machine Learning with Python

Einführung in Data Science: Grundprinzipien der Datenanalyse mit Python

KNN: Rückwärtspass

April 12, 2016/0 Comments/in Artificial Intelligence, Big Data, Data Mining, Data Science, Data Science Hack, Machine Learning, Mathematics, Octave, Tutorial /by Nico Hezel

Im letzten Artikel der Serie haben wir gesehen wie bereits trainierte Netzwerke verwendet werden können. Als Training wird der Prozess bezeichnet der die Gewichte in einen Netzwerk so anpasst, dass bei einem Vorwärtspass durch ein Netzwerk zu einen festgelegten Eingangsdatensatz ein bestimmtes Ergebnis in der Ausgangsschicht ausgegeben wird. Im Umkehrschluss heißt das auch, dass wenn etwas anderes ausgeliefert wurde als erwartet, das Netzwerk entweder noch nicht gut genug oder aber auf ein anderes Problem hin trainiert wurde.

Training

Das Training selbst findet in drei Schritten statt. Zunächst werden die Gewichte initialisiert. Üblicherweise geschieht das mit zufälligen Werten, die aus einer Normalverteilung gezogen werden. Je nachdem wie viele Gewichte eine Schicht hat, ist es sinnvoll die Verteilung über den Sigma Term zu skalieren. Als Daumenregeln kann dabei eins durch die Anzahl der Gewichte in einer Schicht verwendet werden.

Im zweiten Schritt wird der Vorwärtspass für die Trainingsdaten errechnet. Das Ergebnis wird beim ersten Durchlauf alles andere als zufrieden stellend sein, es dient aber dem Rückwärtspass als Basis für dessen Berechnungen und Gewichtsänderungen. Außerdem kann der Fehler zwischen der aktuellen Vorhersage und dem gewünschten Ergebnis ermittelt werden, um zu entscheiden, ob weiter trainiert werden soll.

Der eigentliche Rückwärtspass errechnet aus der Differenz der Vorwärtspassdaten und der Zieldaten die Steigung für jedes Gewicht aus, in dessen Richtung dieses geändert werden muss, damit das Netzwerk bessere Vorhersagen trifft. Das klingt zunächst recht abstrakt, die genauere Mathematik dahinter werde ich in einem eigenen Artikel erläutern. Zur besseren Vorstellung betrachten wir die folgende Abbildung.

visuelle Darstellung aller Gewichtskombinationen und deren Vorhersagefehler

Das Diagramm zeigt in blau zu allen möglichen Gewichtskombinationen eines bestimmten, uns unbekannten, Netzwerks und Problems den entsprechenden Vorhersagefehler. Die Anzahl der Kombinationen hängt von der Anzahl der Gewichte und der Auflösung des Wertebereiches für diese ab. Theoretisch ist die Menge also unendlich, weshalb die blaue Kurve eine von mir ausgedachte Darstellung aller Kombinationen ist. Der erste Vorwärtspass liefert uns eine Vorhersage die eine normalisierte Differenz von 0.6 zu unserem eigentlichen Wunschergebnis aufweist. Visualisiert ist das Ganze mit einer schwarzen Raute. Der Rückwärtspass berechnet aus der Differenz und den Daten vom Vorwärtspass einen Änderungswunsch für jedes Gewicht aus. Da die Änderungen unabhängig von den anderen Gewichten ermittelt wurden, ist nicht bekannt was passieren würde wenn alle Gewichte sich auf einmal ändern würden. Aus diesem Grund werden die Änderungswünsche mit einer Lernrate abgeschwächt. Im Endeffekt ändert sich jedes Gewicht ein wenig in die Richtung, die es für richtig erachtet. In der Hoffnung einer Steigerung entlang zu einem lokalen Minimum zu folgen, werden die letzten beiden Schritte (Vor- und Rückwärtspass) mehrfach wiederholt. In dem obigen Diagramm würde die schwarze Raute der roten Steigung folgen und sich bei jeder Iteration langsam auf das linke lokale Minimum hinzubewegen.

Anwendungsbeispiel und Programmcode

Um den ganzen Trainingsprozess im Einsatz zu sehen, verwenden wir das Beispiel aus dem Artikel “KNN: Vorwärtspass”. Die verwendeten Daten kommen aus der Wahrheitstabelle eines X-OR Logikgatters und werden in ein 2-schichtiges Feedforward Netzwerk gespeist.

XOR Wahrheitstabelle

X1	X2	Y = X1 ⊻ X2
0	0	0
0	1	1
1	0	1
1	1	0

Der Programmcode ist in Octave geschrieben und kann zu Testzwecken auf der Webseite von Tutorialpoint ausgeführt werden. Die erste Hälfte von dem Algorithmus kennen wir bereits, der Vollständigkeit halber poste ich ihn noch einmal, zusammen mit den Rückwärtspass. Hinzugekommen sind außerdem ein paar Konsolenausgaben, eine Lernrate- und eine Iterations-Variable die angibt wie viele Trainingswiederholungen durchlaufen werden sollen.

%--------------------- Daten -----------------------

X = [0 0; % Eingangsdaten

0 1;

1 0;

1 1]

Y = [0;1;1;0] % erwartete XOR Ausgangsdaten

theta1 = normrnd(0, 1/(3*2), 3, 2); % 3x2 Gewichtsmatrix

theta2 = normrnd(0, 1/(3*1), 3, 1); % 3x1 Gewichtsmatrix

m = length(X) % Anzahl der Eingangsdaten

iteration = 10000 % Anzahl der Trainingsiterationen

alpha = 0.8 % lernrate

printf("\n\nStarte Training ... ")

for(i = 1:iteration)

%--------------------- Vorwärtspass -----------------------

V = X; % anlegen der Eingangsdaten an die Eingangsschicht

% 1. berechne die Aktivierungen der verborgenen Schicht

Vb = [ones(m,1) V]; % hinzufügen der Bias Units (sind immer 1)

Zv = Vb * theta1; % Summe aus den Eingangswerten multipliziert mit deren Gewichten

H = 1 ./ (1 .+ e.^-Zv); % anwenden der Sigmoid Funktion auf die Aktivierungsstärke Zv

% 2. berechne die Aktivierungen der Ausgangsschicht

Hb = [ones(m,1) H]; % hinzufügen der Bias Units an die verborgene Schicht

Zh = Hb * theta2; % Produkt aus den Aktivierungen der Neuronen in H und Theta2

O = 1 ./ (1 .+ e.^-Zh); % Vorhersage von dem Netzwerk

% 3. berechne die Vorhersageungenauigkeit

loss = (O .- Y) .^ 2; % quadratischer Fehler von der Vorhersage und der Zielvorgabe Y

mse = sum(loss) / m; % durchschnittlicher quadratischer Fehler aller Vorhersagen

%--------------------- Rückwärtspass -----------------------

% 1. Ableitung der Fehlerfunktion

d = O .- Y; % Differenzmatrix zwischen der Vorhersage und der Zielvorgabe Y

% 2. berechne die Änderungen für Theta2 und die Ableitung der Ausgangsschicht

OMO = ones(size(O)) .- O; % Zwischenvariable: 1-Minus-Vorhersage

Zhd = d .* O .* OMO; % Ableitung der Sigmoid Funktion

theta2c = Hb' * Zhd; % Änderunswunsch für Theta2

Hd = Zhd * theta2'; % Ableitung von der Ausgangsschicht

Hd(:,[1]) = []; % Ableitung von der Bias Unit

% 3. berechne die Änderungen für Theta1 und die Ableitung der verborgenen Schicht

HMO = ones(size(H)) .- H; % Zweischenvariable: 1 Minus Aktivierung der verborgenen Schicht

Zvd = Hd .* H .* HMO; % Ableitung der Sigmoid Funktion von der Aktivierungsstärke Zv

theta1c = Vb' * Zvd; % Änderunswunsch für Theta1

% weitere Ableitungen sind nicht notwendig

theta1 -= theta1c .* alpha; % ändere die Gewichte von Theta1 und Theta2

theta2 -= theta2c .* alpha; % der Änderungswunsch wird von der Lernrate abgeschwächt

endfor

% Ausgabe von der letzten Vorhersage und den Gewichten

printf("abgeschlossen. \n")

printf("Letzte Vorhersage und trainierte Gewichte\n")

theta1

theta2

Zu jeder Zeile bzw. Funktion die wir im Vorwärtspass geschrieben haben, gibt es im Rückwärtspass eine abgeleitete Variante. Dank den Ableitungen können wir die Änderungswünsche der Gewichte in jeder Schicht ausrechnen und am Ende einer Trainingsiteration anwenden. Wir trainieren 10.000 Iterationen lang und verwenden eine Lernrate von 0,8. In komplexeren Fragestellungen, mit mehr Daten, würden diese Werte niedriger ausfallen.

Es ist außerdem möglich den ganzen Programmcode viel modularer aufzubauen. Dazu werde ich im nächsten Artikel auf eine mehr objekt-orientiertere Sprache wechseln. Nichts desto trotz liefert der obige Algorithmus gute Ergebnisse. Hier ist mal ein Ausgabebeispiel:

X =

0 0

0 1

1 0

1 1

Y =

theta1 =

0.114950 0.046125

0.064683 0.139159

-0.164288 -0.094688

theta2 =

0.33607

-0.31128

0.13993

m = 4

iteration = 10000

alpha = 0.80000

Starte Training ... abgeschlossen.

Letzte Vorhersage und trainierte Gewichte

O =

0.014644

0.983308

0.986137

0.013060

theta1 =

3.2162 -3.0431

6.4365 5.6498

-6.3383 -5.8602

theta2 =

4.4759

-9.5057

9.9795

Interview – Erfolgreiche Big Data Projekte mit DataLab

April 8, 2016/0 Comments/in Carrier, Gerneral, Interview mit CIO, Interviews /by Benjamin Aunkofer

Dr. Susan Wegner ist seit 2011 Vice President für den Bereich Smart Data Analytics & Communication und Leiterin des DataLabs bei den T-Labs in Berlin (Telekom Innovation Laboratories), einer eigenen Abteilung für Research & Development für Big Data Projekte. Die promovierte Informatikerin war zuvor Leiterin bei der T-Systems für Services and Platforms und ist auch in der universitären Welt der Datenwissenschaften international sehr gut vernetzt.

Data Science Blog: Frau Dr. Wegner, welcher Weg hat Sie bis an die Analytics-Spitze der Deutschen Telekom geführt?

Ich studierte Informatik an der TU-Berlin und schrieb meine Doktorarbeit im Bereich des maschinellen Lernens (Machine Learning) für die digitale Bildsegmentierung. Dabei werden Mustererkennungsalgorithmen (Pattern Recognition) eingesetzt, um Bilderkennung zu ermöglichen, ein Thema, dass u.a. durch Augmented Reality immer bedeutender wird.

Ich bin daher recht früh an dem Thema der Datenverarbeitung und Mustererkennung dran gewesen. Vor etwa drei Jahren hatte unser Vorstand zwar noch kein klares Bild von Big Data, aber der Konzern suchte neue Speerspitzen, die die Themen vorantreiben. Mein Einstieg zu dieser Position gelang mir über die ersten Projekte mit Big Data Analytics: Algorithmen für datengetriebene Empfehlungssysteme (Recommendation Systems).

Für mich war mein Weg bis hierher tatsächlich auch eine Lebenslektion, die besagt, dass es sich lohnen kann, früh in neue Themen einzusteigen und dann auch dabei zu bleiben, um sich permanent verbessern zu können.

Data Science Blog: Als Leiterin des DataLabs, ein Datenlabor der Telekom, setzen Sie Big Data Projekte nachweisbar erfolgreich um. Was ist eigentlich ein DataLab?

Ein DataLab ist ein eigener physischer Unternehmensbereich, indem Datenbestände verknüpft, explorativ analysiert und neue Anwendungsfälle (Use Cases) gefahrlos erprobt werden können. Gefahrlos bedeutet in diesem Kontext, dass erstens die Sicherheit der Daten und die legitime Nutzung der Daten gewährleistet ist. Es bedeutet aber auch, dass wir raus aus dem meist engeren Horizont der Fachbereiche kommen, so dass die Daten und Möglichkeiten in einem neuen Licht betrachtet werden können.

In einem DataLab kombinieren wir die IT-technische Sicht mit der Kunden- und Business-Sicht. Die meisten Big Data Projekte sind äußerst interdisziplinär und das dafür nötige interdisziplinäre Team können wir so kompromisslos nur als DataLab aufstellen.

Data Science Blog: Könnten die Projekte nicht einfach in den jeweiligen Fachbereichen direkt umgesetzt werden? Oder in der zentralen Unternehmens-IT-Abteilung?

Jeden Anwendungsfall betrachten wir im DataLab im interdisziplinären Team aus der Kunden-, Business- und IT-Perspektive.

Wir möchten in einem DataLab Anwendungsfälle schnell auf ihre Machbarkeit hin prüfen und auch in die Praxis umsetzen. Dafür brauchen wir nicht nur technische Lösungen. Zu Beginn arbeiten wir viel mit Design Thinking und im engen Austausch mit unseren Kunden bzw. deren Fachbereichen. Ist der Anwendungsfall entwickelt, geht die Entwicklung schnell in die IT-technische Phase.

Die Unternehmens-IT hat in der Regel eher eine administrative Sicht und kann die IT-Ressourcen nicht flexibel genug bereitstellen. Gerade die Prototypen-Entwicklung bedarf einer gewissen Flexibilität der IT-Infrastruktur und eine gesicherten Umgebung. In einem externen DataLab, entkoppelt von den Produktivsystemen können wir mit der IT-Infrastruktur und auch mit den Analyseverfahren experimentieren. Die schwierig zu findenden Fachkräfte dafür sind meistens begeistert von den abwechslungsreichen Arbeitsplätzen, denn sie können hier ihre Kenntnisse und Kreativität voll einbringen. Dadurch können wir jedes Proof of Concept einer Analysemethodik oder eines Anwendungsfalls binnen weniger Wochen realisieren.

Und nicht zu vergessen: In einem DataLab gibt es keine Denkverbote. Ich beobachtete häufig, dass gerade junge Wissenschaftler und kreative Köpfe den etablierten Fachkollegen relativ kritische Fragen gestellt haben, die im Fachbereich niemals gestellt werden. In einem Datenlabor können wir hinterfragen und Betriebsblindheit entkräften.

Nur in einem DataLab können wir die Kreativität erbringen, die für die vielen Erfolge notwendig ist. Mit meinen Teams habe ich bereits mehr als 20 Big Data Projekte erfolgreich umgesetzt, allerdings bezeichnen wir uns auch deshalb als ein „Lab“, weil wir viele Experimente wagen und da muss im Sinne von „Fail fast“ auch mal ein Fehlschlag erlaubt sein.

Data Science Blog: Warum sollten Unternehmen auf unternehmensexterne Datenlabore wie die der T-Labs setzen?

In unseren T-Labs verfügen wir über viel Erfahrung aus unterschiedlichsten Projekten. Darüber hinaus verfügen wir über die Data Science Ressourcen und die IT-Infrastruktur, die von unseren Kunden genutzt werden kann.

Data Science Blog: Sie bearbeiten Anwendungsfälle unterschiedlicher Branchen. Können sich Branchen die Anwendungsfälle gegenseitig abschauen oder sollte jede Branche auf sich selbst fokussiert bleiben?

Meistens bleiben beispielsweise Maschinenbauer, Händler und Banker gerne unter sich und suchen ihre branchenspezifischen Lösungen. Einige Branchen entdecken bestimmte Analysemethoden gerade erst, die in anderen längst gängig sind.

Tritt man jedoch einen Schritt zurück, wird oft sichtbar, dass viele Branchen die gleichen Analysemethoden für ihre jeweiligen Zwecke nutzen und schon früher für sich entdeckt haben könnten, hätten sie nur mal den Blick zu anderen Branchen gewagt.

Data Science Blog: Aus den unüberschaubar vielen Anwendungsfällen herausgegriffen, was sind ihre aktuellen Top-Projekte?

Als wir vor etwa 6 Jahren angefangen haben, behandelten wir vor allem Recommendation Systeme im Bereich Customer Analytics, seitdem sind viele Anwendungsfälle hinzugekommen.

Es gibt sehr viele interessante Projekte. Eines unserer Top-Projekte liegt im Bereich Predictive Maintenance, wo Vorhersagen von Maschinenausfällen bzw. die Optimierung von Wartungsintervallen durch Analyse der Maschinendatenhistorie erreicht werden. Ein anderes Projekt ist eines aus dem Energiemanagement. Dabei geht es darum, dass wir die Ausfallwahrscheinlichkeit für bestimmte elektrische Leitungen prognostizieren. Durch Analyse der Auslastungsverläufe des Stromnetzes können wir die Auslastungsgefährdung berechnen und dabei helfen, das Konzept des Smart Grid zu realisieren.

Data Science Blog: Führen Sie auch Telekom-interne Projekte durch?

Ja, wir nutzen unsere internen Projekte auch zur Erprobung unserer eigenen Leistungen, so dass wir unseren Kunden ausgereifte Leistungen anbieten können. Interne Projekte sind u.a. Fraud-Detection und unser eigenes Customer Analytics, um unseren Kunden stets ein sicheres und attraktives Angebot machen zu können.

Ein zurzeit wichtiges internes Projekt ist die Synthetisierung von Daten, das ist ein datenschutzrelevantes Thema. Die Anonymisierung von Daten ist ein essenzielles Thema, denn unter bestimmten Umständen könnten selbst in anonymen Datenbeständen durch Kombination von gewissen Merkmalen einzelne Personen wieder identifiziert werden. Deshalb haben wir Algorithmen entwickelt, die statistische Zwillinge aus den Realdaten bilden, aber absolut keinen Bezug mehr zu den Ursprungsdaten ermöglichen.

Data Science Blog: Der Datenschutz scheint den kreativen Umgang mit Daten also ziemlich einzuschränken?

Unser deutscher Datenschutz ist sicherlich nicht übertrieben. Als Telekommunikationsunternehmen müssen wir unsere Kunden vor Datenmissbrauch schützen. Wir haben 60 feste Mitarbeiter, die nur für den Datenschutz zuständig sind und diese sind bei jedem Projekt von Anfang an mit eingebunden.

Aber selbst wenn der Datenschutz eingeräumt ist, müssen die Analysen nicht zwangsweise gut sein. Wir möchten Daten nur dann nutzen, wenn die Kunden auch einen Vorteil davon haben.

Als Deutsche Telekom haben wir darüber hinaus den Vorteil, dass unsere Daten nachweislich ausschließlich in unseren eigenen deutschen Rechenzentren verbleiben, das heißt sie unterliegen ununterbrochen dem strengen deutschen Datenschutz.

Data Science Blog: Welche Algorithmen und Tools verwenden Sie für Ihre Anwendungsfälle?

Das hängt natürlich ganz von den Anwendungsfällen ab. Selten deckt ein Tool alleine den kompletten Bedarf ab, daher kombinieren wir in der Regel viele Tools miteinander. Als Programmiersprache setzen wir vor allem auf Scala, R und Python. Für die Infrastruktur nutzen wir aktuell die Hadoop Distributionen von Cloudera und Hortonworks, sowie z.B. Storm, Spark, Datameer, KNIME, Flink und als Cloud-Plattform Pivotal, sowie Tableau zur Datenvisualisierung. Wir versuchen uns stets auf wenige Toolanbieter zu einigen, müssen jedoch auch Kompromisse eingehen, da wir in mehreren unterschiedlichen Ländern arbeiten.

Stellen wir fest, dass notwendige Lösungen noch nicht vorhanden sind, realisieren wir diese selber. Daher können wir auch als eigene Lösungsentwickler betrachtet werden.

Data Science Blog: Woher beziehen Sie Ihr technisches Know-How?

Unser DataLab in Berlin besteht aus 12 Mitarbeitern. Wir arbeiten jedoch eng mit unseren Kollegen von T-Systems zusammen und sind selbst ein An-Institut der Technischen Universität Berlin, aus der wir einen Großteil unserer Kompetenz für Machine Learning schöpfen. Wie entwickeln aber auch Systeme mit der Ben-Gurion-University in Israel und der Berkeley University of California.

Außerdem arbeiten wir bei einigen Anwendungen mit Motionlogic zusammen, einer 100%-Tochter der Deutschen Telekom, die in den T-Labs entstanden ist und sich auf fundierte Analysen von Verkehrs- und Bewegungsströmen spezialisiert hat, die auf anonymen Signalisierungsdaten aus dem Mobilfunk- und WiFi-Netz basieren.

Data Science Blog: Wie stellen Sie ein Data Science Team auf? Und suchen Sie für dieses Team eher Nerds oder extrovertierte Beratertypen?

Ich selbst stehe ganz hinter den Nerds, aber für ein gutes Team braucht es eine Kombination. Neben der analytischen Denkweise ist vor allem die Flexibilität, sich auf neue Themen und Teamarbeit einzulassen, sehr wichtig. Nerds bilden sowas wie einen Kern der Data Science Teams und bringen gute Ideen ein, auf die etablierte Geschäftsleute nicht so leicht kommen. Schafft man es, diese Nerds mit den Kollegen aus den Fachbereichen, beim Customer Analytics also die Marketing-Experten, zusammen zu bringen und dass sie sich gegenseitig anerkennen, dann steht dem Erfolg nichts mehr im Wege.

Fortbildungsangebote für Data Science und Data Engineering

April 2, 2016/0 Comments/in Carrier, Certification / Training, Data Science News, Education / Certification, Gerneral /by Benjamin Aunkofer

Der Artikel “Was macht ein Data Scientist? Und was ein Data Engineer?” ist einer der beliebtesten dieser Plattform und immer wieder werde ich gefragt, wo man sich denn zum Data Scientist oder zum Data Engineer ausbilden lassen kann. Meine Antwort lautet meistens: Mit Selbststudium und Learning-by-Doing kann man sehr viel erreichen!

Es gibt jedoch viele Fortbildungsangebote, die einem Lerner das Lernen zwar nicht abnehmen, dieses jedoch didaktisch aufbereiten und modulweise vermitteln. Diejenigen Angebote, von denen wir von Teilnehmern hören, dass sie tatsächlich ihr Geld oder die Mühe wert sein sein sollen, nehmen wir von nun an in unseren Fortbildungskatalog auf.

[button link=”https://www.data-science-blog.com/ausbildung-fortbildung-studium-data-science/” icon=”link” color=”silver” text=”dark” window=”yes”]Zum Fortbildungskatalog![/button]

Master-Studium

Die beste Möglichkeit, Data Scientist oder Data Engineer zu werden, ist von Anfang an das richtige Studium auszuwählen, am besten bereits den Bachelor-Studiengang darauf ausgerichtet zu haben. Soweit mit bekannt, gibt es aber noch keinen Bachelor-Studiengang direkt für Data Science und das ist auch gut so, denn Data Science würde ich eher als Spezialisierung sehen, im Bachelor-Studium geht es aber um Grundwissen und das lernen von akademischer Methodik. Es gibt jedoch bereits ein breites Angebot an Master-Studiengängen, die direkt auf Data Science oder (Big) Data Engineering abzielen und die gute Nachricht: Diese Master-Studiengänge sind zugänglich für sehr viele Bachelor-Studiengänge, meistens mindestens für Bachelor-Absolventen der Mathematik, Informatik oder Ingenieurwissenschaften und sehr häufig auch für Absolventen der Wirtschafts- und Geisteswissenschaften. Voraussetzung sind meistens nur nachgewiesene Kenntnisse über die Grundlagen der Programmierung und der Statistik. Der diese Master-Studiengänge gerade erst angelaufen sind, der Trend jedoch viele Studierende verspricht, könnte für den Zugang jedoch eine sehr gute Bachelor-Abschlussnote Pflicht werden!

Ein Master-Studium mit Spezialisierung auf Data Science oder Big Data ist mit Sicherheit ein Aushängeschild für den eigenen Lebenslauf und ein Gewinn für die Glaubwürdigkeit, wenn man seine Karriere in der angewandten Datenwissenschaft plant.

Zertifikate – Frontalunterricht und Online-Kurse

Für wen ein Master-Studium irgendwie zu spät oder aus anderen Gründen nicht infrage kommt, reine Selbststudium mit einem guten Buch aber auch nicht reicht, kann eines der vielen Fortbildungsangebote mit Aussicht auf ein Zertifikat nutzen. Es gibt diverse Anbieter von Zertifizierungen zum Data Scientist oder Data Engineer.

Einige Angebote finden überwiegend vor Ort beim Anbieter statt, was von vielen Lernern bevorzugt wird, um dem Lernen und den Prüfungen nicht ausweichen zu können. Ein solches Beispiel ist das Zertifikatsprogramm der Fraunhofer ACADEMY.
Es gibt aber weit mehr Angebote, die rein online stattfinden. Meistens wird hier frontal über eine Sammlung von Videos gelehrt. Das wohl bekannteste Angebot an Video-Lehrgängen hat sicherlich Coursera.org.
Einige Anbieter gehen jedoch noch weiter, setzen daher nicht nur auf Videos, sondern vor allem auf richtig gute interaktive Online-Kurse, bei der jede Lektion eine praktische Übung bzw. kleine Prüfung über eine Entwicklungsumgebung in der Cloud darstellt. Solch ein Angebot bietet beispielsweise der interaktive Lehrgang von DataQuest.io.