Machine Learning » Grundlagen der Methoden & Algorithmen

Seit der Veröffentlichung von Chatbots wie ChatGPT Ende 2022 befinden wir uns in einem KI-Hype.

Bereits heute geht man davon aus, dass mit künstlicher Intelligenz sogenannte "AGI" Systeme erschaffen werden können, die intelligenter sind, als Menschen.

Die Technologie, die dahintersteckt, ist das Machine Learning. In diesem Artikel schauen wir uns die Grundlagen und die Funktionsweise von Machine Learning Systemen einmal genauer an. Am Ende solltest du einen guten Überblick über das maschinelle Lernen haben und Anknüpfungspunkte zu weiterführenden Themen finden.

1. Kernkonzepte von Machine Learning

Machine Learning ist ein Teilgebiet der Forschung an künstlicher Intelligenz. Beim Machine Learning lernen Computer durch eigene "Erfahrung", die zuvor in einem Trainingsprozess aufgebaut wurde.

*** Illustration ML als Teilgebiet von AI ***

Anders als bei traditioneller Programmierung werden Regeln nicht explizit einprogrammiert. Stattdessen lernt ein Machine Learning System durch Muster, die es in den Trainings-Datensätzen erkennt. Dadurch können Machine Learning Systeme Sachverhalte generalisieren und Probleme lösen, auf die sie nicht konkret programmiert wurden.

Beispiel für die Unterscheidung zu traditioneller Software

Du kannst dir das Ganze gut anhand einer Aufgabe wie z.B. dem Filtern von Spam-E-Mails vorstellen.

Traditionelle Software funktioniert regelbasiert:

Wenn E-Mail Wort X enthält, dann Label = "Spam"

Machine Learning Systeme analysieren hingegen tausende Beispiele von E-Mails die als "Spam" oder "Nicht-Spam" markiert wurden. Erkennt das System viele ähnliche Merkmale, wie in den "Spam" Mails aus den Trainingsdatensätzen, dann kategorisiert das System die Mails automatisch als Spam.

Je mehr Beispiele dem Modell antrainiert wurden, desto besser kann ein ML-System Probleme lösen.

Historische Entwicklung des Machine Learning

Lass uns einen kurzen Blick auf die wichtigsten historischen Meilensteine werfen, um nachvollziehen zu können, wieso Machine Learning erst kürzlich den großen Durchbruch erreichen konnte.

Abgrenzung zu verwandten Bereichen

Machine Learning ist ein Teilgebiet der Künstlichen Intelligenz. Damit du die genauen Eingrenzungen der verschiedenen Bereiche besser nachvollziehen kannst, wollen wir uns nun einmal anschauen, wie sich die Themen voneinander unterscheiden.

Künstliche Intelligenz (KI / AI)

Machine Learning ist ein Teilbereich der KI. KI umfasst dabei alle Methoden, mit denen Maschinen "intelligent" agieren können, sei es durch symbolische Logik, heuristische Verfahren, wissensbasierte Systeme oder eben durch Lernalgorithmen (ML).

Deep Learning (DL)

Deep Learning ist ein Teilgebiet des Machine Learning, das sich mit tiefen künstlichen neuronalen Netzen befasst. DL Systeme können durch viele verborgene Schichten an Neuronen (Hidden Layers) komplexe Zusammenhänge in Daten abbilden und dadurch hochpräzise Ergebnisse liefern.

Data Science

Data Science ist ein interdisziplinärer Ansatz, der Elemente aus der Statistik, Informatik und einzelnen Fachdomänen vereint. Machine Learning ist ein zentrales Werkzeug in der Data Science, wird dort allerdings nur als eines von vielen Tools verwendet.

Data Mining

Data Mining beschreibt den Prozess, über den durch Clustering oder Assoziationsanalysen Muster in großen Datensätzen entdeckt werden können. Data Mining wird häufig als Vorläufer von ML-Anwendungen gesehen, da es auch statistische und algorithmische Methoden verwendet, um Pattern in Daten zu finden.

2. Arten des Machine Learning

Um Machine Learning Modelle zu trainieren, lassen sich verschiedene Methoden verwenden:

• Überwachtes Lernen (Supervised Learning)
• Unüberwachtes Lernen (Unsupervised Learning)
• Bestärkendes Lernen (Reinforcement Learning)
• Halb-überwachtes Lernen (Semi-Supervised Learning)
• Transferlernen (Transfer Learning)

Im folgenden Abschnitt schauen wir uns die Methoden etwas genauer an, damit du einen Überblick erhältst, in welchen Fällen man die einzelnen Methoden verwenden kann.

Überwachtes Lernen (Supervised Learning)

Das überwachte maschinelle Lernen funktioniert wie eine Lehrer-Schüler-Beziehung. Der Algorithmus lernt anhand von gekennzeichneten Beispielen, Muster zu erkennen und darauf basierend Vorhersagen zu treffen. Dabei wird jeder Eingabe eine bekannte Ausgabe (ein "Label") zugewiesen und der Algorithmus lernt die Beziehung zwischen Ein- und Ausgabe.

*** Illustration Supervised Learning ***

Anwendungsbeispiele für Supervised Learning

• Spam-Erkennung von E-Mails
• Vorhersage von Immobilienpreisen
• Gesichtserkennung in Fotos
• Kreditwürdigkeitsprüfung
• Krankheitsdiagnose basierend auf Symptomen

Unüberwachtes Lernen (Unsupervised Learning)

Beim unüberwachten Lernen arbeitet der Algorithmus mit Daten ohne vorgegebene Zielwerte. Er sucht selbstständig nach Mustern, Strukturen und Zusammenhängen in den Daten.

Stell dir vor, du erhältst Objekte mit verschiedenen Eigenschaften, z.B. Bälle unterschiedlicher Farben, die du sortieren musst. Zu Beginn weißt du noch nicht, welche Kategorien es gibt, aber sobald du beginnst, die Menge an Objekten zu sortieren, werden die Kategorien klarer. So ähnlich kannst du dir auch die Funktionsweise von Unsupervised Learning vorstellen.

*** Illustration Unsupervised Learning ***

Anwendungsbeispiele für Unsupervised Learning

• Kundensegmentierung im Marketing
• Anomalieerkennung in Netzwerkdaten
• Dokumentenclustering
• Empfehlungssysteme (Recommendation Engines)
• Marktanalysen und Trend-Erkennung

Bestärkendes Lernen (Reinforcement Learning)

Reinforcement Learning beschreibt eine Trainingsmethode, bei der Belohnungssignale verwendet werden, um eine optimale Entscheidungsstrategie ("Policy") zu entwickeln.

Du kannst dir Reinforcement Learning so vorstellen, dass ein Software-Agent auf "Trial-and-Error" Basis Interaktionen mit seiner Umgebung ausführt. Ein Algorithmus belohnt ihn für gute Handlungen und bestraft ihn bei ungewünschten Interaktionen.

*** Illustration Reinforcement Learning ***

Eine passende Analogie (wenn auch stark vereinfacht) ist ein Baby, das versucht das Laufen zu erlernen. Dabei testet es verschiedene Bewerungsabläufe aus (Trial and Error) und erhält direktes Feedback durch seine Umgebung (Lob der Eltern bei den ersten Schritten, Schmerzen oder Frustration beim Hinfallen).

Genau wie in einem Reinforcement-Learning-Szenario sammelt das "Agenten-Baby" mit jeder Aktion neue Erfahrungen, lernt aus Fehlern und passt sein Verhalten an, um die Wahrscheinlichkeit zukünftiger Belohnung (stabil laufen zu können) zu maximieren.

Anwendungsbeispiele für Reinforcement Learning

• Robotersteuerung
• Autonomes Fahren
• Spielstrategien (z.B. AlphaGo oder Schach)
• Energiemanagement in Rechenzentren
• Optimierung von Trading-Strategien

Supervised, Unsupervised und Reinforcement Learning beschreiben die drei grundlegenden Paradigmen des Machine Learning.

Um dir zu zeigen, dass es aber auch noch weitere Methoden für Machine Learning gibt, schauen wir uns noch einmal die Mischform des Semi-Supervised Learning und das Transfer Learning an.

Halb-überwachtes Lernen (Semi-Supervised Learning)

Semi-Supervised Learning kombiniert überwachtes und unüberwachtes Lernen. Dabei kommen sowohl gelabelte, als auch ungelabelte Daten zum Einsatz, wobei typischerweise nur ein kleiner Teil der Daten wirklich gelabelt ist. Dementsprechend kommt Semi-Supervised Learning häufig zum Einsatz, wenn das Labeling von Daten teuer oder zeitaufwendig ist.

Anwendungsbeispiele für Semi-Supervised Learning

• Bildklassifikation
• Übersetzungen
• Sentimentanalyse
• Webseiten-Kategorisierung (SEO)

Transferlernen (Transfer Learning)

Transfer Learning überträgt Wissen aus einem bereits gelösten Problem auf ein neues, verwandtes Problem. Vielleicht kennst du den Begriff noch aus der Schulzeit, denn auch in der Schuldidaktik ist der Transfer von Wissen auf neue Bereiche ein wichtiges Feld.

Beim Transfer Machine Learning werden vortrainierte Modelle als Ausgangspunkt verwendet und auf die neue Aufgabe angepasst. Somit hilft Transfer Learning bei der allgemeinen Generalisierungsfähigkeit von Machine Learning Systemen.

Anwendungsbeispiele für Transfer Learning

• Sprachmodelle wie GPT oder BERT
• Medizinische Bildanalyse
• Objekterkennung in speziellen Domänen
• Sentiment-Analyse in verschiedenen Sprachen

Jede dieser Machine Learning Arten hat spezifische Anwendungsfälle.

Um dir die Wahl der richtigen Machine Learning Methode für einzelne Problemstellungen zu vereinfachen, haben wir dir ein Mengendiagramm erstellt, das dir als grobe Orientierung dienen kann.

*** Illustration Mengendiagramm Anwendungsfälle ***

3. Machine Learning Algorithmen

Um ML-Modelle über die oben beschriebenen Methoden zu trainieren, kommen eine Vielzahl an Machine Learning Algorithmen zum Einsatz.

Dieser Abschnitt wird etwas technischer und du kannst ihn gerne überspringen, wenn du dich eher für die Anwendung von ML interessierst.

Klassifikationsalgorithmen

Klassifikationsalgorithmen ordnen Datenpunkte vordefinierten Kategorien oder Klassen zu. In der Praxis kommen sie besonders häufig zum Einsatz, zum Beispiel bei:

• Spam-Erkennung (Spam vs. Nicht-Spam)
• Medizinische Diagnostik (Krank vs. Gesund)
• Qualitätskontrolle (Fehlerhaftes vs. einwandfreies Produkt)
• Sentimentanalyse (Positiv vs. Negativ bei Kundenfeedback)

Decision Trees und Random Forest

Decision Trees treffen Entscheidungen durch eine Reihe von "Wenn-Dann" Regeln. Sie sind leicht zu verstehen und lassen sich gut über Flussdiagramme visualisieren.

*** Illustration Decision Tree für Kreditwürdigkeit ***

Random Forests erweitern dieses Konzept, indem viele Decision Trees kombiniert werden. Jeder "Baum" wird mit einem anderen Subset der Daten trainiert und trifft eine eigene Vorhersage. Die endgültige Entscheidung wird durch einen Mehrheitsentscheid getroffen.

Decision Trees und Random Forests kommen z.B. bei Kreditwürdigkeitsprüfungen oder Kundensegmentierungen zum Einsatz.

Support Vector Machines (SVM)

Support Vector Machines finden eine optimale Trennlinie (Hyperebene) zwischen verschiedenen Klassen.

SVMs sind besonders effektiv bei hochdimensionalen Daten und kommen z.B. bei der Erkennung von Handschrift (z.B. Postleitzahlen auf Briefen) oder der Klassifizierung von Proteinen zum Einsatz.

Regressionsalgorithmen

Regressionsalgorithmen sagen kontinuierliche Werte vorher. Gerade bei Prognosen und Trendanalysen gelten sie als unverzichtbar für die Vorhersage von Trends, z.B. bei

• Preisvorhersagen (Aktienkurse, Immobilienpreise)
• Absatzprognosen (Absatzzahlen in Handel und Vertrieb)
• Bedarfsplanung (Ressourcen- und Materialbedarf)

Lineare Regression

Der klassische Ansatz für Vorhersagen kontinuierlicher Werte. Lineare Regressionsanalysen finden die besten linearen Beziehungen zwischen Input- und Output Variablen. Sie können z.B. Vorhersagen für die Beziehung zwischen Einkommen und Konsum oder in der Marktforschung für Werbebudget vs. Verkaufszahlen treffen.

Algorithmen zur Reduktion von Dimensionen

In Machine Learning Modellen bestehen die Datensätze häufig aus Vektoren hoher Dimensionalität. Um die Komplexität hochdimensionaler Daten mit minimalem Informationsverlust zu reduzieren, kommen spezifische Algorithmen zum Einsatz.

Vorteile einer Dimensionsreduktion sind:

• Visualisierungen werden möglich (z.B. als Darstellung in 2D oder 3D)
• Training wird effizienter (Rechenaufwand wird reduziert)

Falls dich dieses Thema interessiert, kannst du dir konkrete Algorithmen wie PCA, t-SNE und UMAP anschauen.

4. Anwendungsgebiete von Machine Learning

Die Einsatzmöglichkeiten von Machine Learning sind nahezu grenzenlos. Wir konzentrieren uns im Folgenden auf relevante Bereiche für Entwickler, Unternehmen und die Forschung, es lassen sich aber mit Sicherheit noch viele weitere Anwendungsbereiche nennen.

Digitale Assistenten und Chatbots

Mit ChatGPT hat OpenAI eine Conversational AI geschaffen, die den Nutzern eine intuitive Interaktion ermöglicht.

Chatbots und digitale Assistenten können wie folgt genutzt werden:

• Kundenservice Chatbots
• Persönlicher Tutor
• Automatische E-Mail Beantwortung
• Sprachgesteuerte Hausautomation
• Persönliche Assistenten (Siri, Alexa)

Insbesondere der Bereich der digitalen Assistenten wird voraussichtlich in den nächsten Jahren durch AI-Agenten noch einen deutlichen Produktivitätszuwachs erfahren.

Machine Learning in der Softwareentwicklung

Tools wie Cursor, Github Copilot oder Q Developer haben die Art und Weise, wie wir Software entwickeln und testen revolutioniert. Programmiercode bietet eine sehr gute Datengrundlage für das Training von Machine Learning Modellen.

Folgende konkrete Aufgaben von Software Entwicklern können von Machine Learning Modellen übernommen werden:

• Automatische Code-Vervollständigung
• Code Generation
• Bugfixing
• Performance-Optimierung
• Automatisiertes Testing
• Security Vulnerability Detection

Machine Learning im Bildungssektor

Für Schüler und Studierende ermöglicht Machine Learning, ihr Lernen zu personalisieren und zu strukturieren.

Es ist nicht abwegig zu behaupten, dass Machine Learning zu einer Revolution von Lehrplänen führt. Hausarbeiten im klassischen Sinne können von KI-Modellen so gut umgesetzt werden, dass es für Lehrpersonen unmöglich ist, diese von menschlich geschriebenen Inhalten zu unterscheiden.

Positive Anwendungsfälle für ML-Modelle im Bildungsbereich wären:

• Adaptive Lernplattformen
• Personalisierte Lernpfade
• Frühwarnsysteme für Studienabbrüche
• Interaktives Mentoring

Machine Learning in der medizinischen Forschung

Mehrere Studien konnten bereits nachweisen, dass ML-Modelle in der medizinischen Diagnostik die Erfolgsraten von Ärzten erreichen und sogar übertreffen können.

In der Zukunft könnte ML in folgenden Bereichen der medizinischen Forschung zu Fortschritt führen:

• Bildbasierte Diagnostik (Röntgenbilder, MRT, CT)
• Krankheitsverlaufsvorhersage
• (Personalisierte) Medikamentenentwicklung (z.B. auch Antibiotika)
• Personalisierte Behandlungspläne
• Epidemiologische Prognosen

ML in der Nachhaltigkeit und Klimaforschung

Auch für Nachhaltigkeitsaspekte und in der Klimaforschung kann Machine Learning eine Rolle spielen. Bereits heute wird Machine Learning für folgende Anwendungen verwendet:

• Energieverbrauchsoptimierung
• Wettervorhersagen
• Erneuerbare-Energien-Management
• Artenvielfalt-Monitoring
• Klimamodellierung

Machine Learning im E-Commerce

Große E-Commerce Stores verwenden Machine Learning Modelle für folgende Aufgaben:

• Dynamische Preisgestaltungen
• Bestandsmanagement
• Personalisierte Produktsuche
• Cross-Selling-Optimierung
• Retourenvorhersage

Jedes dieser Anwendungsgebiete entwickelt sich stetig weiter und bietet ständig neue Möglichkeiten für Innovation und Optimierung.

Es ist davon auszugehen, dass sich Machine Learning in der kommenden Dekade immer weiter in Industrie und Wirtschaft verbreiten und zu hohen Produktionszuwächsen führen wird.

5. Der Machine Learning Prozess anhand eines praktischen Beispiels

Um ein eigenes Machine Learning Modell zu entwickeln, sind mehrere Schritte notwendig. Eine detaillierte Anleitung würde den Rahmen dieses Artikels sprengen, aber um einen guten Überblick zu erhalten, reicht es, wenn wir die einzelnen Schritte High-Level durchgehen.

Beim Erstellen eines ML-Projektes durchläuft man die folgenden Prozesse:

Schritt 1: Problemverständnis

Bevor du dich an die technische Umsetzung eines ML-Modells setzt, ist es wichtig, dass du dein konkretes Problem klar definierst und ausformulierst.

Dabei kannst du folgende Kernfragen stellen:

• Was genau soll das ML-System leisten?
• Welche Daten werden benötigt?
• Wie misst du den Erfolg?

Als praktisches Beispiel wollen wir im Folgenden ein System entwickeln, das Kundenrezensionen automatisch nach ihrer Stimmung klassifiziert. Die Kernfragen lassen sich hier wie folgt beantworten:

Gleichzeitig können wir uns klarmachen, dass wir vermutlich viele klassifizierte Beispiele benötigen, um die Genauigkeit des Modells zu erhöhen. Zudem könnte es Probleme geben, wenn die Datenquellen nicht bereinigt und die Rezensionen z.B. in mehreren Sprachen verfasst wurden.

Schritt 2: Datenvorbereitung

Der Prozess der Datenvorbereitung lässt sich in drei Teilschritte gliedern:

1. Datensammlung: Erstelle deine Datensammlung mit Beispielen. Dokumentiere dabei am besten deine Datenquellen und achte auf Datenschutz und Urheberrechte.
2. Datenbereinigung: Entferne alle Duplikate, fülle leere Werte aus und korrigiere offensichtliche Fehler.
3. Datentransformation: Konvertiere die Texte in Zahlen oder Vektoren, damit wir die ML-Algorithmen anwenden können. Z.B. können die Inhalte über Encoding-Mechanismen encodiert werden.

Schritt 3: Modellentwicklung

Nachdem du deine Daten aufbereitet hast, geht es nun darum, die passende Methode für das Training zu wählen. In unserem Beispiel geht es um einen Klassifikationsmechanismus, weshalb wir am besten auf eine überwachte Lernmethode zurückgreifen sollten.

Für die Modellentwicklung gibt es verschiedene ML-Bibliotheken. Für den Einstieg kannst du z.B. scikit-learn verwenden. Die beliebtesten Deep Learning Libraries sind PyTorch oder TensorFlow.

Fortgeschrittene User können für das schnelle Prototyping zudem auf AutoML-Tools zurückgreifen.

Schritt 4: Evaluation

Sobald das Training deines Modells beendet ist, solltest du es evaluieren, um sicherzustellen, dass es auch außerhalb des Trainings in einer Produktionsumgebung gut funktioniert.

Dafür kannst du z.B. reale Beispiele testen und mit deinen Erwartungen abgleichen. Neben der Genauigkeit deines Modells solltest du ebenso die Geschwindigkeit und Effizienz (also den Ressourcenverbrauch) messen und gegebenenfalls optimieren.

Schritt 5: Deployment

Im letzten Schritt kannst du dein Machine-Learning-Modell deployen. Dabei steht es dir frei, ob du lokale Lösungen wie Docker Container oder Cloud-Plattformen wie die Google Cloud oder Microsoft Azure verwendest.

Zusammenfassung des Artikels

Wie du hoffentlich im Artikel erfahren hast, ist Machine Learning ein weit gefasstes Gebiet innerhalb der Künstlichen Intelligenz, das immer mehr praktische Anwendungen findet.

Lass uns die wichtigsten Konzepte noch einmal zusammenfassen:

• Grundlagen: Machine Learning beruht auf Algorithmen, die Muster in Daten erkennen und daraus Vorhersagen oder Entscheidungen ableiten.
• Methoden: Die wichtigsten Lernmethoden sind Supervised. Unsupervised und Reinforcement Learning.
• Algorithmen: Klassifikations- und Regressionsverfahren, Entscheidungsbäume, Random Forests und SVMs sind Teil des großen ML-Werkzeugkastens.
• Anwendungsfelder: Von Chatbots und digitalen Assistenten über medizinische Diagnostik bis hin zur Optimierung der Klimaforschung wird Machine Learning in immer mehr Bereichen angewendet.

Fortschritte in der Chip-Technologie und immer mehr investierte Ressourcen in die KI-Forschung sorgen dafür, dass immer größere Modelle entwickelt und neuartige Architekturen und Anwendungsfelder gefunden werden. Die Potenziale von Machine Learning Algorithmen sind riesig.

Aufgrund der Breite und Neuheit des Feldes ist nicht verwunderlich, dass auch immer mehr Phd-Stellen ausgeschrieben werden, um die akademische Forschung weiterzutreiben.

Wenn du dich jetzt intensiv mit Machine Learning auseinandersetzt, stellst du sicher, dass du in der Zukunft zu den Profiteuren von KI-Technologie gehörst. Spannende Bereiche, in denen du dich weiterbilden könntest, sind z.B.

• Generative AI
• Ethik und Moral von KI-Systemen (Alignment)
• Entwicklung eines eigenen ML-Modells
• Multimodale KI-Modelle