Twitter LinkedIN Xing facebook

Einblicke in Reinforcement Learning auf der DevCon 2019 in Hamburg

Auf der DevCon 2019 in Hamburg brachte die Otto Gruppe Experten aus Softwareentwicklung und Qualitätssicherung zusammen. Bei der Konferenz veranschaulichte Artem Budishchev, Senior Data Scientist bei collectAI, wie Reinforcement Learning Entscheidungsprozesse intelligent automatisiert. Übrigens: Wenn Sie auch Experte für Reinforcement Learning sind, sollten Sie unbedingt einen Blick auf unsere Karrieremöglichkeiten werfen.

Reinforcement Learning verstehen

Reinforcement Learning ist ein Bereich des maschinellen Lernens. Algorithmen für maschinelles Lernen ermöglichen es digitalen Softwareanwendungen, Wissen zu erwerben – sie stellen die Essenz dessen dar, was unter Künstlicher Intelligenz zu verstehen ist.


Auf der DevCon 2019 erklärt Artem die Grundlagen von Reinforcement Learning

Auf Reinforcement Learning basierende KI-Modelle analysieren Datensätze, treffen Entscheidungen in einem definierten Rahmen und bewerten das Ergebnis. Wenn das Ergebnis positiv ist (dies muss zuvor von Data Scientists festgelegt werden), erhält das Modell eine Belohnung. Durch stetige Wiederholung identifiziert das Modell Muster und Strategien, um die Belohnungen zu maximieren. Auf diese Weise wird ein bestimmtes Verhalten verstärkt.

Reinforcement Learning in Aktion

Computerspiele eignen sich hervorragend, um die Fähigkeiten von Reinforcement Learning zu demonstrieren. Im nachfolgenden Video spielt ein Reinforcement-Learning-Agent das Spiel Breakout. Im Laufe hunderter Spielen identifiziert das Modell Strategien zur Belohnungsmaximierung. Letztendlich minimiert es sogar den eigenen Aufwand, indem es den Ball hinter die Blöcke schiebt.

Darüber hinaus helfen Computerspiele dabei, Fallstricke bei der Entwicklung maschineller Lernmodelle zu verstehen. Bei der Konzeption von Agenten für bestimmte Aufgaben müssen die Belohnungen sorgfältig austariert werden, um unbeabsichtigte Ergebnisse zu vermeiden. Das zweite Video zeigt einen Agenten, der ein Regattaspiel spielt. Da der Agent nicht nur Belohnungen für das Beenden des Rennens erhält, sondern auch für das Sammeln von Bonus-Edelsteinen, nutzt er die Belohnungsmechanik aus: Er sammelt nur noch Edelsteine ein, wird aber niemals die Ziellinie überqueren.

Digitales Forderungsmanagements mit Reinforcement Learning

collectAI setzt Reinforcement Learning ein, um die KPIs im Forderungsmanagement konsequent zu verbessern. Bei unseren Modellen setzen wir auf Deep-Q-Networks (DQN). Kennzeichnent für diesen Reinforcement-Learning-Ansatz ist der Einsatz multipler Analyseebenen.

Ein Ziel für die KI könnte darin bestehen, die Realisierungsrate eines Kunden zu optimieren. Dieses Ziel berücksichtigt mehrere Ereignisse. Beim Versenden von Zahlungserinnerungen erkennt das Modell, ob ein Kunde die E-Mail öffnet, auf die Zahlungsseite zugreift oder den fälligen Betrag zahlt. Jedes Ereignis wird mit im Vorfeld mit einem Belohnungswert attribuiert.


collectAI setzt Reinforcement Learning ein, um Kundenkommunikation intelligenter zu machen

Das Modell passt die Kundenkommunikation nun so an, dass höhere Belohnungen erzielt werden. In der Praxis könnte das Modell beispielsweise feststellen, dass die Zahlungsrate höher ist, wenn E-Mails um 10 Uhr statt um 22 Uhr gesendet werden. In diesem Fall wird die KI es vorziehen, E-Mails am Morgen zu versenden, um höhere Belohnungen zu erzielen.

„Reinforcement Learning ist die erste Wahl für die Entwicklung autonomer Agenten. Der Ansatz ist sehr effektiv, da er der menschlichen, auf Dopamin basierenden Lernweise ähnelt. Darüber hinaus können die KI-Modelle nicht nur Muster in Daten identifizieren, sondern auch anknüpfende Entscheidungen treffen. Daher werden wir in Zukunft immer mehr Reinforcement Learning bei automatisierten Entscheidungsprozessen in Unternehmen auf der ganzen Welt sehen.“

Verknüpfung von Softwareentwicklung und Qualitätssicherung auf der DevCon 2019

Die DevCon 2019 kombiniert die Quality Conference und die Developer Conference. Die Veranstaltungen findet jährlich auf dem Campus der Otto Group in Hamburg statt, um den Wissensaustausch zu fördern. Hauptthemen sind maschinelles Lernen, Blockchain, Cloud Computing und Big Data. Viele Unternehmen der Otto Gruppe sowie Externe nutzten die Gelegenheit zum Wissensaustausch – darunter EOS, Hanseatic Bank, BonPrix und Microsoft.