Q learning

Ein Thema des Machine Intelligence Moduls, das ich in diesem Semester an der TU Berlin belegt habe, war unter anderem reinforcement learning, und in dem Zusammenhang Q learning. Eine Aufgabe bestand darin, einen Agenten das Balancieren eines Stabs mit Gewicht am Ende lernen zu lassen, mit einem ganz einfachen Physikmodell als Grundlage. Habe aus dem Lernprozess mal ein Video gemacht (das echt lang geworden ist). Der Prozess ‘konvergiert’ so bei 535 Episoden, davor wird viel ausprobiert.

Die Pfeile zeigen die Richtung an, in die der Agent Kraft auf den Stab ausübt. Die roten Linien zeigen das Abbruchkriterium an; wenn die überschritten werden, wird der Agent bestraft. Habe leider zu spät bemerkt, dass ich jeweils den ersten Step einer Episode nicht mit drin hab, aber da steht der Stab ohnehin immer aufrecht 🙂

Hier sieht man  den Verlauf, wieviele Steps der Agent in jeder Episode geschafft hat:

Der Durchbruch erfolgt relativ plötzlich am Ende, und ab dann fällt der Stab auch kaum noch um. Und hier sind die Q values nach 550 Episoden:

Die weißen Flächen sind states, die nie auftraten und daher unerkundet geblieben sind. Die Diskretisierung bestand aus 50 states für Position und Geschwindigkeit.

Wall Street Journal vs. Pewdiepie

Ganz merkwürdige Geschichte, die sich da in den vergangenen Tagen abgespielt hat. Ein WSJ Artikel (hinter Paywall), von drei Autoren verfasst, will dem Youtuber Pewdiepie (53 Mio. Abonnenten)  nachweisen, Antisemit zu sein, weil er provokante Witze gemacht hat, die Referenzen zum “dritten Reich” beinhalteten. Einen davon unter anderem in einem Video, in dem er den Medien vorwirft, ihn zum Zwecke ihrer eigenen Agenda zu oft aus dem Kontext gerissen zu zitieren. Das kann man sich wirklich nicht ausdenken, sowas. Jedenfalls wurde Pewdiepie jetzt von Disney rausgeworfen  (bei denen er bislang über das Content Creator Netzwerk Maker Studios unter Vertrag war), so wie ich das verstanden hab. Und Youtube hat hat eine Show gecancelled, die gerade fertig produziert wurde und als nächstes hätte ausgestrahlt werden sollen. Disney und Youtube ist es natürlich überlassen, zu entscheiden, worein sie ihr Geld stecken, aber so ungerechtfertigter Heile-Welt-Reaktionismus, der scheinbar geschieht, ohne sich angemessen mit der Sachlage auseinander gesetzt zu haben, ist mehr als unsouverän, finde ich.
Ich bin jetzt niemand, der sich Pewdiepie Videos ansieht oder Fan ist, halte das aber dennoch für ganz schlechten Stil vom WSJ (und vielen anderen, die auf den Zug aufgesprungen sind). Da muss die Hysterie den “neuen” Medien gegenüber echt groß sein, dass da so Blödsinn bei rauskommt. Fühle mich ein bisschen an die Böhmermann-Erdogan-Story erinnert.

NSA Untersuchungsausschuss / BND Clusterfuck

Kanzleramtschef Peter Altmaier war als Zeuge im NSAUA. Das gab einigen Publikationen Anlass, sich nochmal zum aktuellen Stand in der Sache zu äußern, zum Beispiel Georg Mascolo und Kollegen in der SZ, Kai Biermann bei ZEIT Online und Markus Beckedahl bei Netzpolitik.org. Ich lese da viel Ärger, Zynismus und Resignation zwischen den Zeilen. Die ganze Nummer hätte auch in 2017 das Potenzial, das einzig bestimmende Thema aller Nachrichten, Kommentare und Kolumnen zu sein, wird aber kaum noch so wahrgenommen. Das dürfte auch Grund für die Frustration derjenigen sein, die sich seit Jahren damit auseinandersetzen, vermute ich.

Hier gibts das Live-Protokoll der Sitzung auf Netzpolitik.org.

NSU Zeugen

Ein bisschen untergangen ist, wie ich finde, dass mittlerweile der sechste Todesfall unter Zeugen in der NSU-Aufklärung zu beklagen ist. Einer der wenigen Artikel, die ich dazu gefunden habe, ist der hier, der sich seinerseits auf diese Pressemitteilung beruft. Tilo Jung hat in der Bundespressekonferenz dazu eine Frage gestellt, aber wie erwartet (und in dem Fall verständlicherweise) gabs dazu keine inhaltliche Antwort. Letztes Jahr gabs noch eine Reihe Artikel, da das zahlreiche Sterben ja schon nach dem fünften Todesfall sehr auffällig war. Hier einige davon:

Jetzt ist es natürlich schwierig, das irgendwie zu werten, weil man eben so gut wie nichts weiß. Aber wundern kann man sich schon.

Bundespräsident / Erster Eintrag

Erster Eintrag und direkt politisch. Frank-Walter Steinmeier ist heute zum neuen Bundespräsidenten gewählt worden, allen mir bekannten Meinungen nach, inklusive meiner eigenen, ohne große Überraschung. Tilo Jung hat das Prozedere in einer Mini-Doku festgehalten, die man sich ganz gut anschauen kann (wie im Übrigen auch seine Interviews mit allen außer dem jetzt gewählten Kandidaten). Etwas mehr Kritik an der Person Steinmeier hätte ich mir als Fan von Christopher Lauer von Christopher Lauer gewünscht, der sich vor der Wahl mit ein paar warmen Worten in seinem Podcast und danach damit begnügte, ein gemeinsames Foto von sich und Frank-Walter auf Twitter zu posten.

Ich bin mir sicher, wäre da jetzt nicht die Gemeinsamkeit, SPD-Mitglied zu sein, hätte Lauer schärfere Töne angeschlagen, natürlich insbesondere in Bezug auf die Steinmeier-Kurnaz-Kontroverse.