heise+ | Mit Airflow Trends erkennen: So überwachen Sie Youtube-Kanäle & Co

vor 2 Stunden 1

Mit Airflow Trends erkennen: So überwachen Sie Youtube-Kanäle & Co
- So installieren Sie Airflow unter Linux
Einrichtung von Airflow und Blick auf die Bedienoberfläche
DAG-Grundgerüst erstellen
Die Hauptfunktionen
Fazit

Wer Online-Trends frühzeitig erkennt, sichert sich einen Wissensvorsprung. Apache Airflow ist dafür das ideale Werkzeug: Mit ihm lassen sich Daten automatisiert einholen und verarbeiten. Regelmäßige Aufgaben kann Airflow zeit- oder datengesteuert auslösen. So hat sich das Open-Source-Programm als weit verbreiteter Standard für Workflows etabliert.

Dieser Artikel zeigt, wie Sie mit Airflow die öffentlich zugängliche YouTube-Data-API abgreifen können, um beispielsweise die Entwicklung Ihrer Lieblingskanäle zu verfolgen und zu vergleichen. Einmal eingerichtet, sammelt Airflow täglich die neuesten Daten der überwachten Kanäle: Welche Videos sind neu hinzugekommen? Welche sind bei den Zuschauern besonders beliebt? Wie entwickeln sich die Abonnentenzahlen?

Mit Airflow lassen sich automatisiert Daten einholen und verarbeiten. Dazu definiert man Workflows in Python, die sogenannten DAGs.
Der Artikel erläutert, wie Sie mit Airflow automatisiert Daten aus der YouTube-Data-API abziehen und in eine einfache Datenbank schreiben können. So kann man etwa den zeitlichen Verlauf der Abonnenten öffentlicher Kanäle tracken.
Im Projekt vermitteln wir alles nötige, von der Einrichtung von Airflow über den Weg zum API-Key und gehen schließlich auf die wesentlichen Bestandteile des Python-Skripts ein.

Wir setzen dabei konsequent auf kostenlose Werkzeuge und installieren das System auf einer lokalen Linux-Distribution. Zur Installation und Nutzung von Airflow sollten Sie Grundkenntnisse in der Programmiersprache Python mitbringen. Für eine strukturierte Übersicht schreiben wir die Daten in eine einfache SQLite-Datenbank. Der vorgestellte Workflow eignet sich aber auch für Datenbanken in Produktivsystemen.

Das war die Leseprobe unseres heise-Plus-Artikels "Mit Airflow Trends erkennen: So überwachen Sie Youtube-Kanäle & Co". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

Gesamten Artikel lesen