0
Luigi
Der Zweck von Luigi besteht darin, alle mit lang laufenden Batch-Prozessen verbundenen Installationsprobleme zu lösen.Sie möchten viele Aufgaben verketten, automatisieren und es kommt zu Fehlern.Bei diesen Aufgaben kann es sich um alles handeln, es handelt sich jedoch in der Regel um lange laufende Aufgaben wie Hadoop-Jobs, das Speichern von Daten in / aus Datenbanken, das Ausführen von Algorithmen für maschinelles Lernen oder andere Aufgaben.Es gibt andere Softwarepakete, die sich auf untergeordnete Aspekte der Datenverarbeitung konzentrieren, z. B. Hive, Pig oder Cascading.Luigi ist kein Rahmen, um diese zu ersetzen.Stattdessen hilft es Ihnen, viele Aufgaben zusammenzufügen, wobei jede Aufgabe eine Hive-Abfrage, ein Hadoop-Job in Java, ein Spark-Job in Scala oder Python, ein Python-Snippet, ein Dump einer Tabelle aus einer Datenbank oder etwas anderes sein kann.Es ist einfach, lang laufende Pipelines aufzubauen, die Tausende von Aufgaben umfassen und deren Fertigstellung Tage oder Wochen in Anspruch nimmt.Luigi kümmert sich hauptsächlich um das Workflow-Management, sodass Sie sich auf die Aufgaben selbst und ihre Abhängigkeiten konzentrieren können. Sie können so ziemlich jede Aufgabe erstellen, die Sie möchten. Luigi wird jedoch auch mit einer Toolbox aus mehreren gängigen Aufgabenvorlagen geliefert, die Sie verwendenverwenden.Es enthält Unterstützung für die Ausführung von Python-Mapreduce-Jobs in Hadoop sowie von Hive- und Pig-Jobs.Es enthält auch Dateisystemabstraktionen für HDFS und lokale Dateien, die sicherstellen, dass alle Dateisystemvorgänge atomar sind.Dies ist wichtig, da dies bedeutet, dass Ihre Datenpipeline in einem Zustand mit Teildaten nicht abstürzt.
luigi
Webseite:
https://github.com/spotify/luigiKategorien
Alternativen zu Luigi für alle Plattformen mit einer Lizenz
5
Zenaton
Ein Workflow Builder für Entwickler.Erstellen Sie ereignisgesteuerte Prozesse in Tagen statt Monaten.
1
StackStorm
StackStorm ist eine leistungsstarke Open-Source-Automatisierungsplattform, die alle Ihre Apps, Dienste und Workflows miteinander verbindet.Es ist erweiterbar, flexibel und mit Liebe zu DevOps und ChatOps gebaut.
- Kostenlose
- Linux
1
ProActive Workflows & Scheduling
Mit ProActive Workflows & Scheduling können Sie auf einfache Weise alle Ihre Unternehmensjobs und Geschäftsanwendungen ausführen, Aktivitäten überwachen und schnell auf Auftragsergebnisse zugreifen.
1
Apache Airflow
Airflow ist eine Plattform, mit der Datenpipelines programmiert, geplant und überwacht werden können.
- Kostenlose
- Linux