[Webinar] Q1 Confluent Cloud Launch Brings You the Latest Features | Register Now

Apache Kafka: selbst gehostet oder als Managed Service? Ein Vergleich verschiedener Cloud-Services

Confluent Cloud ist der branchenweit einzige Cloud-native Service auf Basis von Apache Kafka für umfangreiches Daten-Streaming. Confluent wurde für die Cloud konzipiert, im Gegensatz zur einfachen Installation von Kafka in einer Cloud-Infrastruktur. Confluent bietet ein umfassendes, vollständig verwaltetes Daten-Streaming, -Verarbeitungs und -Analyse-Erlebnis über Public und Private Clouds hinweg.

Arten von verwalteten Services für Apache Kafka

Cloud-nativ

  • Entwickelt für die Cloud mit einer Architektur, die elastische Rechenleistung und unbegrenzten Speicherplatz bietet
  • Integrierte Automatisierung während des gesamten Kafka-Prozesses zur Reduzierung des operativen Aufwands
  • Flexibilität bei der Bereitstellung mit konsistenten Erfahrungen über verschiedene Clouds hinweg und der Möglichkeit zur Selbstverwaltung On-prem

Cloud-gehostet

  • Installierte Software auf selbst bereitgestellter Cloud-Infrastruktur mit traditioneller Broker-Architektur
  • Manueller Betrieb mit Provider- oder Open-Source-Tools für Aktivitäten, die über die Bereitstellung hinausgehen
  • Auf einen einzigen Cloud-Anbieter beschränkte Bereitstellung und/oder fehlende Option zur Selbstverwaltung On-prem

Cloud-natives vs. Cloud-gehostetes Kafka

Die Cloud-native Transformation mit Kafka geht über die Bereitstellung hinaus und erstreckt sich von der Dimensionierung bis zur Skalierung. Während ein in der Cloud gehosteter Service zwar die Bereitstellung von Kafka vereinfachen kann, bleibt anschließend aber immer noch der manuelle Betrieb und das Infrastruktur-Monitoring.

Die Wahl eines verwalteten Kafka-Services kann Unternehmen entweder dabei helfen, alle Vorteile von Kafka zu nutzen oder zu einer Verringerung der Entwicklerproduktivität führen und Markteinführungen aufgrund ungeplanter manueller Vorgänge verzögern.

Cloud-natives Erlebnis mit Confluent Cloud-gehostetes Erlebnis mit anderen Services
Dimensionierung Durchsatzbasiert
Mühsame Performance-Tests und Kapazitätsplanung eliminieren mit einer Cluster-Dimensionierung, die auf den Streaming-Anforderungen wie dem Durchsatz basiert. Gleichzeitig können Infrastrukturkosten mit unbegrenztem Speicherplatz auf Clusterebene (elastisch auf Null skalierbaren Clustern bei denen nur für die Nutzung und nicht für die bereitgestellte Infrastruktur bezahlt wird) gesenkt werden.
Broker-basiert
Zeit und technische Ressourcen einplanen, um mehrere Performance-Tests zur Auswahl von Broker-Typen und Broker-Anzahl durchzuführen. Die Preisgestaltung basiert auf Infrastrukturkomponenten, die sowohl für Rechen- als auch für Speicherkapazitäten bereitgestellt werden, und zwar für jeden Cluster, auch für solche, die während der Entwicklung einen geringen Durchsatz haben.
Bereitstellung Self-Service, On-Demand
Kafka-Cluster zusammen mit allen anderen Confluent-Komponenten bereitstellen, einschließlich Schema Registry, Connectors und Stream-Verarbeitung mit ksqlDB.
Self-Service, On-Demand
Nur Kafka-Cluster bereitstellen.
Infra-Monitoring Confluent – proaktives Monitoring
Mit proaktiver Cluster-Überwachung und Wartung durch die Kafka-Experten voll auf die App-Entwicklung konzentrieren. Darüber hinaus ermöglicht Infinite Storage unbegrenzte Einsatzmöglichkeiten auf Clusterebene, vereinfacht die Kapazitätsplanung und verringert das Risiko von Ausfällen im Zusammenhang mit Festplattenspeicher.
Manuelles Monitoring
Ressourcen zur Überwachung von Broker-Metrics wie der CPU-Auslastung zuweisen, um die Cluster-Performance proaktiv zu verwalten und gleichzeitig Alerts für den Festplattenspeicher überwachen und verwalten, um Ausfälle aufgrund der Speicherkapazität zu verhindern.
Topic-Monitoring Voraggregierte und kostenlose Metrics
Der Zugriff auf wichtige Metrics, die mit Data Flow auf Topic- und Clusterebene aggregiert werden, liefert wertvollste Erkenntnisse über alle Anwendungen — ohne zusätzliche Kosten. Über die Metrics-API können aggregierte Metrics im bevorzugten Monitoring-Service genutzt werden.
Metrics pro Broker und Topic kosten extra
Berechnung für die Nutzung und manuelle Aggregation von Metrics auf Pro-Broker- und Pro-Topic-pro-Broker-Ebene, um den Verbrauch auf Topic- und Cluster-Ebene überwachen zu können. Benutzer müssen zudem eine Verarbeitungs- und Aggregationslogik der Metrics pflegen, um Daten nach Skalierungen genau darzustellen, wenn Partitionen über verschiedene Broker hinweg neu ausbalanciert werden.
Upgrades Immer auf der neuesten Version
Null Aufwand durch fortlaufende Upgrades auf die neueste stabile Kafka-Version, die strategische Patches vor den geplanten Apache-Releases enthält. Upgrades sind unterbrechungsfrei, um die SLA-Verfügbarkeit zu gewährleisten.
Eingeschränkte Versionsunterstützung
Upgrades manuell auslösen, sobald größere Versionen nach einem geplanten Apache-Release unterstützt werden. Während des Upgrade-Prozesses liegt die Cluster-Verfügbarkeit in der Verantwortung des Benutzers.
Patching von Sicherheitslücken Proaktive Fixes
Sicher und zuverlässig streamen mit Kafka-Experten, die proaktiv bekannte Bugs und Schwachstellen beseitigen und selbst die kompliziertesten Kafka-Probleme beheben.
Nicht verfügbar
Ausfälle aufgrund von Software sind von den Verfügbarkeits-SLAs ausgeschlossen.
Cluster-Erweiterungen Elastische Skalierbarkeit
Automatische Ressourcenzuweisung für die Cluster, um Consumer-Lag zu vermeiden, wenn der Durchsatz mit selbstausgleichenden Clustern steigt oder sinkt. Infinite Storage vermeidet eine übermäßige Bereitstellung von Cluster-Rechenleistung und erhöht gleichzeitig die Topics-Retention.
Broker ohne Data Balancing hinzufügen
Nachdem Broker zu einem beliebigen Cluster hinzugefügt wurden, ist ein manueller Data-Rebalancing-Prozess mit Tools wie Cruise Control erforderlich. Speicherplatzbeschränkungen pro Broker/Instanz zwingen Benutzer dazu, entweder zu viel für Rechenleistung zu bezahlen oder Daten aus Kafka zu exportieren, wenn die Daten lange vorgehalten werden sollen.
Connectors Vorgefertigt und vollständig verwaltet
Beschleunigte Integration von modernen und Legacy-Services in On-prem und Public Clouds mit einem ständig wachsenden Portfolio von über 120 Source- und Sink-Connectors. Vollständig verwaltete Connectors reduzieren den operativen Aufwand für die Bereitstellung, Verwaltung und Unterstützung zusätzlicher Infrastruktur für Integrationen.
Eigenständige Entwicklung und Verwaltung
Verlangsamung der Einführung aufgrund nicht wiederholbarer Integrationen in Daten-Services. Der operative Aufwand erhöht sich auch bei der Verwendung von Community-Connectors, da die Benutzer zusätzliche Connect-Cluster ohne Unterstützung selbst verwalten müssen.
Non-Java-Clients Confluent-unterstützt
Entwicklungsgeschwindigkeit erhöhen und Kafka für Anwendungen und Services mit einer Vielzahl von praxiserprobten Clients für C, Java, .Net, Go, Python und mehr zugänglich machen.
Selbstverwaltet
Nutzung selbst- oder von der Community erstellter Clients ohne technischen Support des Service-Anbieters.
Support Committer-getriebene Expertise
Erfahrene 24x7-Support-Engineers haben Zehntausende von Problemen im Zusammenhang mit Kafka gelöst, die als Commits ins Open-Source-Projekt einfließen. Markteinführungen können durch das Know-how und die Anleitung des Professional Services Teams weiter beschleunigt werden.
Begrenzte Expertise
Begrenzte Erfahrung mit der Unterstützung und Wartung von Kafka und seinem Ökosystem.
Umgebungen Die freie Wahl
Einheitliche Cloud-native Erfahrung über AWS, Azure und Google Cloud mit der Option, direkt über die jeweiligen Marketplaces zu abonnieren, um die Abrechnung zu vereinfachen. Erweiterung der Event-getriebenen Architektur auf lokale oder private Cloud-Umgebungen mit Confluent Platform, unserer selbstverwalteten Software.
Eingeschränkt
Der Service ist auf einen einzigen Cloud-Anbieter beschränkt und/oder es fehlt eine selbstverwaltete Softwareversion für vereinfachte Kafka-Operations vor Ort.
Ökosystem Umfassend
Confluent bietet weit mehr als nur einen Kafka-Service mit einem umfassenden Ökosystem einschließlich Schema-Management und Stream-Verarbeitung. Entwickler können die Anwendungskompatibilität mit der vollständig verwalteten Schema Registry aufrechterhalten und ETL-Pipelines in Echtzeit mit einer leichtgewichtigen SQL-Syntax in der vollständig verwalteten ksqlDB entwickeln.
Begrenzt
Nur Apache Kafka-Cluster.

Cloud-nativ unterwegs – noch heute mit Confluent