10 Minuten Live-Demo: Kafka-Streaming auf Confluent | Jetzt registrieren

Was ist Apache Kafka®?

Apache Kafka ist eine verteilte Event-Streaming-Plattform, die mehrere Billionen Events pro Tag verarbeiten kann. Kafka wurde ursprünglich als Messaging-Queue konzipiert und basiert auf einer Abstraktion eines verteilten Commit-Logs. Seitdem Kafka 2011 bei LinkedIn entwickelt und unter eine Open-Source-Lizenz gestellt wurde, hat es sich schnell von einer Messaging-Queue zu einer vollwertigen Event-Streaming-Plattform entwickelt.

Confluent wurde von den ursprünglichen Entwicklern von Apache Kafka gegründet und bietet mit Confluent Platform die vollständigste Version von Kafka. Confluent Platform verbessert Kafka mit zusätzlichen Open-Source- und kommerziellen Funktionen, die entwickelt wurden, um das Streamen von . Daten in Produktion für Betreiber und Entwickler optimal zu gestalten.

Where Apache Kafka fits in

Thousands of companies are built on Kafka

How can Kafka help you?

Übertragen und Abrufen

Alles beginnt mit dem einfachen, unveränderlichen Commit-Log. Diesen können Sie abonnieren und Daten auf beliebig vielen Systemen oder Echtzeit-Anwendungen veröffentlichen. Im Gegensatz zu Nachrichten-Queues ist Kafka ein in hohem Maße skalierbares und fehlertolerantes verteiltes System. So kann es für Anwendungen wie die Verwaltung von Fahrgast- und Fahrerzuordnung bei Uber, Echtzeit-Analytics und vorausschauende Wartung für Smart Home von British Gas und die Erbringung zahlreicher Echtzeit-Dienste überall auf LinkedIn eingesetzt werden. Diese Performance ist unerreicht und eignet es sich ideal für die Skalierung von einer einzigen App bis hin zur unternehmensweiten Verwendung.

Speichern

Durch die Abstraktion eines verteilten Commit-Logs, wie es üblicherweise in verteilten Datenbanken zu finden ist, bietet Apache Kafka dauerhafte Speichermöglichkeiten. Kafka kann als zuverlässige Informationsquelle genutzt werden, da hier Daten auf mehrere Nodes verteilt werden können. So kann eine Bereitstellung mit hoher Verfügbarkeit in einem einzigen Rechenzentrum oder über mehrere Verfügbarkeitsbereiche hinweg erzielt werden.

Verarbeitung

Eine Event-Streaming-Plattform würde ihrem Namen nicht gerecht, wenn die Daten nicht direkt bei ihrem Eintreffen verarbeitet werden könnten. Die Streams API in Apache Kafka ist eine leistungsstarke, schlanke Bibliothek, die eine On-the-fly-Verarbeitung ermöglicht. Hier können Sie aggregieren, Windowing-Parameter erstellen, Daten innerhalb eines Streams zusammenführen und vieles mehr. Doch das ist noch nicht alles: Sie wurde als Java-Anwendung auf Kafka erstellt, sodass Ihr Workflow unbeeinträchtigt bleibt und Sie sich nicht um zusätzliche Cluster kümmern müssen.

Kafka: The Definitive Guide

Learn how to take full advantage of Apache Kafka, the distributed, publish-subscribe queue for handling real-time data feeds. With this comprehensive book, you'll understand how Kafka works and how it's designed.

A toolset for streaming

Apache Kafka is a popular tool for developers because it is easy to pick up and provides a powerful event streaming platform complete with 4 APIs: Producer, Consumer, Streams, and Connect.

Often, developers will begin with a single use case. This could be using Apache Kafka as a message buffer to protect a legacy database that can’t keep up with today’s workloads, or using the Connect API to keep said database in sync with an accompanying search indexing engine, to process data as it arrives with the Streams API to surface aggregations right back to your application.

In short, Apache Kafka and its APIs make building data-driven apps and managing complex back-end systems simple. Kafka gives you peace of mind knowing your data is always fault-tolerant, replayable, and real-time. Helping you quickly build by providing a single event streaming platform to process, store, and connect your apps and systems with real-time data.