TOPICS - similar cu conceptual de tabela in baza de date
entitle logica sub care se scriu mesaje care sunt cu interes pe o anumita zona. este. o insiguire de message.
sunt date de tip stream, nu sunt date statice cum este la tabele .
Topicurile sunt compuse din MESSAGE.
Fizic, topicurile, sunt scrise pe disc sub forma de partitii.
In HDFS, fisierul se scrie in blocuri, acele blocuri se scrim in partite. O tabela, un cluster cu 10 noduri. trebuie sa imartim tabela in 10 bucati ca sa ii dai seansa sa fie distribute pe mai multe noduri.
PARTITIONS sunt bucati din topic, o partitie poate sa stea pe un sg. nod.
De fiecare data cand intra date intr-o partitie, sunt organizate pe OFFSET.
In Kafka poti sa tii mesaje cu sau fara KEYS.
DAca mesajele au key, Kafka garanteaza ca sunt procesare in ordinea in care vin, sunt disponibile la citire in ordinea in care am fost scrise. Practic tot ce vine cu aceeasi KEY se gaseste in aceeasi partitie
BROKERS - echivalent cu nod.
zookeeper - tin informatii despre mesaje
Un MESSAGE pote sa fie orice care poate sa fie transformat in byte array, dar sa nu fie >1mb