Về Kafka

Kafka là hệ thống message publish/subscribe phân tán (distributed messaging system). Bên publish dữ liệu được gọi là producer hay người gửi, bên subscribe nhận dữ liệu theo topic được gọi là consumer hay người nhận.

Kafka có khả năng truyền một lượng vô cùng lớn các message theo thời gian thực, trong trường hợp bên nhận chưa nhận message vẫn được lưu trữ sao lưu trên một hàng đợi (queue) và cả trên ổ đĩa bảo đảm an toàn. Đồng thời nó cũng được replicate trong cluster giúp phòng tránh mất dữ liệu.

 

Với phương thức truyền thống, một hệ thống thương mại điện tử hay một ứng dụng bất kỳ sẽ có nhiều server thực hiện các tác vụ khác nhau. Tất cả các server này đều sẽ giao tiếp với database server để đọc ghi dữ liệu.

Vì vậy sẽ có rất nhiều data pipeline kết nối từ rất nhiều server khác đến database server này. Các data pipeline sẽ phức tạp khủng khiếp do gia tăng lượng hệ thống server. Khi xây dựng hệ thống xử lý dữ liệu thời gian thực thì cần một cơ sở hạ tầng kỹ thuật cao, cần tạo nhiều server, cài đặt Kafka để sử dụng. Kafka với năng lực phân phối tuyệt vời kể trên sẽ được ứng dụng để xử lý cho các tình huống này. Tuy nhiên, để triển khai 1 hệ thống như vậy sẽ cần rất nhiều thời gian, nguồn lực, tài nguyên và chi phí.

Với Pho Tue Kafka, developer dễ dàng sử dụng Apache Kafka để giao tiếp xử lý dữ liệu theo thời gian thực trong các hệ thống mà không cần phải quản lý hay cài đặt server. Các tài nguyên sẽ được tự động cung cấp và quản lý, mở rộng quy mô ứng dụng khi khối lượng streaming data thay đổi hoàn toàn tự động, không cần thao tác thủ công, giúp bạn tập trung tối đa thời gian, công sức cho phát triển sản phẩm, tính năng cốt lõi.

Use Case sử dụng Kafka tiêu biểu

• Xử lý luồng dữ liệu thời gian thực

Kafka được phát triển tối ưu cho việc xử lý dữ liệu trong thời gian thực, nên được ứng dụng phổ biến nhất cho các công việc này. Mỗi khi dữ liệu được thêm mới vào topic sẽ ngay lập tức được ghi vào hệ thống và truyền đến bên nhận dữ liệu.
 

Ví dụ trong app đọc báo Kênh 14, Kafka được ứng dụng để triển khai cho tính năng notification. Bên gửi/schedule sẽ đẩy dữ liệu để truyền qua Kafka đến bên nhận/notify và gửi notify cho user mỗi khi có tin mới được thêm trên hệ thống. Đồng thời, dữ liệu sẽ được phân phối để lưu vào hbase, elasticsearch, lưu lịch sử để thống kê và gửi vào OS app.

• Sử dụng như một message broker

Message broker là một module trung gian trung chuyển message từ người gửi đến người nhận. Message broker được sử dụng cho mục đích tiếp nhận những message từ các ứng dụng và thực hiện một thao tác nào đó (tách, xóa message...) Có thể sử dụng Kafka để thay thế cho các message broker truyền thống như ActiveMQ hoặc RabbitMQ. Kafka cung cấp thông lượng lớn hơn, tính phân vùng, sao chép và tính chịu lỗi tốt khiến Kafka lý tưởng cho các ứng dụng xử lý message ở quy mô lớn.
 

• Theo dõi hoạt động website

Nếu bạn sở hữu website và muốn theo dõi hành vi người dùng nhằm phân tích và tối ưu nội dung cho trang, từ đó thu hút nhiều khách truy cập hơn, bạn có thể sử dụng Kafka khi xây dựng trang. Tất cả các dữ liệu như: lượt xem trang, hoạt động tìm kiếm và mọi hành động trên trang đều sẽ được tạo thành các topic, được ghi nhận và theo dõi thời gian thực.

• Đo lường, phân tích

Kafka cũng được sử dụng để xây dựng nguồn dữ liệu giám sát các hoạt động. Số liệu thống kê từ các nguồn phân tán trên trang sẽ được tập hợp thành một nguồn tập trung, nhất quán, giúp việc đo lường, phân tích dễ dàng, nhanh chóng hơn bao giờ hết.
 

• Sử dụng để ghi nhật ký hoạt động

Tổng hợp log hay nhật ký hoạt động là một cách sử dụng Kafka cũng khá phổ biến. Kafka tổng hợp thông tin các sự kiện từ các nguồn khác nhau và cung cấp bản ghi rõ ràng về dữ liệu sự kiện nhằm phục vụ xử lý về sau hiệu quả và tối ưu.
 

Giải pháp Pho Tue Kafka do Pho Tue Software Solutions phát triển, lần đầu tiên xuất hiện tại Việt Nam

Với Pho Tue Kafka, các Developer có thể sử dụng Apache Kafka mà không cần quản lý hay cài đặt server, Apache Kafka để giao tiếp dữ liệu trong các hệ thống. Pho Tue Kafka tự động quản lý và cung cấp các tài nguyên cần thiết, cung cấp cho bạn khả năng giao tiếp xử lý dữ liệu theo yêu cầu với thời gian real time. Pho Tue Kafka giúp bạn mở rộng quy mô ứng dụng khi khối lượng streaming data thay đổi mà bạn không phải liên tục định cỡ đúng hoặc lo lắng về việc hệ thống cung cấp dữ liệu quá mức.

 

Pho Tue Kafka sở hữu nhiều ưu điểm vượt trội:

• Dễ dàng lựa chọn phiên bản sử dụng

Pho Tue Kafka tự động hóa việc triển khai nâng cấp phiên bản trên các cụm đang chạy để duy trì tính khả dụng của I/O, cho phép bạn quyết định thời điểm tận dụng các tính năng và sửa lỗi có trong các phiên bản Apache Kafka mới.
 

• Tính khả dụng cao

Tất cả các cụm được cung cấp trên nhiều vùng khả dụng được hỗ trợ bởi các hệ thống tự động phát hiện và phản hồi các sự cố trong cơ sở hạ tầng cụm và phần mềm Apache Kafka. Pho Tue Kafka cũng tự động triển khai các bản vá phần mềm khi cần thiết để giữ cho cụm của bạn được cập nhật và hoạt động trơn tru.
 

• Không phải quản lý server

Pho Tue Kafka tự động quy định, điều chỉnh cấu hình, và quản lý hoạt động của cụm Apache Kafka và Apache Zookeeper để điều phối các tác vụ của cụm và duy trì trạng thái cho các tài nguyên tương tác với cụm.
 

• Tính bảo mật cao

Pho Tue Kafka cung cấp cơ chế chứng thực và mã hóa cùng với danh sách kiểm soát truy cập Apache Kafka (ACL) để kiểm soát quyền truy cập của máy khách, mặ định mã hóa dữ liệu của bạn mà không cần cấu hình đặc biệt hoặc các công cụ của bên thứ ba.
 

• Khả năng mở rộng cụm linh hoạt

Với số lượng broker lớn trong 1 cụm Pho Tue Kafka sẽ có thể mở rộng để đáp ứng người dùng thông lượng lớn, việc lưu trữ và xử lý khối lượng lớn dữ liệu ở tốc độ cao. Pho Tue Kafka có thể tự động mở rộng quy mô dung lượng lưu trữ được cấp cho mỗi nhà môi giới để phù hợp với những thay đổi về yêu cầu lưu trữ.
 

• Tích hợp sâu với Dashboard quản lý, Monitoring, Logging

Pho Tue Kafka cho phép bạn theo dõi các metrics của topic, consumer, producer, partition từ đó cho phép bạn sớm phát hiện các vấn đề về việc sử dụng tài nguyên.. Dashboard của Pho Tue Kafka cho phép bạn theo dõi và quản lý Metrics của topic, consumer, producer, partition từ đó cho phép bạn sớm phát hiện các vấn đề về việc sử dụng tài nguyên cùng với quản lý Logging để theo dõi và phân tích được hành vi người dùng trên website/ ứng dụng.
 

Pho Tue Kafka có máy chủ đặt tại các DC trong nước, luôn đảm bảo tốc độ cao, độ trễ thấp. Bạn sẽ không phải lo lắng về việc kết nối chậm hay chập chờn do đứt cáp quang biển. Hệ thống có HA trên 2 DC giúp đảm bảo tính sẵn sàng cao, dịch vụ luôn hoạt động dù 1 DC gặp sự cố. Pho Tue Kafka cũng cung cấp metrics và logging miễn phí, giúp tiết kiệm chi phí tối đa cho doanh nghiệp.

Hãy là một trong những người đầu tiên trải nghiệm giải pháp lần đầu có tại Pho Tue Software Solutions và tiên phong trên thị trường Việt Nam!