Data Lake là gì?

Data Lake (hay Hồ dữ liệu) là một kho lưu trữ tập trung được thiết kế để lưu trữ, xử lý và bảo mật một lượng lớn dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc. Nó có thể lưu trữ dữ liệu ở định dạng gốc và xử lý mọi loại dữ liệu khác nhau, bỏ qua các giới hạn về kích thước. Nó cung cấp số lượng dữ liệu cao để tăng hiệu suất phân tích và tích hợp gốc.

Data Lake cung cấp một nền tảng có thể mở rộng và an toàn cho phép các doanh nghiệp: nhập bất kỳ dữ liệu nào từ bất kỳ hệ thống nào ở bất kỳ tốc độ nào — ngay cả khi dữ liệu đến từ các hệ thống vật lý, đám mây hoặc điện toán biên; lưu trữ bất kỳ loại hoặc khối lượng dữ liệu nào với độ tin cậy cao; xử lý dữ liệu theo thời gian thực hoặc chế độ hàng loạt; và phân tích dữ liệu bằng SQL, Python, R hoặc bất kỳ ngôn ngữ nào khác, dữ liệu của bên thứ ba hoặc ứng dụng phân tích.

Lý do sử dụng Data Lake?

Data Lake có khả năng lưu trữ dữ liệu có cấu trúc, phi cấu trúc và bán cấu trúc ở bất kể quy mô nào. Đặc biệt, nó còn có thể lưu trữ dữ liệu ở định dạng gốc mà không yêu cầu quá khắt khe, không giới hạn số dung lượng, bản ghi hay số file. Điều này cho phép người dùng sử dụng nhiều định dạng dữ liệu khác nhau, đồng thời làm tăng khả năng phân tích trên các nền tảng.
 

Với ưu điểm vượt trội như vậy, Data Lake đã và đang được ứng dụng cho lĩnh vực khoa học dữ liệu yêu cầu lượng dữ liệu khổng lồ và các kỹ thuật phân tích hiện đại như mô hình dự đoán và khai thác dữ liệu, machine learning.

Lợi ích của Data Lake

Data Lake có ưu điểm là khả năng khai thác nhiều loại dữ liệu từ nhiều nguồn khác nhau chỉ trong thời gian ngắn, đồng thời cấp quyền cho người dùng cộng tác và phân tích dữ liệu theo nhiều cách khác nhau, giúp cho việc ra quyết định được nhanh chóng và chuẩn xác hơn. Một số lợi ích nổi bật của Data Lake bao gồm:

Cải thiện tương tác với khách hàng

Data Lake có khả năng kết hợp dữ liệu khách hàng từ CRM với phương tiện truyền thông xã hội, nền tảng mua bán bao gồm lịch sử mua hàng và phiếu xử lý sự cố. Điều này cho phép doanh nghiệp nắm rõ về nhóm khách hàng sinh lời cao nhất, tìm hiểu nguyên nhân khiến khách hàng rời bỏ thương hiệu cũng như các chương trình ưu đãi. Từ đó giúp gia tăng lòng trung thành của khách hàng đối với doanh nghiệp.

Cải thiện các lựa chọn đổi mới R&D

Data Lake giúp nhóm R&D kiểm tra giả thuyết của họ, điều chỉnh các giả định và đánh giá kết quả nhằm đẩy nhanh hiệu suất công việc.

Tăng hiệu quả hoạt động

Internet of Things (IoT) cung cấp nhiều phương thức thu thập dữ liệu về các quy trình sản xuất, thông qua dữ liệu thời gian thực từ các thiết bị kết nối Internet. Data Lake giúp cho việc lưu trữ và chạy phân tích trên dữ liệu IoT trở nên dễ dàng hơn, nhằm khám phá ra những phương thức mới giúp giảm thiểu chi phí hoạt động, gia tăng chất lượng.

Ứng dụng của Data Lake

Quản trị dữ liệu và kiểm soát dữ liệu

Do các Data Lake chứa nhiều loại dữ liệu khác nhau, bao gồm cả dữ liệu nhạy cảm hoặc cần tuân thủ các yêu cầu nên có thể khiến người dùng lo ngại về vấn đề bảo mật. Vì không có bảng cơ sở dữ liệu, các quyền hạn sẽ linh hoạt hơn và khó thiết lập hơn, đồng thời phải dựa trên những đối tượng cụ thể hoặc định nghĩa siêu dữ liệu.

Ngày nay, vấn đề này có thể được giải quyết bằng nhiều công cụ quản trị khác nhau, giúp doanh nghiệp kiểm soát các cá nhân có quyền truy cập vào dữ liệu. Những giải pháp danh mục dữ liệu cho phép tạo danh mục dữ liệu, chỉ định các loại dữ liệu khác nhau, kiểm soát truy cập cũng như chính sách lưu trữ cho từng loại.

Lưu trữ một số bản sao dữ liệu

Data Lake cho phép lưu trữ dữ liệu phi cấu trúc, tách biệt việc lưu trữ khỏi máy tính, cho phép người dùng lưu trữ lượng lớn dữ liệu với chi phí đầu tư thấp. Thông thường, các Data Lake được sử dụng để lưu trữ cả dữ liệu thô và dữ liệu đã được xử lý.

Nhu cầu lưu trữ dữ liệu thô khá phổ biến, do có thể được sử dụng để:

• Xác thực hệ thống, luồng dữ liệu
• Khôi phục lỗi
• Phân tích thăm dò

Ngoài ra, cũng có dữ liệu đã qua xử lý và được dùng trong quy trình phân tích. Dữ liệu này cũng cần được lưu trữ để phục vụ cho mục đích phân tích trong tương lai, đồng thời làm cơ sở cho các báo cáo và trang tổng quan.

Trước đây, việc lưu trữ cơ sở dữ liệu khá cồng kềnh và đắt tiền, nên việc lưu trữ cả dữ liệu lịch sử và hiện tại gần như là không khả thi. Trong khi đó, các Data Lake ngày nay hoàn toàn có thể đáp ứng được nhu cầu trên, do có khả năng mở rộng cao, có thể lưu trữ gần như không giới hạn với chi phí thấp. Không chỉ vậy, Data Lake còn cho phép người dùng lưu trữ một số bản sao dữ liệu để phục vụ cho các mục đích khác nhau.

Cài đặt chính sách lưu trữ

Data Lake có thể lưu trữ dữ liệu lịch sử, nhưng sẽ lưu trữ mãi mãi bất kỳ dữ liệu nào. Dữ liệu phải được xử lý khi không sử dụng đến để tiết kiệm bộ nhớ và tuân thủ các tiêu chuẩn như EU GDPR, California CCPA, Australian APP.

Bên cạnh đó, cần có một phương pháp kỹ thuật để tách dữ liệu muốn xóa ra khỏi dữ liệu muốn giữ lại. Nếu không, việc định vị dữ liệu trên kiến trúc lưu trữ Data Lake (có thể bao gồm cả các dịch vụ lưu trữ như Amazon S3, HDFS, thiết bị lưu trữ khối) sẽ khá phức tạp. Vấn đề có thể được giải quyết bằng các giải pháp danh mục dữ liệu, giúp cung cấp một giao diện trung tâm để phân loại dữ liệu theo các khoảng thời gian lưu trữ mong muốn.

Kiến trúc Data Lake

Kiến trúc Data Lake

Hình ảnh trên cho thấy kiến trúc của Data Lake kinh doanh. Các cấp thấp hơn thể hiện dữ liệu hầu như ở trạng thái nghỉ trong khi các cấp trên hiển thị dữ liệu giao dịch theo thời gian thực. Luồng dữ liệu này xuyên qua hệ thống không có hoặc có độ trễ ít. Sau đây là các cấp quan trọng trong Kiến trúc Data Lake:

1. Ingestion Tier: Các bậc ở bên trái mô tả các nguồn dữ liệu. Dữ liệu có thể được tải vào Data Lake hàng loạt hoặc theo thời gian thực

2. Insights Tier: Các bậc bên phải đại diện cho phía nghiên cứu, nơi thông tin chi tiết từ hệ thống được sử dụng. Các truy vấn SQL, NoSQL hoặc thậm chí excel có thể được sử dụng để phân tích dữ liệu.

3. HDFS là một giải pháp tiết kiệm chi phí cho cả dữ liệu có cấu trúc và phi cấu trúc. Nó là nơi “hạ cánh" cho tất cả dữ liệu đang ở trong hệ thống.

4. Distillation tier lấy dữ liệu từ storage tire và chuyển nó thành dữ liệu có cấu trúc để phân tích dễ dàng hơn.

5. Processing tier chạy các thuật toán phân tích và người dùng truy vấn với thời gian thực khác nhau, tương tác, hàng loạt để tạo dữ liệu có cấu trúc để phân tích dễ dàng hơn.

6. Unified operations tier quản lý và giám sát hệ thống. Nó bao gồm kiểm toán và quản lý thành thạo, quản lý dữ liệu, quản lý quy trình làm việc.

Sự khác biệt giữa Data Lake và Data Warehouse

Data Lake và Data Warehouse đều được sử dụng rộng rãi để lưu trữ dữ liệu lớn, nhưng chúng không phải là những thuật ngữ có thể thay thế cho nhau. Data Lake là một Data Warehouse thô rộng lớn, mục đích của nó vẫn chưa được xác định. Data Warehouse là một kho lưu trữ dữ liệu có cấu trúc, đã được lọc, đã được xử lý cho một mục đích cụ thể. Thậm chí còn có một xu hướng kiến trúc quản lý dữ liệu mới nổi của data lake house, kết hợp tính linh hoạt của Data lake với khả năng quản lý dữ liệu của Data Warehouse.

 

Hai loại lưu trữ dữ liệu thường bị nhầm lẫn, nhưng chúng khác nhau rất nhiều. Trên thực tế, điểm giống nhau thực sự duy nhất giữa chúng là mục đích lưu trữ dữ liệu cấp cao.

Khi xác định xem công ty của bạn có cần một Data Lake hay không, hãy ghi nhớ các loại dữ liệu bạn đang làm việc, những gì bạn muốn làm với dữ liệu, mức độ phức tạp của quá trình thu thập dữ liệu và chiến lược của bạn để quản lý và quản trị dữ liệu, như cũng như các công cụ và bộ kỹ năng tồn tại trong tổ chức của bạn.

Các công ty ngày nay cũng bắt đầu xem xét giá trị của các Data Lake thông qua một lăng kính khác - một Data Lake không chỉ để lưu trữ dữ liệu có độ tin cậy đầy đủ. Đó cũng là việc người dùng hiểu sâu hơn về các tình huống kinh doanh vì họ có nhiều ngữ cảnh hơn bao giờ hết, cho phép họ đẩy nhanh các thử nghiệm phân tích.