Hoạt động dữ liệu | Bước đầu tiên để sử dụng dữ liệu—tìm dữ liệu

Bài viết này thảo luận sâu về hoạt động dữ liệu, đặc biệt nhấn mạnh đến tầm quan trọng của việc “tìm kiếm dữ liệu” trong quá trình sử dụng dữ liệu. Tác giả giới thiệu chi tiết các công cụ như bản đồ dữ liệu, danh mục dữ liệu và nền tảng tài sản dữ liệu. Mục tiêu của các công cụ này là hiển thị dữ liệu đã được nền tảng dữ liệu xử lý để những người có nhu cầu về dữ liệu có thể dễ dàng tìm và sử dụng dữ liệu.

Tìm kiếm dữ liệu là bước đầu tiên để sử dụng dữ liệu. Làm sao bạn có thể sử dụng nó nếu bạn thậm chí không thể tìm thấy dữ liệu? Bản đồ dữ liệu, danh mục dữ liệu và thậm chí cả nền tảng tài sản dữ liệu, v.v. Trên thực tế, mục tiêu chỉ có một, đó là hiển thị dữ liệu đã được nền tảng dữ liệu xử lý để những người có nhu cầu về dữ liệu có thể hoàn tất bước đầu tiên trong việc sử dụng dữ liệu – tìm kiếm dữ liệu.

Bản đồ dữ liệu ở đây về cơ bản giống với siêu dữ liệu mà chúng tôi đã giới thiệu trong bài viết về quản lý dữ liệu khi thảo luận về siêu dữ liệu. Nhưng định dạng hiển thị có thể linh hoạt hơn. Nói cách khác, một cái dành cho R&D và cái còn lại dành cho các ứng dụng kinh doanh.

Trong phần siêu dữ liệu, giao diện thường được hiển thị theo cấu trúc cây theo nguồn dữ liệu mà nó thuộc về.

Trong bản đồ dữ liệu, thường có trang chủ có hộp tìm kiếm. Trong danh sách tìm kiếm, trang chi tiết có nhiều tab khác nhau.

trang đầu

Chức năng chính của trang chủ là chức năng tìm kiếm. Người dùng nhập nội dung họ muốn tìm kiếm và sau khi so khớp mờ, danh sách các nội dung so khớp mờ sẽ được hiển thị. Danh sách ở đây là nội dung của bảng.

Nếu là phiên bản nâng cao, chức năng tìm kiếm này có thể được sử dụng để tìm kiếm và truy vấn API dịch vụ dữ liệu, báo cáo, màn hình lớn và thậm chí cả các bài viết về tài sản dữ liệu. Điều này có thể được giải thích rõ hơn trong phần tìm kiếm tài sản.

Trang chi tiết

Sau khi tìm kiếm, hãy nhấp vào trường cụ thể để hiển thị thông tin chi tiết tìm kiếm.

Trang chi tiết thực chất là phần mô tả từng chiều của bảng và các chiều này sẽ ngày càng chi tiết hơn khi sử dụng. Thông thường, các chiều chúng ta có thể thêm vào bao gồm: thông tin cơ bản, trường, xem trước dữ liệu, thông tin phân vùng, kiểm tra dữ liệu, dòng dõi dữ liệu, thông tin cập nhật, tác vụ xử lý, đánh giá, v.v.

Thông tin cơ bản

Thông tin cơ bản bao gồm tên tiếng Anh của bảng, tên tiếng Trung, mô tả bảng, thời gian tạo, người phụ trách và các thông tin cơ bản khác.

Và siêu dữ liệu này thuộc về lớp kho dữ liệu và lĩnh vực kinh doanh nào? Thông tin này được thiết lập trong bảng lập kế hoạch ở chương 2 về quản lý dữ liệu.

Các cánh đồng

Hiển thị các trường, loại trường và mô tả trường trong bảng theo định dạng danh sách. Thông tin mô tả trường có phong phú và toàn diện hay không cũng là một yếu tố quan trọng để đánh giá tính toàn diện của dữ liệu.

Xem trước dữ liệu

Không cần phải truy vấn dữ liệu. Việc cung cấp khả năng xem trước dữ liệu có thể cho thấy dữ liệu trong bảng trông như thế nào, qua đó mang lại cho người sử dụng dữ liệu trải nghiệm trực quan hơn.

Một vấn đề ở đây là nếu bạn truy vấn dữ liệu trực tiếp, bạn cần phải chọn tài nguyên sẽ được sử dụng khi truy vấn dữ liệu. Nếu bạn muốn lưu dữ liệu trước, bạn cần có kế hoạch về lượng dữ liệu cần lưu, dung lượng lưu trữ cần sử dụng và liệu có nên cập nhật dữ liệu hay không.

Thông tin phân vùng

Nếu đó là kho lưu trữ dữ liệu lớn như HIVE, v.v. Nếu đó là bảng phân vùng, bạn cần liệt kê thông tin phân vùng, các trường phân vùng là gì và phân vùng mới nhất là gì. Khi nào mỗi phân vùng được cập nhật và ghi vào dữ liệu?

Kiểm toán dữ liệu

Thông tin này thực chất là một quá trình khám phá dữ liệu, tương đương với việc tóm tắt các đặc điểm của một số trường trước mà không cần người dùng phải viết SQL thủ công để tóm tắt. Nếu giá trị lớn nhất, nhỏ nhất hoặc trung bình của một trường. Nếu là trường liệt kê thì có bao nhiêu giá trị liệt kê và mỗi giá trị có bao nhiêu lần đếm. Nếu là kiểu số thì sự phân bố của các trường kiểu số là gì, v.v.

Thông tin này là kết quả tính toán trong bảng, liên quan đến vấn đề phạm vi. và thời điểm thực hiện phép tính. Những nguồn lực nào được sử dụng để thực hiện phép tính? Chỉ sau khi suy nghĩ thấu đáo những điều này thì chức năng này mới có thể được triển khai tốt hơn.

Dòng dõi dữ liệu

Dòng dõi dữ liệu có thể được hiểu là phiên bản đơn giản hóa của liên kết dòng dõi tác vụ đầu cuối trong chương quản trị tác vụ. Ở đây, chỉ hiển thị mối quan hệ ngược dòng và xuôi dòng giữa các bảng. Người dùng như phân tích tác động, truy xuất dữ liệu. Màn hình vẫn ở dạng hình ảnh.

Cập nhật thông tin

Mỗi bảng cần được cập nhật, các trường cần được thêm vào, kiểu trường cần được thay đổi, các trường cần được xóa, v.v. Toàn bộ thông tin thay đổi của bảng có thể được ghi lại ở đây.

Xử lý nhiệm vụ

Các tác vụ xử lý tương ứng được hiển thị trên giao diện, cho biết trực quan tác vụ nào đã tạo ra bảng này.

đánh giá

Chức năng đánh giá linh hoạt hơn. Có thể là đánh giá chính thức, chẳng hạn như mức độ phổ biến của dữ liệu và độ tin cậy của dữ liệu - độ tin cậy này có thể được đề cập khi sử dụng các chỉ số dữ liệu cho OLAP. Nếu đó là một chỉ số thống nhất, nó sẽ được đảm bảo tính nhất quán và sẽ có nhãn chính thức được thêm vào để chỉ ra điều đó.

Nó cũng có thể hướng đến người dùng, cung cấp ý kiến ​​về bảng này, chẳng hạn như cần thêm trường nào, độ chính xác của dữ liệu, v.v. Điều này sẽ thiết lập một kênh thu thập thông tin và phản hồi.

Dịch vụ dữ liệu được tạo ra

Nếu đó là API dịch vụ dữ liệu được tạo dựa trên bảng, API tương ứng sẽ được hiển thị trực tiếp. Nếu dựa trên SQL, nó cũng có thể phản ánh bảng này nằm trong logic API dịch vụ dữ liệu nào.