Từ hòn đảo biệt lập đến hợp tác: Ý nghĩa của ống dẫn dữ liệu gốc Web3
Tuyển chọn TechFlowTuyển chọn TechFlow
Từ hòn đảo biệt lập đến hợp tác: Ý nghĩa của ống dẫn dữ liệu gốc Web3
Xây dựng một đường ống dữ liệu trong thị trường Web3, ngoài việc mang đặc điểm phi tập trung, còn có thể đóng vai trò then chốt như điểm khởi đầu thực tế để nắm bắt những cơ hội này.
Chuyên sâu báo cáo Web3Viết bởi: Jay : : FP
Biên dịch: TechFlow
Việc phát hành sách trắng Bitcoin năm 2008 đã khơi dậy sự suy ngẫm lại về khái niệm niềm tin. Sau đó, blockchain đã mở rộng định nghĩa này để bao gồm khái niệm các hệ thống không cần tin cậy và nhanh chóng phát triển khi cho rằng các loại giá trị như chủ quyền cá nhân, dân chủ hóa tài chính và quyền sở hữu có thể được áp dụng vào các hệ thống hiện tại. Tất nhiên, trước khi blockchain có thể được ứng dụng thực tế, có thể cần rất nhiều xác minh và thảo luận, vì so với các hệ thống hiện có, đặc điểm của blockchain có vẻ khá cách mạng. Tuy nhiên, nếu chúng ta lạc quan về những kịch bản này, việc xây dựng các đường ống dữ liệu và phân tích thông tin quý giá chứa trong kho lưu trữ blockchain hứa hẹn sẽ trở thành một bước ngoặt quan trọng khác đối với sự phát triển ngành công nghiệp, vì chúng ta có thể quan sát được trí tuệ kinh doanh Web3 thuần gốc mà trước đây chưa từng tồn tại.
Bài viết này khám phá tiềm năng của các đường ống dữ liệu thuần Web3 bằng cách chiếu các đường ống dữ liệu thường thấy trong thị trường CNTT hiện tại vào môi trường Web3. Bài viết thảo luận về lợi ích của các đường ống này, các thách thức cần giải quyết và tác động của chúng đến ngành công nghiệp.
1. Điểm kỳ dị đến từ đổi mới thông tin
"Ngôn ngữ là một trong những điểm khác biệt quan trọng nhất giữa con người và động vật cấp thấp. Đây không chỉ đơn thuần là khả năng phát âm, mà còn là việc liên kết các âm thanh rõ ràng với những tư tưởng rõ ràng, và sử dụng các âm thanh này như biểu tượng để trao đổi tư tưởng."
— Darwin
Trong lịch sử, những bước tiến lớn của nền văn minh loài người luôn đi kèm với đổi mới trong chia sẻ thông tin. Tổ tiên chúng ta sử dụng ngôn ngữ, cả nói và viết, để giao tiếp lẫn nhau và truyền đạt kiến thức cho thế hệ sau. Điều này giúp họ có lợi thế vượt trội so với các loài khác. Việc phát minh ra chữ viết, giấy và in ấn đã làm cho việc chia sẻ thông tin trở nên phổ biến hơn, dẫn đến những bước tiến lớn trong khoa học, công nghệ và văn hóa. Đặc biệt, kỹ thuật in Kinh Thánh Gutenberg bằng chữ kim loại là thời khắc mang tính bước ngoặt, vì nó làm cho việc sản xuất hàng loạt sách và các tài liệu in ấn trở nên khả thi. Điều này đã tạo ảnh hưởng sâu sắc đến Cải cách Tôn giáo, Cách mạng Dân chủ và khởi đầu của tiến bộ khoa học.
Sự phát triển nhanh chóng của công nghệ CNTT trong thập niên 2000 đã cho phép chúng ta hiểu sâu hơn về hành vi con người. Điều này dẫn đến những thay đổi trong lối sống, phần lớn người hiện đại ngày nay đưa ra các quyết định dựa trên thông tin số. Chính vì vậy, chúng ta gọi xã hội hiện đại là "Thời đại Đổi mới CNTT".
Và chỉ khoảng 20 năm sau khi Internet được thương mại hóa hoàn toàn, công nghệ trí tuệ nhân tạo (AI) lại một lần nữa khiến cả thế giới kinh ngạc. Xuất hiện nhiều ứng dụng có thể thay thế lao động con người, và nhiều người đang bàn luận về việc AI sẽ thay đổi nền văn minh. Một số thậm chí rơi vào trạng thái phủ nhận, tự hỏi làm sao một công nghệ như vậy có thể xuất hiện nhanh đến mức rung chuyển nền tảng xã hội của chúng ta. Mặc dù có "Định luật Moore" cho thấy hiệu suất bán dẫn tăng theo cấp số nhân theo thời gian, nhưng sự thay đổi do GPT mang lại quá đột ngột để có thể đối mặt ngay lập tức.
Tuy nhiên, điều thú vị là mô hình GPT thực ra không phải là một kiến trúc đột phá nào cả. Ngành công nghiệp AI lại xem các yếu tố sau là nguyên nhân chính dẫn đến thành công của GPT: 1) Xác định lĩnh vực kinh doanh có thể phục vụ nhóm khách hàng lớn, và 2) Tinh chỉnh mô hình thông qua đường ống dữ liệu — từ thu thập dữ liệu đến kết quả cuối cùng và phản hồi dựa trên kết quả. Nói ngắn gọn, bằng cách hoàn thiện mục đích cung cấp dịch vụ và nâng cấp quy trình xử lý dữ liệu/thông tin, các ứng dụng này đã có thể tạo ra đổi mới.
2. Quyết định dựa trên dữ liệu ở khắp mọi nơi
Hầu hết những đổi mới mà chúng ta nói đến thực chất đều dựa trên xử lý dữ liệu tích lũy chứ không phải dựa trên cơ hội hay trực giác. Như câu nói nổi tiếng, "trên thị trường tư bản, không phải kẻ mạnh sống sót, mà là kẻ sống sót trở nên mạnh mẽ". Hiện nay, các doanh nghiệp cạnh tranh khốc liệt, thị trường bão hòa. Do đó, các doanh nghiệp đang thu thập và phân tích nhiều loại dữ liệu để nắm bắt ngay cả những phân khúc nhỏ nhất.
Chúng ta có thể quá say mê lý thuyết "phá hủy sáng tạo" của Schumpeter mà đánh giá quá cao việc ra quyết định dựa trên trực giác. Tuy nhiên, ngay cả trực giác tuyệt vời cũng cuối cùng là sản phẩm của dữ liệu và thông tin tích lũy cá nhân. Thế giới kỹ thuật số sẽ thâm nhập sâu hơn vào cuộc sống của chúng ta trong tương lai, và ngày càng nhiều thông tin nhạy cảm sẽ xuất hiện dưới dạng dữ liệu số.
Thị trường Web3 thu hút sự chú ý rộng rãi nhờ tiềm năng trao quyền kiểm soát dữ liệu cho người dùng. Tuy nhiên, lĩnh vực blockchain — công nghệ nền tảng của Web3 — hiện đang tập trung nhiều hơn vào việc giải quyết bài toán tam giác bất khả thi (vấn đề ba mặt: an toàn, phi tập trung và khả năng mở rộng). Để công nghệ mới thuyết phục được trong thế giới thực, điều quan trọng là phát triển các ứng dụng và trí tuệ có thể được sử dụng theo nhiều cách. Chúng ta đã chứng kiến điều này xảy ra trong lĩnh vực dữ liệu lớn, kể từ khoảng năm 2010, các phương pháp xây dựng xử lý dữ liệu lớn và đường ống dữ liệu đã đạt được tiến bộ đáng kể. Trong bối cảnh Web3, cần phải nỗ lực thúc đẩy ngành công nghiệp phát triển, thiết lập hệ thống luồng dữ liệu để tạo ra trí tuệ dựa trên dữ liệu.
3. Cơ hội từ luồng dữ liệu trên chuỗi
Vậy thì, chúng ta có thể nắm bắt được những cơ hội nào từ hệ thống luồng dữ liệu thuần Web3, và cần giải quyết những thách thức nào để tận dụng các cơ hội đó?
3.1 Ưu điểm
Tóm lại, giá trị của việc thiết lập hệ thống luồng dữ liệu Web3 nằm ở khả năng phân phối dữ liệu đáng tin cậy một cách an toàn và hiệu quả đến nhiều thực thể, từ đó có thể rút ra các thông tin chi tiết có giá trị.
-
Dư thừa dữ liệu — dữ liệu trên chuỗi ít có nguy cơ bị mất, có độ bền cao hơn vì mạng giao thức lưu trữ các đoạn dữ liệu trên nhiều nút.
-
Bảo mật dữ liệu — dữ liệu trên chuỗi không thể bị thay đổi vì đã được xác minh và đạt đồng thuận bởi mạng các nút phân tán.
-
Quyền sở hữu dữ liệu — quyền sở hữu dữ liệu là quyền của người dùng trong việc sở hữu và kiểm soát dữ liệu của chính mình. Thông qua luồng dữ liệu trên chuỗi, người dùng có thể thấy dữ liệu của họ được sử dụng ra sao và chọn chỉ chia sẻ với những người có nhu cầu hợp lệ.
-
Không cần cấp phép và minh bạch — dữ liệu trên chuỗi minh bạch và không thể thay đổi. Điều này đảm bảo rằng dữ liệu đang xử lý cũng là nguồn thông tin đáng tin cậy.
-
Vận hành ổn định — khi luồng dữ liệu được dàn dựng bởi giao thức trong môi trường phân tán, xác suất mỗi lớp bị gián đoạn hoạt động giảm đáng kể do không có điểm lỗi đơn lẻ.
3.2 Các trường hợp ứng dụng
Niềm tin là nền tảng để các thực thể khác nhau tương tác và ra quyết định. Vì vậy, khi dữ liệu đáng tin cậy có thể được phân phối an toàn, điều đó có nghĩa là nhiều tương tác và quyết định có thể được thực hiện thông qua các dịch vụ Web3 với sự tham gia của nhiều thực thể. Điều này giúp tối đa hóa vốn xã hội, và chúng ta có thể hình dung một vài trường hợp ứng dụng sau.
3.2.1 Ứng dụng dịch vụ/giao thức
-
Hệ thống ra quyết định tự động dựa trên quy tắc — các giao thức sử dụng các tham số chính để vận hành dịch vụ. Những tham số này được điều chỉnh định kỳ để ổn định trạng thái dịch vụ và mang lại trải nghiệm tốt nhất cho người dùng. Tuy nhiên, giao thức không thể lúc nào cũng giám sát trạng thái dịch vụ và thay đổi động tham số kịp thời. Đây chính là vai trò của luồng dữ liệu trên chuỗi. Luồng dữ liệu trên chuỗi có thể được dùng để phân tích trạng thái dịch vụ theo thời gian thực và đề xuất bộ tham số tối ưu phù hợp với yêu cầu dịch vụ (ví dụ: áp dụng cơ chế lãi suất thả nổi tự động cho giao thức cho vay).
-
Mở rộng thị trường tín dụng — truyền thống, tín dụng được dùng trong thị trường tài chính để đo lường khả năng trả nợ của cá nhân. Điều này giúp nâng cao hiệu quả thị trường. Tuy nhiên, trong thị trường Web3, định nghĩa về tín dụng vẫn chưa rõ ràng. Nguyên nhân là do dữ liệu cá nhân khan hiếm và thiếu quản trị dữ liệu giữa các ngành. Vì vậy, việc tích hợp và thu thập thông tin trở nên khó khăn. Bằng cách xây dựng một quy trình thu thập và xử lý dữ liệu rời rạc trên chuỗi, có thể định nghĩa lại thị trường tín dụng trong thị trường Web3 (ví dụ: điểm số MACRO (Oracle rủi ro tín dụng đa tài sản) của Spectral).
-
Mở rộng xã hội phi tập trung / NFT — xã hội phi tập trung ưu tiên kiểm soát người dùng, bảo vệ quyền riêng tư, chống kiểm duyệt và quản trị cộng đồng. Điều này cung cấp một khuôn mẫu xã hội thay thế. Do đó, có thể xây dựng một đường ống để kiểm soát và cập nhật mượt mà hơn các siêu dữ liệu khác nhau, đồng thời thúc đẩy việc di chuyển giữa các nền tảng.
-
Phát hiện gian lận — các dịch vụ Web3 sử dụng hợp đồng thông minh dễ bị tấn công ác ý, có thể đánh cắp tiền, xâm nhập hệ thống và gây ra các cuộc tấn công tách giá và thanh khoản. Bằng cách tạo ra một hệ thống có thể phát hiện sớm các cuộc tấn công này, các dịch vụ Web3 có thể xây dựng kế hoạch phản ứng nhanh và bảo vệ người dùng khỏi tổn hại.
3.2.2 Sáng kiến hợp tác và quản trị
-
DAO hoàn toàn trên chuỗi — các tổ chức tự trị phi tập trung (DAO) hiện đang phụ thuộc nặng nề vào các công cụ ngoài chuỗi để thực hiện hiệu quả quản trị và quỹ công. Bằng cách xây dựng một quy trình xử lý dữ liệu trên chuỗi, tạo ra quy trình minh bạch cho hoạt động DAO, có thể nâng cao thêm giá trị của DAO Web3 thuần gốc.
-
Giảm mệt mỏi quản trị — các quyết định giao thức Web3 thường được thực hiện thông qua quản trị cộng đồng. Tuy nhiên, có nhiều yếu tố khiến người tham gia khó tham gia quản trị, ví dụ như rào cản địa lý, áp lực giám sát, thiếu chuyên môn cần thiết, chương trình nghị sự quản trị được công bố ngẫu nhiên và trải nghiệm người dùng bất tiện. Nếu có thể tạo ra một công cụ đơn giản hóa quá trình xử lý từ hiểu đến thực hiện các vấn đề nghị sự cá nhân, khung quản trị giao thức có thể hoạt động hiệu quả và hiệu lực hơn.
-
Nền tảng dữ liệu mở cho các tác phẩm hợp tác — trong học thuật và công nghiệp hiện tại, nhiều dữ liệu và tài liệu nghiên cứu không được công khai, điều này có thể khiến sự phát triển tổng thể của thị trường rất kém hiệu quả. Mặt khác, hồ dữ liệu trên chuỗi có thể thúc đẩy nhiều sáng kiến hợp tác hơn so với thị trường hiện tại vì chúng minh bạch và có thể truy cập được với mọi người. Nhiều tiêu chuẩn mã thông báo và giải pháp DeFi phát triển là ví dụ điển hình. Ngoài ra, chúng ta có thể vận hành các hồ dữ liệu công cộng cho nhiều mục đích khác nhau.
3.2.3 Chẩn đoán mạng lưới
-
Nghiên cứu chỉ số — người dùng Web3 tạo ra nhiều chỉ số khác nhau để phân tích và so sánh trạng thái giao thức. Có thể nghiên cứu và hiển thị theo thời gian thực nhiều chỉ số khách quan (ví dụ: hệ số Nakamoto của Nakaflow).
-
Chỉ số giao thức — bằng cách xử lý dữ liệu như số lượng địa chỉ hoạt động, số lượng giao dịch, dòng chảy tài sản vào/ra và phí do mạng tạo ra, có thể phân tích hiệu suất giao thức. Thông tin này có thể được dùng để đánh giá tác động của bản cập nhật giao thức cụ thể, trạng thái MEV và sức khỏe mạng lưới.
3.3 Thách thức
Dữ liệu trên chuỗi có những lợi thế độc đáo có thể gia tăng giá trị ngành công nghiệp. Tuy nhiên, để hiện thực hóa đầy đủ những lợi thế này, cần phải giải quyết nhiều thách thức trong và ngoài ngành.
-
Thiếu quản trị dữ liệu — quản trị dữ liệu là việc thiết lập các chính sách và tiêu chuẩn dữ liệu nhất quán và chung để thúc đẩy việc tích hợp từng đơn vị dữ liệu. Hiện tại, mỗi giao thức trên chuỗi đều tự xây dựng tiêu chuẩn riêng và truy xuất kiểu dữ liệu riêng. Tuy nhiên, vấn đề nằm ở chỗ thiếu quản trị dữ liệu giữa các thực thể thu thập dữ liệu giao thức này và cung cấp dịch vụ API cho người dùng. Điều này khiến việc tích hợp giữa các dịch vụ trở nên khó khăn, và người dùng khó có được thông tin chi tiết đáng tin cậy và toàn diện.
-
Hiệu quả chi phí kém — việc lưu trữ dữ liệu lạnh trong giao thức có thể giúp người dùng tiết kiệm chi phí an toàn dữ liệu và máy chủ. Tuy nhiên, nếu cần truy cập dữ liệu thường xuyên để phân tích hoặc cần nhiều tài nguyên tính toán, việc lưu trữ trên blockchain có thể không hiệu quả về chi phí.
-
Vấn đề Oracle — hợp đồng thông minh chỉ phát huy tối đa khi có thể truy cập dữ liệu từ thế giới thực. Tuy nhiên, những dữ liệu này không phải lúc nào cũng đáng tin cậy hoặc nhất quán. Khác với blockchain được duy trì tính toàn vẹn bằng thuật toán đồng thuận, dữ liệu bên ngoài không mang tính tất định. Các giải pháp Oracle phải liên tục phát triển để đảm bảo tính toàn vẹn, chất lượng và khả năng mở rộng của dữ liệu bên ngoài mà không phụ thuộc vào tầng ứng dụng cụ thể nào.
-
Giao thức còn ở giai đoạn sơ khai — các giao thức sử dụng token riêng để khuyến khích người dùng duy trì hoạt động dịch vụ và trả phí. Tuy nhiên, các tham số cần thiết để vận hành giao thức (ví dụ: định nghĩa chính xác người dùng dịch vụ và cơ chế khuyến khích) thường được quản lý một cách non nớt. Điều này có nghĩa là tính bền vững kinh tế của giao thức khó xác minh. Nếu nhiều giao thức kết nối hữu cơ và tạo thành đường ống dữ liệu, thì mức độ bất định về việc đường ống có hoạt động tốt hay không sẽ còn lớn hơn.
-
Tốc độ truy xuất dữ liệu chậm — các giao thức thường xử lý giao dịch thông qua đồng thuận của nhiều nút, điều này giới hạn tốc độ và số lượng xử lý thông tin so với logic kinh doanh CNTT truyền thống. Nút thắt này khó giải quyết trừ khi hiệu suất của tất cả các giao thức tạo thành đường ống đều cải thiện đáng kể.
-
Giá trị thực sự của dữ liệu Web3 — blockchain là các hệ thống cô lập, chưa kết nối với thế giới thực. Khi thu thập dữ liệu Web3, chúng ta cần cân nhắc liệu dữ liệu thu thập có thể cung cấp thông tin chi tiết ý nghĩa đủ để bù đắp chi phí xây dựng đường ống dữ liệu hay không.
-
Cú pháp lạ lẫm — cơ sở hạ tầng dữ liệu CNTT hiện tại và cơ sở hạ tầng blockchain vận hành rất khác nhau. Ngay cả ngôn ngữ lập trình sử dụng cũng khác, cơ sở hạ tầng blockchain thường dùng ngôn ngữ cấp thấp hoặc ngôn ngữ mới được thiết kế riêng cho nhu cầu blockchain. Điều này khiến các nhà phát triển mới và người dùng dịch vụ khó học cách xử lý từng đơn vị dữ liệu, vì họ cần học một ngôn ngữ lập trình mới hoặc tư duy mới để xử lý dữ liệu blockchain.
4. Dữ liệu Web3 như những khối Lego được ống hóa
Các nguyên tố dữ liệu Web3 hiện tại không được kết nối với nhau, chúng trích xuất và xử lý dữ liệu một cách độc lập. Điều này khiến hiệu ứng cộng hưởng trong xử lý thông tin thử nghiệm trở nên khó khăn. Để giải quyết vấn đề này, bài viết giới thiệu các đường ống dữ liệu thường dùng trong thị trường CNTT và ánh xạ các nguyên tố dữ liệu Web3 hiện có lên đường ống đó. Điều này sẽ làm cụ thể hóa các trường hợp sử dụng.
4.1 Đường ống dữ liệu phổ quát
Việc xây dựng đường ống dữ liệu giống như quá trình khái niệm hóa và tự động hóa các quy trình ra quyết định lặp lại trong đời sống hàng ngày. Bằng cách này, con người có thể luôn tiếp cận thông tin chất lượng cụ thể cần thiết và dùng nó để ra quyết định. Dữ liệu phi cấu trúc càng nhiều, tần suất sử dụng thông tin càng cao, hoặc mức độ cần phân tích theo thời gian thực càng lớn, thì việc tự động hóa chuỗi quy trình này càng tiết kiệm thời gian và chi phí để chủ động cho các quyết định trong tương lai.
Hình trên thể hiện kiến trúc phổ quát được dùng để xây dựng đường ống dữ liệu trong thị trường cơ sở hạ tầng CNTT hiện tại. Dữ liệu phù hợp cho mục đích phân tích được thu thập từ nguồn đúng, và được lưu trữ trong các giải pháp lưu trữ thích hợp tùy theo bản chất dữ liệu và yêu cầu phân tích. Ví dụ, hồ dữ liệu cung cấp giải pháp lưu trữ dữ liệu thô để phân tích linh hoạt và mở rộng, trong khi kho dữ liệu tập trung vào lưu trữ dữ liệu có cấu trúc để truy vấn và phân tích được tối ưu cho logic kinh doanh cụ thể. Sau đó, dữ liệu được xử lý theo nhiều cách để trở thành thông tin chi tiết hoặc thông tin hữu ích.
Mỗi tầng giải pháp cũng có thể được cung cấp dưới dạng dịch vụ đóng gói. Nhóm sản phẩm ETL (trích xuất, chuyển đổi, tải) dạng SaaS kết nối chuỗi quy trình từ trích xuất đến tải ngày càng thu hút sự chú ý (ví dụ: FiveTran, Panoply, Hivo, Rivery). Thứ tự không phải lúc nào cũng một chiều, tùy theo nhu cầu cụ thể của tổ chức, các tầng có thể được kết nối theo nhiều cách. Điều quan trọng nhất khi xây dựng đường ống dữ liệu là giảm thiểu tối đa rủi ro mất dữ liệu có thể xảy ra khi gửi và nhận dữ liệu ở từng tầng máy chủ. Điều này có thể đạt được bằng cách tối ưu mức độ tách biệt của máy chủ và sử dụng các giải pháp lưu trữ và xử lý dữ liệu đáng tin cậy.
4.2 Đường ống với môi trường trên chuỗi
Sơ đồ khái niệm về đường ống dữ liệu được giới thiệu trước đây có thể được áp dụng vào môi trường trên chuỗi như hình trên, nhưng cần lưu ý rằng đường ống hoàn toàn phi tập trung là không thể hình thành, vì mỗi thành phần cơ bản đều phần nào phụ thuộc vào các giải pháp tập trung ngoài chuỗi. Ngoài ra, hình ảnh hiện tại chưa bao gồm tất cả các giải pháp Web3, ranh giới phân loại có thể mờ nhạt — ví dụ, KYVE ngoài vai trò nền tảng phát trực tuyến còn có chức năng hồ dữ liệu, có thể xem như chính là một đường ống dữ liệu. Đồng thời, Space and Time được xếp vào cơ sở dữ liệu phi tập trung, nhưng lại cung cấp các dịch vụ cổng API như RestAPI và phát trực tuyến, cùng các dịch vụ ETL.
4.2.1 Thu thập/Xử lý
Để người dùng thông thường hoặc dApp có thể sử dụng/diều khiển dịch vụ một cách hiệu quả, họ cần có thể dễ dàng nhận diện và truy cập các nguồn dữ liệu được tạo chủ yếu bên trong giao thức, như giao dịch, trạng thái và sự kiện nhật ký. Tầng này là nơi phần mềm trung gian phát huy vai trò, hỗ trợ các quá trình như oracle, truyền tin nhắn, xác thực và quản lý API. Các giải pháp chính bao gồm:
Nền tảng phát trực tuyến/Lập chỉ mục
-
Bitquery, Ceramic, KYVE, Lens, Mạng Streamr, The Graph, trình duyệt khối của các giao thức riêng lẻ, v.v.
Nút như dịch vụ và các dịch vụ RPC/API khác
-
Alchemy, All that Node, Infura, Pocket Network, Quicknode, v.v.
Oracle
-
API3, Band Protocol, Chainlink, Giao thức Nest, Pyth, Supra Oracle, v.v.
4.2.2 Lưu trữ
So với các giải pháp lưu trữ Web2, các giải pháp lưu trữ Web3 có một số lợi thế như độ bền và tính phi tập trung. Tuy nhiên, chúng cũng có một số nhược điểm như chi phí cao, khó cập nhật và truy vấn dữ liệu. Do đó, đã xuất hiện nhiều giải pháp nhằm khắc phục những nhược điểm này và cho phép xử lý hiệu quả dữ liệu có cấu trúc và động trên Web3 — đặc điểm của mỗi giải pháp khác nhau, ví dụ như kiểu dữ liệu xử lý, có cấu trúc hay không, có chức năng truy vấn nhúng hay không, v.v.
Mạng lưu trữ phi tập trung
-
Arweave, Filecoin, KYVE, Sia, Storj, v.v.
Cơ sở dữ liệu phi tập trung
-
Cơ sở dữ liệu dựa trên Arweave (Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tableland, v.v.
* Mỗi giao thức có cơ chế lưu trữ vĩnh viễn khác nhau. Ví dụ, Arweave dựa trên mô hình blockchain, tương tự Ethereum, lưu trữ dữ liệu vĩnh viễn trên chuỗi, trong khi Filecoin, Sia và Storj dựa trên mô hình hợp đồng, lưu trữ dữ liệu ngoài chuỗi.
4.2.3 Chuyển đổi
Trong bối cảnh Web3, tầng chuyển đổi quan trọng không kém tầng lưu trữ. Bởi vì cấu trúc blockchain về cơ bản gồm tập hợp các nút phân tán, điều này khiến việc sử dụng logic backend có tính mở rộng trở nên dễ dàng. Trong ngành AI, người ta đang tích cực nghiên cứu tận dụng các lợi thế này trong lĩnh vực học liên kết, và đã xuất hiện các giao thức chuyên biệt cho hoạt động máy học và AI.
Đào tạo dữ liệu/Mô hình hóa/Tính toán
-
Akash, Bacalhau, Bittensor, Gensyn, Golem, Together, v.v.
* Học liên kết là phương pháp huấn luyện mô hình AI bằng cách phân phối mô hình gốc đến nhiều máy khách gốc, huấn luyện bằng dữ liệu đã lưu trữ, sau đó thu thập các tham số đã học về máy chủ trung tâm.
4.2.4 Phân tích/Sử dụng
Các dịch vụ bảng điều khiển và giải pháp phân tích, thông tin chi tiết cho người dùng cuối được liệt kê dưới đây là các nền tảng cho phép người dùng quan sát và khám phá nhiều thông tin chi tiết từ giao thức cụ thể. Một số giải pháp này còn cung cấp dịch vụ API cho sản phẩm cuối. Tuy nhiên, cần lưu ý rằng dữ liệu trong các giải pháp này không phải lúc nào cũng chính xác, vì phần lớn chúng sử dụng các công cụ riêng biệt ngoài chuỗi để lưu trữ và xử lý dữ liệu. Cũng có thể quan sát thấy sai sót giữa các giải pháp.
Đồng thời, có một nền tảng tên là "Web3 Functions" có thể tự động/kích hoạt thực thi hợp đồng thông minh, giống như các nền tảng tập trung như Google Cloud kích hoạt/thực thi logic kinh doanh cụ thể. Sử dụng nền tảng này, người dùng có thể hiện thực hóa logic kinh doanh theo cách thuần Web3, chứ không chỉ dừng lại ở việc xử lý dữ liệu trên chuỗi để thu thập thông tin chi tiết.
Dịch vụ bảng điều khiển
-
Dune Analytics, Flipside Crypto, Footprint, Transpose, v.v.
Thông tin chi tiết và phân tích cho người dùng cuối
-
Chainalysis, Glassnode, Messari, Nansen, The Tie, Token Terminal, v.v.
Web3 Functions
-
Functions của Chainlink, Gelato Network, v.v.
5. Suy ngẫm tổng kết
Như Kant từng nói, chúng ta chỉ có thể chứng kiến hiện tượng của sự vật, chứ không thể chạm tới bản chất của chúng. Dù vậy, chúng ta vẫn sử dụng những bản ghi quan sát gọi là "dữ liệu" để xử lý thông tin và tri thức, và thấy được đổi mới công nghệ thông tin đã thúc đẩy nền văn minh phát triển ra sao. Vì vậy, việc xây dựng một đường ống dữ liệu trong thị trường Web3, ngoài việc có đặc điểm phi tập trung, còn có thể đóng vai trò then chốt như điểm khởi đầu thực tế để nắm bắt những cơ hội này. Tôi muốn kết thúc bài viết bằng vài suy nghĩ.
5.1 Vai trò của các giải pháp lưu trữ sẽ ngày càng quan trọng
Tiền đề quan trọng nhất để sở hữu đường ống dữ liệu là thiết lập quản trị dữ liệu và API. Trong một hệ sinh thái ngày càng đa dạng, các quy chuẩn do mỗi giao thức tạo ra sẽ tiếp tục được tạo lại, và các bản ghi giao dịch rời rạc qua hệ sinh thái đa chuỗi sẽ khiến cá nhân khó rút ra thông tin chi tiết tổng hợp. Khi đó, "giải pháp lưu trữ" là thực thể có khả năng thu thập thông tin rời rạc, cập nhật các quy chuẩn của từng giao thức và cung cấp dữ liệu tích hợp theo định dạng thống nhất. Chúng ta quan sát thấy các giải pháp lưu trữ trên thị trường hiện tại (như Snowflake và Databricks) đang phát triển nhanh chóng, có lượng khách hàng lớn, bằng cách tích hợp dọc các tầng trong đường ống và dẫn dắt sự phát triển ngành.
5.2 Cơ hội trong thị trường nguồn dữ liệu
Khi dữ liệu trở nên dễ tiếp cận hơn và quy trình xử lý được cải thiện, các trường hợp sử dụng thành công bắt đầu xuất hiện. Điều này tạo ra hiệu ứng vòng xoáy tích cực, khi các nguồn dữ liệu và công cụ thu thập bùng nổ — kể từ năm 2010, do tiến bộ lớn về công nghệ xây dựng đường ống dữ liệu, loại và số lượng dữ liệu số thu thập mỗi năm tăng theo cấp số nhân. Áp dụng bối cảnh này vào thị trường Web3, trong tương lai có thể có nhiều nguồn dữ liệu được tạo đệ quy trên chuỗi. Điều này cũng có nghĩa là blockchain sẽ mở rộng sang nhiều lĩnh vực kinh doanh khác nhau. Tại thời điểm này, chúng ta có thể kỳ vọng việc thu thập dữ liệu sẽ được thúc đẩy thông qua các thị trường dữ liệu như Ocean Protocol, các giải pháp DeWi (Internet phi tập trung) như Helium và XNET, cũng như các giải pháp lưu trữ.
5.3 Điều quan trọng là dữ liệu và phân tích có ý nghĩa
Tuy nhiên, điều quan trọng nhất là liên tục đặt câu hỏi về việc cần chuẩn bị dữ liệu nào để rút ra thông tin chi tiết thực sự cần thiết. Không gì lãng phí hơn việc xây dựng đường ống dữ liệu mà không có giả thuyết rõ ràng để kiểm chứng. Thị trường hiện tại đã đạt được vô số đổi mới nhờ xây dựng đường ống dữ liệu, nhưng cũng đã trả giá vô số thất bại vô nghĩa qua thử nghiệm lặp lại. Việc thảo luận xây dựng về sự phát triển của ngăn xếp công nghệ cũng tốt, nhưng ngành cần thời gian để suy ngẫm và thảo luận về những vấn đề cơ bản hơn, như nên lưu trữ dữ liệu nào trong không gian khối, hoặc dữ liệu nên phục vụ mục đích gì. "Mục tiêu" phải là hiện thực hóa giá trị Web3 thông qua thông tin hành động được và các trường hợp sử dụng, còn trong quá trình đó, việc phát triển nhiều thành phần cơ bản và hoàn thiện đường ống chỉ là "phương tiện" để đạt được mục tiêu đó.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
Four Pillars
