Marvell ra mắt danh mục giải pháp bộ nhớ cơ sở hạ tầng AI, nhắm vào nút thắt cổ chai suy luận Agentic AI
Tin từ TechFlow, ngày 04 tháng 8, ông lớn bán dẫn cơ sở hạ tầng dữ liệu Marvell Technology tuyên bố ra mắt danh mục giải pháp bộ nhớ thế hệ mới dành cho cơ sở hạ tầng AI, bao gồm lưu trữ AI cấp máy chủ, mở rộng và gộp bộ nhớ CXL cấp rack, cũng như bộ nhớ chia sẻ kết nối quang đa tủ rack, nhằm giải quyết các nút thắt cổ chai về dung lượng bộ nhớ và băng thông ngày càng tăng trong quá trình suy luận Agentic AI. Marvell cho biết, khi quy mô mô hình AI mở rộng, cửa sổ ngữ cảnh kéo dài và nhu cầu KV Cache tăng lên, kiến trúc ghép nối chặt chẽ truyền thống giữa tính toán và bộ nhớ đang hạn chế hiệu quả suy luận AI. Thông qua việc tách rời bộ nhớ (memory disaggregation), có thể cho phép tài nguyên bộ nhớ mở rộng độc lập hơn với tài nguyên tính toán, nâng cao hiệu suất sử dụng GPU và giảm độ trễ di chuyển dữ liệu.
