Kiểm thử ngược thị trường dự đoán AI: Kiểm tra chiến lược LLM mà không rò rỉ tương lai

Tại sao kiểm thử ngược AI là một vấn đề riêng biệt

Một quy tắc xác định có thể được xem xét từng dòng. Một LLM có thể thay đổi lập luận của nó với lời nhắc, phiên bản mô hình, ngữ cảnh, kết quả công cụ và cài đặt lấy mẫu. Nó cũng có thể biết các sự kiện đã xảy ra sau ngày mô phỏng vì dữ liệu huấn luyện hoặc công cụ tìm kiếm kèm theo vượt ra ngoài đồng hồ lịch sử. Một bài kiểm thử ngược giao dịch thông thường không tự động kiểm soát những rủi ro đó.

Thị trường dự đoán làm cho sự rò rỉ trở nên đặc biệt nghiêm trọng. Câu hỏi thị trường và kết quả cuối cùng được công khai sau khi thanh toán, vì vậy một mô hình có thể có vẻ dự báo một sự kiện trong khi nhớ lại hoặc suy luận câu trả lời từ thông tin sau đó. Bài kiểm tra phải bảo toàn cả tính toàn vẹn của thời điểm thị trường và tính toàn vẹn của thời điểm mô hình.

Hai quy trình kiểm thử ngược AI

Quy trình công khai hiện tại của DepthFeed hỗ trợ lộ trình đầu tiên: yêu cầu mô hình đề xuất một giả thuyết rõ ràng, chuyển nó thành một quy tắc đặt trước hoặc tùy chỉnh, đóng băng các tham số và chạy nó qua Backtest Lab. Điều này tách biệt việc tạo ý tưởng khỏi đánh giá và làm cho việc phát lại có thể lặp lại.

Phát lại mô hình trong vòng lặp yêu cầu các biện pháp kiểm soát bổ sung: môi trường thông tin đóng, trạng thái danh mục tuần tự, bản ghi cuộc gọi mô hình bền vững và băng ghi tại thời điểm cho mỗi chu kỳ. Đừng mô tả một bản ghi trò chuyện qua các thị trường đã giải quyết như là hình thức kiểm thử ngược mạnh mẽ hơn này.

Xây dựng ranh giới thông tin lịch sử

Triển khai an toàn nhất sử dụng ranh giới as-of: dấu thời gian nguồn nhỏ hơn hoặc bằng thời gian quyết định. Mọi tính năng, tóm tắt và phản hồi công cụ phải kế thừa ranh giới đó. Một trường tiện lợi không bị ràng buộc duy nhất, chẳng hạn như trạng thái thị trường hôm nay hoặc nhãn kết quả cuối cùng, có thể làm mất hiệu lực toàn bộ quá trình chạy.

• Đặt dấu thời gian quyết định và chỉ bao gồm các hàng thị trường quan sát được tại hoặc trước nó.
• Ràng buộc rõ ràng mọi khoảng thời gian xem xét quá khứ; không bao giờ sử dụng hàng gần nhất có thể đến từ tương lai.
• Loại trừ kết quả thanh toán, giá cuối cùng, các tiêu đề sau đó và tìm kiếm web hiện tại.
• Ghi lại chính xác vũ trụ thị trường được hiển thị cho mô hình, bao gồm cả các hợp đồng mà nó bỏ qua.
• Băm hoặc đánh phiên bản băng đầu vào để cùng một quyết định có thể được tái tạo sau này.
• Báo cáo dữ liệu thiếu là thiếu thay vì lấp đầy từ quan sát sau này.

Ngăn chặn rò rỉ câu trả lời và lời nhắc

Đóng băng lời nhắc hệ thống, hướng dẫn khách hàng, định danh mô hình, chế độ lấy mẫu, lược đồ đầu ra có cấu trúc và các công cụ có sẵn. Loại bỏ ngôn ngữ tiết lộ kết quả một cách gián tiếp, bao gồm trạng thái thị trường cuối cùng, từ ngữ thanh toán, tóm tắt bài báo hồi cứu hoặc tên tệp được tạo sau khi giải quyết.

Đối với các câu hỏi sự kiện lịch sử, giả định rằng bộ nhớ của mô hình đã được huấn luyện có thể chứa các sự kiện sau đó ngay cả khi duyệt web bị vô hiệu hóa. Sử dụng các câu hỏi an toàn về mặt cắt đứt nếu có thể, đánh giá các biện pháp kiểm soát rò rỉ riêng biệt và so sánh hiệu suất trên các giai đoạn mới hơn hoặc được giữ riêng. Điểm số cao trên các sự kiện đã giải quyết nổi tiếng tự nó không phải là bằng chứng về kỹ năng dự báo.

Làm cho giao thức quyết định có thể kiểm toán

Yêu cầu các hành động có cấu trúc thay vì các khuyến nghị tự do. Một quyết định hữu ích bao gồm định danh thị trường, phía, xác suất ước tính, độ tin cậy, giá vào tối đa, giá trị danh nghĩa yêu cầu và một luận điểm ngắn. Các quy tắc phía máy chủ sau đó nên chấp nhận, thay đổi kích thước hoặc từ chối đề xuất theo tiền mặt, mức độ tiếp xúc, độ tin cậy, lợi thế và giới hạn giá.

Lưu trữ các lần bỏ qua và giao dịch bị từ chối, không chỉ các khớp lệnh. Nếu báo cáo cuối cùng chỉ chứa những người chiến thắng mà mô hình đã chọn, thì không có mẫu số cho phân tích tính chọn lọc, phạm vi bao phủ hoặc thất bại. Bản ghi bền vững nên kết nối mỗi hành động với ranh giới đầu vào chính xác và trạng thái danh mục kết quả.

Phát lại danh mục một cách tuần tự

Các chu kỳ danh mục phải chạy theo thứ tự thời gian vì một quyết định thay đổi tiền mặt và mức độ tiếp xúc mở có sẵn cho quyết định tiếp theo. Song song hóa việc khám phá thị trường bên trong một dấu thời gian nếu cần, nhưng tổng hợp một quyết định danh mục cuối cùng dựa trên một băng bị đóng băng. Đừng để các cuộc gọi mô hình độc lập tiêu cùng một khoản tiền mặt.

Mang các vị thế mở, tiền mặt đã thực hiện và giới hạn rủi ro về phía trước. Sau đó báo cáo P&L theo danh mục và địa điểm cũng như tổng hợp. Điều này tiết lộ liệu một danh mục có vẻ thông minh có thực sự là một cược định hướng tập trung được lặp lại trên các hợp đồng tương quan hay không.

Sử dụng các khớp lệnh khả thi, không phải giá được mô hình đưa ra

Mô hình có thể đưa ra giá tối đa; nó không được phép tự tạo ra khớp lệnh của riêng mình. Thêm một độ trễ thực thi xác định, xác định sổ lệnh đầu tiên được ghi lại tại hoặc sau thời gian mô phỏng đó, và đi qua các lệnh chào bán hoặc chào mua có sẵn chỉ đến giới hạn. Lưu trữ VWAP, tỷ lệ khớp, thời gian quan sát và sổ lệnh được sử dụng.

Đánh dấu danh mục cuối cùng một cách thận trọng. Đánh dấu điểm giữa giả định thanh lý mà không vượt qua chênh lệch hoặc tiêu thụ kích thước. Một sự thanh lý khả thi nhận biết độ sâu trả lời tốt hơn những gì danh mục có thể đã thực hiện; sổ lệnh cũ hoặc vắng mặt nên vẫn là một điều kiện thất bại rõ ràng.

Quy trình làm việc: từ giả thuyết LLM đến phát lại

Bắt đầu với một lời nhắc có giới hạn: yêu cầu mô hình đưa ra một giả thuyết Polymarket hoặc Kalshi có thể bác bỏ, các đầu vào quan sát được cần thiết, một quy tắc vào chính xác, kích thước vị thế, hành vi thoát hoặc thanh toán và các điều kiện mà nó nên vượt qua. Cấm các tuyên bố lợi nhuận và yêu cầu không có ví dụ hồi cứu.

Chuyển câu trả lời thành một cài đặt trước hoặc quy tắc tùy chỉnh của Backtest Lab mà không thay đổi ngưỡng của nó sau khi thấy kết quả. Chọn địa điểm và họ thị trường dự định, sử dụng mẫu theo thời gian, và so sánh điểm giữa, trượt giá cố định và độ sâu đã ghi. Kiểm tra mọi giao dịch và bảo toàn một tập dữ liệu giữ lại sau này. Nếu nó tồn tại, triển khai quy tắc đã đóng băng vào giao dịch giấy và đánh giá nó trên các kết quả mà mô hình không thể biết khi quy tắc được tạo ra.

Các chỉ số phân biệt dự báo với giao dịch

Chất lượng dự báo và hiệu suất giao dịch có liên quan nhưng không giống hệt. Một mô hình được hiệu chuẩn có thể thua lỗ do trả giá đã phản ánh thông tin của nó. Một mô hình hiệu chuẩn kém có thể kiếm tiền trong thời gian ngắn nhờ may mắn hoặc một vị thế tập trung. Báo cáo cả hai lớp và tránh giảm đánh giá thành một tiêu đề bảng xếp hạng.

So sánh các mô hình mà không thay đổi mục tiêu

• Cung cấp cho mọi mô hình cùng một băng thị trường bị đóng băng, bộ công cụ, lược đồ đầu ra và giới hạn danh mục.
• Sử dụng cùng các dấu thời gian quyết định, độ trễ thực thi, động cơ khớp lệnh và quy tắc đánh dấu cuối cùng.
• Tách biệt các lỗi nhà cung cấp, đầu ra không hợp lệ và từ chối quy tắc rủi ro khỏi các khoản lỗ thị trường.
• Ghi lại chi phí token và mô hình cùng với hiệu suất; một lợi nhuận biên có thể không biện minh cho chi phí suy luận cao hơn nhiều.
• Lặp lại các lần chạy ngẫu nhiên hoặc sử dụng cài đặt xác định nếu được hỗ trợ, và báo cáo phương sai.
• Giữ các trang mô hình được đặt tên và các tuyên bố là hiện tại vì các phiên bản và tính khả dụng của mô hình thay đổi.

Phân loại thất bại thay vì che giấu chúng

Những kết quả này có ý nghĩa khác nhau. Coi hết thời gian nhà cung cấp như một lần vượt qua tự tin làm tăng tính chọn lọc; bỏ một lệnh không được khớp làm phóng đại hiệu suất khả thi; và im lặng sửa đầu ra mô hình không đúng định dạng cung cấp cho một mô hình sự trợ giúp của con người mà các mô hình khác có thể không nhận được. Đánh giá nên định nghĩa mỗi lớp trước khi chạy và áp dụng nó một cách máy móc.

Công bố toàn bộ phễu: các thị trường đủ điều kiện, thị trường được hiển thị, các hành động đề xuất, bỏ qua, đầu ra không hợp lệ, từ chối rào cản, từ chối thực thi, khớp một phần và các vị thế hoàn thành. Mẫu số đó giúp có thể phân biệt một mô hình thận trọng với một mô hình không đáng tin cậy.

Bản ghi tái tạo tối thiểu

Đối với mỗi lần chạy, bảo tồn nhà cung cấp mô hình và tên chính xác của mô hình, các mẫu lời nhắc, định nghĩa công cụ, lược đồ đầu ra có cấu trúc, cấu hình lấy mẫu và hướng dẫn khách hàng. Ghi lại thời gian bắt đầu và kết thúc lịch sử, khoảng thời gian quyết định, khoảng thời gian xem xét quá khứ, địa điểm, danh mục, tiền mặt ban đầu, giới hạn mức độ tiếp xúc, độ trễ thực thi và phương pháp đánh dấu cuối cùng.

Đối với mỗi chu kỳ quyết định, bảo tồn dấu thời gian quyết định, phiên bản băng, thời gian as-of của băng, số lượng thị trường đủ điều kiện, băm đầu vào, danh mục trước và sau, sử dụng mô hình và trạng thái lỗi. Đối với mỗi giao dịch đề xuất, lưu trữ luận điểm và xác suất của nó cùng với xác suất thị trường quan sát được, độ tin cậy, giá giới hạn, kích thước yêu cầu, mã từ chối và sổ lệnh lịch sử được sử dụng cho bất kỳ khớp lệnh nào.

Các mô hình của nhà cung cấp có thể được cập nhật đằng sau một cái tên ổn định, vì vậy một lần chạy lại chính xác vẫn có thể khác sau này. Một bản ghi bền vững không thể loại bỏ phương sai nền tảng đó, nhưng nó có thể tiết lộ nó. Trong trường hợp không có hạt giống xác định hoặc phiên bản ghim, hãy lặp lại cùng một bài kiểm tra đủ số lần để báo cáo sự phân tán giữa các lần chạy thay vì trình bày một mẫu thuận lợi duy nhất.

• Tên mô hình, nhà cung cấp, lời nhắc, công cụ, lược đồ và cài đặt lấy mẫu.
• Ranh giới lịch sử, vũ trụ thị trường, khoảng thời gian quyết định và khoảng thời gian xem xét quá khứ.
• Giới hạn danh mục, độ trễ thực thi, động cơ khớp lệnh và đánh dấu cuối cùng.
• Băm đầu vào và sổ lệnh gắn với mọi quyết định và khớp lệnh.
• Sử dụng token, chi phí mô hình, đầu ra không hợp lệ và tất cả lý do từ chối.
• Phương sai giữa các lần chạy lặp lại khi mô hình hoặc nhà cung cấp là ngẫu nhiên.

Kiểm tra tiến trước khi đưa ra tuyên bố về hiệu suất AI

Một bài kiểm tra AI lịch sử vẫn có thể được hưởng lợi từ bộ nhớ mô hình, điều chỉnh lời nhắc của nhà nghiên cứu và thử nghiệm lặp lại. Bước tiếp theo sạch sẽ nhất là một giai đoạn giao dịch giấy tiến bị khóa. Đóng băng lời nhắc hoặc quy tắc đã trích xuất, bắt đầu sau khi cấu hình là cuối cùng, định giá mọi hành động từ sổ lệnh hiển thị trực tiếp và công bố toàn bộ mẫu số.

DepthFeed Paper Trading cung cấp lộ trình tiến khả dụng cho các quy tắc xác định và tín hiệu bot bên ngoài. Nó sử dụng tiền mặt ảo và không đặt lệnh sàn giao dịch trực tiếp. Sự phân biệt đó nên vẫn hiển thị ở bất cứ nơi nào một quy trình AI được mô tả.

Những gì DepthFeed cung cấp hôm nay

Hôm nay, các nhà nghiên cứu có thể sử dụng một mô hình AI để tạo hoặc tinh chỉnh một chiến lược rõ ràng, phát lại quy tắc đã đóng băng đó trong Backtest Lab dựa trên các sổ lệnh thị trường dự đoán đã ghi, so sánh ba giả định khớp lệnh, kiểm tra rủi ro và các giao dịch riêng lẻ, và chuyển những chiến lược sống sót tương thích sang giao dịch giấy trực tiếp. Dữ liệu lịch sử API và máy chủ MCP cũng hỗ trợ nghiên cứu tác nhân tùy chỉnh bên ngoài bảng điều khiển.

DepthFeed hiện không quảng cáo một bài kiểm thử ngược mô hình trong vòng lặp tự động công khai API hoặc thực thi giao dịch AI trực tiếp. Quy trình làm việc hẹp hơn là có chủ đích và có thể kiểm tra: mô hình đề xuất; bằng chứng thị trường đã ghi đánh giá; giao dịch giấy cung cấp bản ghi tiến.