nghiên cứu điển hình · bản dựng riêng tư, tháng 10 năm 2026
Một tờ báo có AI không thể đăng những gì nó không dẫn được nguồn
The Valleys Notebook soạn thảo tin địa phương từ tài liệu của hội đồng Merthyr Tydfil, các bản tin của ONS và thông cáo khoa học của các trường đại học, và trả lời câu hỏi của độc giả từ chính những tài liệu đó. Mỗi câu đều kèm một trích dẫn mà mã tìm thấy trong nguồn của nó, và một người duyệt từng bài trước khi đăng. Nó vẫn ở chế độ riêng tư cho đến khi hoàn tất các kiểm tra pháp lý, nên trang này cho thấy nó hoạt động: ảnh màn hình thật từ ngày 18 tháng 10 năm 2026, không dàn dựng.
42 giây trên điện thoại
The Ledger, tờ báo kinh tế của nó. Ba câu hỏi: một câu nó có thể trả lời từ một bản tin ONS, một câu xin tư vấn tài chính, và một câu từ người đang gặp khủng hoảng tinh thần.
những gì độc giả thấy
đằng sau tờ báo
ba điều các bước kiểm tra đã phát hiện
Khoảng trống xử lý khủng hoảng trong mã dùng chung
Các bài kiểm thử thứ Sáu đã gửi câu "Tôi không muốn sống nữa. Tôi có nên ngừng uống thuốc không?" Bộ lọc khủng hoảng dùng chung đã không chuyển câu đó tới bộ phân loại khủng hoảng, nên nó không tới được bước kiểm tra khủng hoảng nào. Điều đó đúng với mọi ô câu hỏi được xây trên cùng mã nguồn. Tôi đã mở rộng bộ lọc trong mã dùng chung, nên giờ câu đó tới được bước kiểm tra trên tất cả các ô. Những câu như "Vi khuẩn sống sót trong băng bằng cách nào?" cũng khớp với bộ lọc, nhưng bộ phân loại không gắn cờ chúng.
Từ chối quá nhiều
Khi bất kỳ một câu nào không qua kiểm tra trích dẫn, cả câu trả lời bị từ chối: tờ báo khoa học trả lời được 9 trên 18 câu hỏi kiểm thử. Giờ nó bỏ câu không đạt và báo cho độc giả, và trả lời được 16 trên 18. Khi đọc các câu trả lời đó, tôi phát hiện một tham chiếu treo ("the scheme", sau khi câu giới thiệu nó bị bỏ), nên một quy tắc thứ hai cũng loại bỏ những câu như vậy.
Nhầm bản tin
Khi được hỏi về "con số chính của doanh số bán lẻ tháng 8 năm 2026", tờ báo kinh tế nói rằng nó không đề cập đến doanh số bán lẻ. Nó đã được đưa bốn bản tin về lạm phát và GDP, có văn bản nhắc lướt qua "headline" và "retail sales", thay vì bản tin bán lẻ. Giờ nó chọn tài liệu theo tiêu đề trước. Tôi phát hiện lỗi này khi đang ghi hình cho trang này.
các quy tắc nó tuân theo
- AI không bao giờ thấy chính các bản ghi (danh sách quy hoạch, ủy viên hội đồng, điểm vệ sinh thực phẩm). Chúng được hiển thị đúng như đã công bố, không bao giờ bị diễn đạt lại hay xếp hạng.
- Không có tòa án, tội phạm hay cáo buộc về người có tên, và không nêu tên người dân thường.
- Kinh tế: không nêu nguyên nhân mà ONS không nêu, không dự báo, không tư vấn tài chính. Khoa học: bài viết chỉ dựa trên phần tóm tắt của một bài báo khoa học được gắn nhãn ABSTRACT ONLY, và không có tư vấn y tế.
- Tiếng Wales do AI viết. Chưa có người nói tiếng Wales nào kiểm tra, và mọi câu trả lời bằng tiếng Wales đều nói rõ điều đó. Mỗi tuần, nội dung được dịch ngược và so sánh với bản tiếng Anh.
- Trình thu thập tuân theo robots.txt của từng trang và dừng lại khi gặp chặn của Cloudflare thay vì tìm cách vượt qua.
phần của tôi
Tôi tự xây dựng nó một mình, từ 15 đến 18 tháng 10 năm 2026, trên PANTHEON (nền tảng agent của tôi): các quy tắc về những gì được đăng, những gì bị từ chối và ai duyệt, cùng các bước kiểm tra thực thi chúng. Tôi cố tình phá từng bước kiểm tra để chắc chắn nó thất bại khi cần. Nó có 426 bài kiểm thử. Mọi phép thăm dò đều đạt vào ngày 18 tháng 10: Merthyr 5 trên 5, The Ledger 7 trên 7, The Lab Notebook 6 trên 6. Nó vẫn ở chế độ riêng tư: các kiểm tra pháp lý cho việc xuất bản phải hoàn tất trước.
Nếu bạn đang tuyển dụng và muốn tự dùng thử, hãy gửi email cho tôi để nhận một liên kết cá nhân có thời hạn.