Yapay zeka ajanlarını müşterilerin verileri ve parası üzerinde çalıştırılması güvenli hale getiriyorum.
Tek başıma geliştirdim: PANTHEON, rezervasyon alan, misafirlere mesaj atan ve bir işletmenin web sitesini yöneten, üretimde çalışan yapay zeka asistanları. Sınırları bir sistem istemi değil: her eylem, modelin değiştiremeyeceği bir katmandan geçer; bu katman işin hangi işletmeye ait olduğunu, ne kadar harcayabileceğini ve bir insanın onaylaması gerekip gerekmediğini kontrol eder. PANTHEON nedir? →
Aradığım: bir yapay zekâ ajanının güven sınırını sahiplenen kurucu ya da erken aşama bir rol. Cardiff, Birleşik Krallık; taşınmaya açığım.
Kırmayı dene → Benimle çalışın↓ tur · plan · araç · karar: her isteğin geçtiği kapılar, canlı akışla yanar.↓ Bir gösterim turu. Bundan sonra onu yalnızca gerçek trafik hareket ettirir.Bir misafir belirli tarihler için rezervasyon ister: asistan talebi gönderir ve sahip onaylayana kadar hiçbir rezervasyon yapılmaz. Rezervasyonlar ve ödemeler her zaman bekler.
Sözüme güvenmeyin. Ona sorun.
Bu sitenin asistanı PANTHEON üzerinde çalışır. Her mesaj yanıtlanmadan önce denetlenir ve denetimler her yanıtın altında yazdırılır. Onu kırmayı deneyin.
Gerçek bir hata, baştan sona.
Hata. WhatsApp ve Telegram geçmişi yalnızca misafirin telefon numarasıyla saklanıyordu; bu yüzden iki işletmeye mesaj atan bir misafirin ilk konuşması ikinci işletmenin asistanına yüklenebiliyordu.
Yakalandı: Temmuz'da kendi düşmanca denetimimle; bir müşteri tarafından değil, geçmiş olan test paketi tarafından da değil. Düzeltildi: geçmiş ayrıca işletmeye göre de anahtarlanarak. Düzeltilmiş kalıyor: eski anahtar geri gelirse başarısız olan bir testle.
Dışarıdan bir doğrulama: MCP TypeScript SDK'daki yüksek önem dereceli bir açık olan CVE-2026-104850 ↗ için adı anılan bildiricilerden biriyim (yedi kişiden biri).
Neyi garanti ediyor, neyi etmiyor.
Çözülmedi: prompt injection (kapsam sınırlama, bir denetim hakemi ve insan onayıyla sınırlandırılıyor; kimse çözmüş değil) ve tek bir üretim örneğinin ötesinde ölçek (bunun için tasarlandı, kanıtlanmadı). Tam liste → Mimari →
Tek başına inşa edildi. Üretimde çalışıyor. Doğru ekibe açığım.
Yapay zeka ajanınız gerçek müşterilerin verilerine veya parasına dokunmak üzereyse, istediğim iş tam olarak bu. Konuşalım.
PANTHEON ya da Isaac hakkında sorun. Her yanıt, size ulaşmadan önce neyin kontrol edildiğini gösterir.
- PANTHEON ne yapar?
- Isaac nasıl bir rol arıyor?
- Bulup düzelttiği gerçek bir hatayı göster
- Başka bir işletmenin verilerini almayı dene