adversarial audit
यह एक ऑडिट नहीं है। यह एक अनुशासन है।
कोई भी एक बार security pass चलाकर हरे नतीजे का screenshot ले सकता है। कठिन काम यह है कि जैसे-जैसे आपका सिस्टम बढ़े, आप उस पर बार-बार हमला करते रहें और हर बार वही जवाब पाएँ। नवीनतम दौर: एक 50-agent audit, उसके fixes ship किए गए, फिर एक अलग 14-lens adversarial re-audit, जिसमें हर finding को गिने जाने से पहले एक संशयवादी की जाँच से गुज़रना पड़ा। जो टिकता है, वह टिकता है।
नवीनतम ऑडिट में क्या शामिल था
पहले दायरा, पद्धति और सीमाएँ। एजेंटों की गिनती बाद में।
नवीनतम core ऑडिट से, दिनांक 25 सितंबर 2026। एजेंटों की संख्या बताती है कि ऑडिट कितना व्यस्त था, यह नहीं कि वह कितना अच्छा था, इसलिए यहाँ बताया गया है कि इसने वास्तव में क्या किया।
- कोड
- core पैकेज, 162 फ़ाइलें और 17,362 पंक्तियाँ, एक निश्चित commit पर, साथ ही वह gateway कोड जो यह बताने के लिए ज़रूरी था कि हर path live है या नहीं।
- पहुँच
- पूरा सोर्स कोड, और migrations से बना एक नया डेटाबेस। प्रोडक्शन डेटाबेस नहीं; केवल प्रोडक्शन वाली सेटिंग्स को असत्यापित चिह्नित किया गया और बाद में मैंने उनकी जाँच की।
- पद्धति
- चार समीक्षकों में से हर एक ने एक परत पूरी पढ़ी। गिने जाने से पहले, एक लीड ने हर निष्कर्ष को फ़ाइल से मिलाकर दोबारा पढ़ा, और हर timing या pattern दावे को चलाकर देखा।
- गंभीरता
- HIGH का अर्थ है किसी live path पर छूटा हुआ संकट या denial of service, cross-tenant leak, या पैसे का नुकसान। Medium का अर्थ है ऐसा guard जो fail open होता है, शून्य से बना क्रेडिट, या चुपचाप गिराया गया डेटा। हर निष्कर्ष को live या latent भी चिह्नित किया गया है: आज प्रोडक्शन में पहुँच योग्य, या नहीं।
- असहमति
- जिस निष्कर्ष को लीड दोहरा नहीं सका, उसे हटा दिया गया या असत्यापित चिह्नित किया गया, औसत में शामिल नहीं किया गया।
- परिणाम
- 2 HIGH और 13 medium निष्कर्ष। सभी उसी दिन ठीक किए गए, हर एक के साथ ऐसा टेस्ट जो पुराने कोड पर विफल हुआ, और पूरा suite CI में दोबारा चलाया गया।
- शामिल नहीं
- अनूदित सुरक्षा स्ट्रिंग्स की लगभग 7,000 पंक्तियों की सटीकता, प्रोडक्शन डेटाबेस, वेब सर्वर कॉन्फ़िगरेशन, और 17 low निष्कर्ष जो अभी भी खुले हैं।
मेरे निर्देशन में AI समीक्षकों द्वारा स्वयं चलाया गया, स्वतंत्र third-party आश्वासन नहीं।
नियमित लय
राउंड दर राउंड, बार-बार हमला किया गया। नीचे दिया गया हर cross-tenant निष्कर्ष एक ऑडिट में मिला, किसी ग्राहक ने उसकी रिपोर्ट नहीं की, और उसे ठीक किया गया।
✓ हर राउंड में सबसे अहम सुरक्षा-बिंदु कायम रहे, आइसोलेशन · पैसा · गवर्नेंस · SSRF · टोकन डोमेन
असली वालों में से तीन
HIGH क्रॉस-टेनेंट बातचीत लीक
चैट मेमोरी की key टेनेंट के बजाय भेजने वाला था, इसलिए प्लेटफ़ॉर्म के ज़रिए दो व्यवसायों को संदेश भेजने वाले मेहमान की एक व्यवसाय से हुई बातचीत दूसरे के प्रॉम्प्ट में दिख सकती थी। ठीक किया गया: स्टोरेज लेयर पर हिस्ट्री की key व्यवसाय है, एक ऐसे टेस्ट के साथ जो पुरानी key लौटने पर फ़ेल हो जाता है। यह ऑडिट में मिला, किसी ग्राहक ने इसकी रिपोर्ट नहीं की।
HIGH एक प्रोवाइडर द्वारा कॉलर को खाली करना
क्रॉस-tenant टूल इकॉनमी में, कोई प्रोवाइडर किसी स्वीकृत टूल की कीमत कॉलर के उपयोग शुरू करने के बाद बढ़ा सकता था और उसका बैलेंस खाली कर सकता था। ठीक किया गया: कॉलर हर कॉल की कीमत पर सहमति देता है, fail-closed, सहमति नहीं तो शुल्क नहीं, और यह एक भी क्रेडिट हिलने से पहले लागू होता है।
HIGH मीटर के पीछे संकट
बिलिंग जाँच संकट जाँच से पहले चलती थी, इसलिए क्रेडिट खत्म हो चुके व्यवसाय को संदेश भेजने वाले परेशान ग्राहक को संकट हेल्पलाइन की जगह "unavailable" मिलता था। ठीक किया गया: संकट सहायता मुफ़्त दी जाती है, हर सीमा और शुल्क से पहले, हर ग्राहक सतह पर।
लेंस इन क्षेत्रों को कवर करते हैं: आइसोलेशन · auth · इंजेक्शन · पैसा · गवर्नेंस · बुकिंग · चैनल · स्वायत्त रेज़िडेंट · डेटा-अधिकार (GDPR/PECR) · साइट जनरेटर · फ्रंटएंड · ops। हर राउंड का निष्कर्ष: कोई critical खड़ा नहीं; टेनेंट आइसोलेशन और XSS सतह साफ़ निकले; कोई लाइव auth bypass नहीं: हर पुष्ट edge ठीक करके फिर से deploy किया गया।
ईमानदार आँकड़े
हर आँकड़ा, तारांकन पहले से साथ जुड़ा हुआ।
ज़्यादातर बिल्डर बढ़ा-चढ़ाकर बताते हैं। मैं चाहूँगा कि आप उन हिस्सों पर भरोसा करें जो असली हैं, बजाय उन हिस्सों से प्रभावित होने के जो असली नहीं हैं।
सिस्टम ईमानदार है क्योंकि इसे डिज़ाइन करने वाला व्यक्ति ईमानदार है। मैंने शुरू से ही यह सुनिश्चित किया, भीतर से बना हुआ, बाद में ऊपर से जोड़ा हुआ नहीं।
निमंत्रण
आँकड़े टिके रहते हैं। तारांकन समेत।
अगर आप ऐसा बिल्डर चाहते हैं जो किसी के कहने से पहले ही अपने काम पर इतनी सख़्ती से हमला करे, और सिस्टम बढ़ने के साथ ऐसा करता रहे, तो बात करते हैं।
ऑडिट के बारे में पूछें: क्या मिला, क्या ठीक हुआ, क्या अभी खुला है।
- अभी क्या खुला है?
- सबसे बुरी चीज़ क्या मिली?
- ये ऑडिट किसने किए?