AI security in 2026: securing models, data and autonomous actions
Follow an enterprise agent from LLM calls and IAM through prompt injection, least privilege, exact approval, tool execution, audit and incident recovery.
출처 및 버전 정보
Contents · lifecycle and reference chapters
이 글의 목차
보안: 사용자부터 확정된 작업까지
이 사례는 청구서 도우미를 따라갑니다. 테넌트 범위의 문서를 읽고 결제를 제안하지만 실행에는 별도의 정확한 권한이 필요합니다. 시나리오와 실험은 합성 교육 자료이며 실제 배포 사례가 아닙니다.
01 · 요청에서 실제 결과까지 송장 도우미 추적
09:00에 매입채무 분석가 Maya가 “Northstar의 연체 송장을 찾아 차이를 설명하고 결제 제안을 준비해 줘”라고 요청합니다. 실제 사건이 아닌 합성 교육 시나리오입니다. Maya는 자신의 테넌트 송장을 읽고 제안을 만들 수 있지만 공급자 은행 계좌를 몰래 바꾸거나 결제를 실행할 수 없습니다. 별도로 권한을 부여받은 승인자가 정확한 거래를 승인해야 실행할 수 있습니다. 목표는 이 경계 안에서 유용한 도움을 주는 것이지 모든 금융 요청을 거절하는 챗봇이 아닙니다.
애플리케이션은 Maya를 인증하고 허용된 기록을 검색해 선택한 컨텍스트를 모델에 보내며 반환된 계획을 해석하고 도구를 호출합니다. 필요하면 승인을 요청하고 허가된 작업을 실행한 뒤 결과를 기록합니다. 각 화살표는 사람과 서비스, 지시와 근거, 테넌트, 공급자, 도구, 시간 또는 관리 영역 사이의 경계를 넘습니다. 보안 엔지니어링은 그 경계에서 수신자가 무엇을 신뢰할 권리가 있는지 묻습니다.
공급자는 업로드한 PDF를 통제하지만 Maya의 역할은 통제하지 못합니다. 침해된 검색 커넥터는 거짓 내용을 반환할 수 있어도 결제 자격 증명을 발급해서는 안 됩니다. 모델은 도구 호출을 제안할 수 있지만 스스로 권한을 부여해서는 안 됩니다. 탈취된 워커 토큰은 일부 작업을 허용할 수 있으므로 모델의 모든 행동이 적대적이어도 자격 증명의 능력을 제한해야 합니다. 악성 콘텐츠와 사용 가능한 권한의 차이가 전체 아키텍처를 이끕니다.
인증은 주체를 확립하고, 인가는 그 주체가 특정 작업을 해도 되는지 결정하며, 감사 기록은 결정이나 사건에 관한 증거라는 점을 먼저 이해합니다. 어느 것도 나머지를 보장하지 않습니다. 학습 후에는 신뢰 경계도와 권한 불변 조건을 작성하고 부정 테스트를 설계하며 논란이 된 작업을 재구성하고 남은 불확실성을 설명할 수 있어야 합니다. 글은 체계적 기반을 제공하지만 전문가 판단에는 실제 환경에서 이 통제를 구현하고 검증하는 경험도 필요합니다.
02 · 실행 전: 자산·행위자·금지 결과 정의
위협 모델은 첫 프롬프트 전에 시작됩니다. 송장 내용, 공급자 신원, 은행 정보, 승인 상태, 결제 자격 증명, 모델 공급자 키, 로그, 영속 메모리를 자산으로 나열합니다. 이어서 행위자와 영향 범위를 정합니다. 외부 공급자는 문서, 일반 직원은 요청, 테넌트 관리자는 일부 통합을 통제하며 공격자는 세션을 훔치거나 플러그인을 침해할 수 있습니다. 이미 모든 서버를 장악한 전능한 공격자를 가정하면 어떤 통제를 검증하는지 흐려집니다.
구체적인 불변 조건을 작성합니다. 검색 문서는 권한을 확대하지 못합니다. 테넌트 A의 요청은 B의 송장을 검색하지 못합니다. 결제는 유효한 승인에 있는 테넌트, 수취인, 금액, 통화, 제안 버전과 일치해야 합니다. 재시도는 추가 결제를 만들지 않아야 합니다. 새로운 민감 작업을 승인하기 전에 철회가 반영돼야 합니다. 모델의 설명은 이 조건을 대체하지 못합니다. 테스트로 위반을 드러낼 수 있어 유용한 조건입니다.
모델 버전, 토크나이저, 오케스트레이션 라이브러리, 도구 명세, 브라우저 자동화 패키지, 컨테이너 이미지, 검색 파이프라인도 목록화합니다. 악성 패키지나 변조된 도구 설명은 악성 송장과 다른 경로로 들어옵니다. 배포 아티팩트를 고정하고 검토하며 개발·운영 자격 증명을 분리하고 도구 레지스트리 변경을 통제합니다. 서명은 신뢰 가정 아래 주장된 출처와 무결성을 확립하지만 무해한 행동을 증명하지 않습니다.
설계 원칙은 “네트워크 안은 모두 안전하다”가 아니라 리소스별 신뢰입니다. 2020년 8월 발표된 NIST SP 800-207https://csrc.nist.gov/pubs/sp/800/207/final은 제로 트러스트의 기반을 제공합니다. 송장 설계는 그 원칙을 모델이 중개하는 작업에 적용합니다.
프롬프트 인젝션과 모델·데이터 오염을 구분합니다. 인젝션은 런타임 콘텐츠로 기존 모델을 유도합니다. 오염된 학습 예제, 악성 파인튜닝, 변조된 모델 아티팩트는 학습된 행동이나 배포된 계산 자체를 바꿀 수 있습니다. 데이터 계보, 학습 권한, 아티팩트 출처, 릴리스 게이트를 따로 보호합니다. 신뢰할 수 있는 모델도 비즈니스 권한을 우회할 수 없어야 합니다. 출처는 공급망 의문을 좁힐 뿐 런타임 권한을 주지 않습니다.
03 · 요청 진입: 사용자·테넌트·워크로드 신원 유지
Maya는 애플리케이션의 기존 신원 시스템으로 로그인합니다. 게이트웨이는 세션을 검증하고 프롬프트에 적힌 이름이 아닌 서버 측 소속 정보에서 테넌트를 결정합니다. 요청 컨텍스트에는 인증된 주체, 테넌트, 세션 또는 위임 식별자, 애플리케이션의 워크로드 신원이 포함됩니다. 이는 서로 다릅니다. 사람이 작업을 요청하고 서비스가 실행하며 모델은 후보 텍스트를 생성합니다. 모델을 “에이전트”라 부른다고 독립적으로 신뢰할 수 있는 신원이 되지는 않습니다.
첫 공격 표면은 일반 애플리케이션 보안입니다. 세션 탈취, 사이트 간 요청 위조, 안전하지 않은 객체 참조, 클라이언트가 제공한 테넌트 식별자는 프롬프트 인젝션 이전에 시스템을 무너뜨릴 수 있습니다. 세션과 전송 설계에 맞는 보호를 적용합니다. 인증된 테넌트와 작업 범위 안에서 송장 식별자를 해석합니다. 전역 ID로 송장을 가져온 뒤 모델이 다른 사람 소유라는 사실을 알아챌 것이라 기대하면 안 됩니다.
백그라운드 작업에는 위임 컨텍스트와 만료 시각 또는 철회 참조를 저장합니다. 브라우저 세션 전체를 큐에 직렬화하지 않습니다. 장기 작업을 재개할 때 해당 권한이 여전히 존재하는지 다시 확인합니다. 어제 권한이 있던 사용자가 오늘 퇴사했을 수 있습니다. 영속 작업 기록은 영구 권한 부여가 아닙니다.
04 · LLM 호출: 추론 서비스는 권한 부여 서비스가 아니다
애플리케이션은 사용자 작업, 관련 정책 지침, 제한된 근거 집합으로 모델 요청을 만듭니다. 모델 공급자의 API 자격 증명은 추론 서비스에 애플리케이션을 인증합니다. Maya의 송장 읽기 자격 증명도 아니며 결제 자격 증명으로 바뀌어서도 안 됩니다. 프롬프트 밖에 저장하고 통제된 서버 측 메커니즘으로 가져옵니다. 모델에게 도구 사이로 비밀을 전달하라고 요청하지 않습니다.
공급자 경계를 명시합니다. 어떤 데이터가 환경 밖으로 나가도 되는지, 승인된 엔드포인트와 지역은 어디인지, 요청 로깅과 보존은 어떻게 작동하는지, 대체 공급자가 같은 데이터 처리 허가를 충족하는지 결정합니다. 이는 배포와 계약에 따른 확인이지 모델 브랜드에서 추론할 사항이 아닙니다. 승인된 엔드포인트가 중단됐다고 미검토 엔드포인트로 전환하면 가용성 장치가 데이터 공개 경로로 바뀔 수 있습니다.
토큰·시간·금액 예산으로 추론 요청을 제한합니다. 긴 문서나 적대적 루프는 금지된 도구 작업을 한 번도 실행하지 않고도 공유 용량을 소진할 수 있습니다. 불필요한 필드를 삭제하거나 가리되 단순한 마스킹이 정답에 필요한 근거까지 없앨 수 있음을 인식합니다. 송장을 설명하는 데 필요한 최소 정보와 결제를 실행하는 데 필요한 정보를 구분합니다.
응답은 버전 관리된 스키마로 파싱하고 크기 제한을 적용합니다. 유효한 JSON 도구 호출은 형식이 맞는 제안일 뿐입니다. 문자열은 SQL, HTML, 셸, URL, 후속 API에 여전히 신뢰할 수 없는 입력입니다. DB 접근을 매개변수화하고 범위가 좁은 타입 지정 어댑터를 사용합니다. 모델은 설득력 있지만 틀린 계획을 만들 수 있으므로 후속 경계가 결과를 제한해야 합니다.
05 · 검색: 읽기 권한이 있다고 내용을 신뢰할 수 있는 것은 아니다
검색기는 Maya에게 허용된 데이터 범위 안에서만 검색합니다. 민감한 내용이 모델 컨텍스트에 들어가기 전에 문서별 접근 규칙을 적용하고 벡터 검색 후 전체 문서를 가져올 때도 정책 검사를 유지합니다. 최종 답변만 필터링하면 너무 늦습니다. 모델이나 외부 공급자는 이미 비밀을 받았을 수 있습니다. 캐시 키와 검색 인덱스는 테넌트와 권한 경계를 지켜야 하며 공유 의미 캐시는 이전에 허용된 답변을 다른 사용자에게 유출할 수 있습니다.
이제 공급자의 PDF에 원래 작업을 무시하고 결제 정보를 바꾸라는 문구가 들어 있습니다. Maya는 PDF를 읽을 수 있지만 작성자는 그녀의 애플리케이션에 명령할 권한이 없습니다. 공격은 근거를 지시로 바꾸는 경계를 넘습니다. 이것이 간접 프롬프트 인젝션입니다. 다른 목적으로 검색한 자료를 통해 명령이 모델에 도달합니다. 직접 인젝션은 사용자 입력 채널로 들어옵니다. 둘 다 임의 실행 권한을 얻는 소프트웨어 취약점과는 다르지만 취약한 도구를 통해 피해를 일으킬 수 있습니다.
출처 ID, 테넌트, 검색 시각, 문서 버전, 접근 결정, 신뢰하는 애플리케이션 정책과 신뢰하지 않는 근거의 구분을 보존합니다. 구분자, 지시 계층, 콘텐츠 스캔, 인젝션 저항 학습은 일부 실패를 줄일 수 있으나 적대적 문서가 모델에 영향을 주지 못한다는 증명은 아닙니다. OWASP LLM01:2025 Prompt Injection 지침https://genai.owasp.org/llmrisk/llm01-prompt-injection/은 유용한 위협 분류입니다. 이 글은 해당 판을 고정해 인용하며 현재 위험 순위를 뜻하지 않습니다.
06 · 계획과 도구 호출: 제안과 권한 분리
모델은 청구서 읽기, 공급자 조회, 지급 준비를 제안하고 오케스트레이터는 등록된 어댑터로 연결합니다. 좁은 API 구현이 불편하다고 관리자 shell을 제공하면 안 됩니다. 설명 변경은 모델 행동을, 구현 변경은 실제 권한을 바꾸므로 둘 다 검토하고 버전을 기록합니다.
특권 작업 직전에 결정적 정책 집행 지점을 두고 권위 있는 정책 판단에 주체, 워크로드, 테넌트, 동작, 리소스, 현재 맥락을 확인합니다. 모델은 이유를 설명할 수 있지만 신원 입력을 변경하거나 검사를 건너뛸 수 없습니다. 모델의 거부는 추가 방어이며 모델만의 허용 판단은 강제 접근 제어가 아닙니다.
제안 도구는 청구서와 수취인의 초안만 만듭니다. 지급 실행과 공급자 원장 수정은 별도 권한을 가진 작업입니다. 실효 권한은 사용자, 서비스, 작업 위임, 정책의 교집합이어야 하며 어느 참여자가 가진 능력의 합집합이 아닙니다.
정책 결정을 구체화합니다. 모델이 INV-42에 120 USD 지급을 제안하면 신뢰된 맥락은 Maya, 테넌트 T1, 서비스 신원을 제공하고 리소스 조회는 소유 테넌트, 미지급액, 공급자 리비전을 제공합니다. 허용하려면 테넌트, 작업 권한, 예산, 청구서 상태, 동일 금액·통화·수취인 버전에 결합된 승인이 모두 맞아야 합니다. 모델은 후보만 제안하며 권위 있는 소속, 잔여 예산, 승인 플래그를 결정하지 않습니다.
독립적인 권한을 가진 승인자의 승인 한도가 500 USD여도 이 작업에 위임된 한도가 100 USD이면 120 USD는 거부합니다. 두 번의 60 USD로 나누어 누적 한도를 우회해서도 안 됩니다. 예산을 승인 또는 커밋과 원자적으로 예약하고, 불확실한 결과를 대조하며, 실패가 확인된 뒤에만 예약을 해제합니다. 그렇지 않으면 두 작업자가 같은 잔액을 사용할 수 있습니다. 금액은 합성 예시이며 금융 정책 권고가 아닙니다.
07 · 최소 권한: 자격 증명을 실제 작업 범위로 제한
권한이 넓은 서비스 계정은 혼동된 대리자를 만듭니다. 요청자나 검색 문서에 없는 권한을 애플리케이션이 가지고 있으며 그들을 대신해 행사하도록 유도될 수 있습니다. 따라서 “에이전트에게 토큰이 있다”는 잘못된 질문에 대한 답입니다. 누구의 권한인지, 어느 리소스 서버가 수락하는지, 어떤 작업과 객체를 허용하는지, 언제 만료되는지, 재사용하거나 위임할 수 있는지를 물어야 합니다.
신뢰할 수 있는 브로커나 지원되는 인가 흐름을 통해 수명이 짧고 리소스에 적합한 자격 증명을 얻습니다. 위임이 지원되면 행위자와 주체를 구분합니다. 송장 서비스용 토큰을 결제 서비스가 수락해서는 안 됩니다. Audience는 수신자를, scope는 작업 종류를 제한하며 객체·테넌트 정책이 어떤 송장을 읽을지 결정합니다. read라는 scope가 자동으로 “이 송장만 읽기”를 뜻하지는 않습니다.
2025년 1월 RFC 9700https://www.rfc-editor.org/rfc/rfc9700.html은 액세스 토큰 권한 제한, audience 제한, 적절한 송신자 바인딩을 권고합니다. 2020년 1월 RFC 8693https://www.rfc-editor.org/rfc/rfc8693.html은 위임 관련 표현을 포함한 토큰 교환을 규정합니다. 모든 공급자가 임의 권한 축소를 지원한다는 뜻도, 좁은 토큰을 요청하면 실제로 좁아진다는 뜻도 아닙니다. 인가 서버가 결과 정책을 강제해야 합니다.
MCP 통합에서는 의도한 서버에 맞춰 자격 증명을 검증하고 후속 API에는 별도로 적법한 인가 관계를 사용합니다. 2025-11-25 문서판으로 고정한 MCP 보안 지침https://modelcontextprotocol.io/docs/2025-11-25/tutorials/security/security_best_practices은 혼동된 대리자와 토큰 그대로 전달의 위험을 설명합니다. 상위에서 받은 Bearer 토큰을 다른 서비스로 단순 전달하지 않습니다. 짧은 수명은 노출을 줄이지만 남은 유효 시간의 오용을 없애지는 않습니다.
08 · 승인: 정확하고 유효한 동작에 동의 결합
“에이전트 승인”은 모호합니다. 신뢰된 화면에 청구서, 검증된 공급자, 계좌 참조, 금액, 통화, 실행 시각을 표시합니다. 비신뢰 설명은 데이터로 다루고 시스템 라벨과 구분해 설득적인 문장 속 수취인 변경을 숨기지 못하게 합니다.
승인은 정규 동작, 테넌트, 리소스 버전, 승인자, 만료, 고유 nonce에 결합합니다. 해시는 비교용이지 권한이 아닙니다. 서비스가 승인자를 인증·인가하고 기록을 보호합니다. 금액 단위, 통화, 선택 필드, 계좌 ID 해석이 승인과 실행에서 같아야 합니다.
실행 전 권한, 철회, 만료, 버전을 다시 확인합니다. 계좌가 바뀌면 같은 동작이 아닙니다. 트랜잭션 전제나 조건부 쓰기로 검사 이후 경쟁을 막고 필요하면 재승인합니다. 정당한 사람도 틀릴 수 있으므로 검증 상태, 독립 확인, 적절한 직무 분리를 사용합니다. 사람이 있다는 것만으로 안전하지 않습니다.
09 · 실행: 외부에 접촉하는 실행 환경 제한
허용된 작업도 구현이 위험할 수 있습니다. 모델 문장을 shell에 넣지 말고 타입 클라이언트를 씁니다. 문서 분석의 CPU, 메모리, 파일, 수명을 제한하고 키와 다른 테넌트 자료를 제외합니다. 컨테이너는 격리 수단일 뿐 탈출이나 오설정을 없애지 않습니다.
네트워크 정책은 별도입니다. URL 프로토콜, 목적지, redirect, 내부 관리·metadata 접근을 제한합니다. DNS와 redirect는 단순 문자열 검사를 무력화할 수 있습니다. OWASP SSRF 지침https://cheatsheetseries.owasp.org/cheatsheets/Server_Side_Request_Forgery_Prevention_Cheat_Sheet.html을 참고하며 임의 URL보다 서버가 해석하는 공급자 ID를 사용합니다.
청구서를 읽을 수 있어도 그 안의 임의 주소로 보낼 수는 없습니다. 수신자와 채널을 제한하고 필드를 최소화하며 중요한 공개는 승인을 받습니다. 분류기는 검토 보조이지 권위 있는 수신자 정책 대체가 아닙니다. 인자 검증, 권한, 샌드박스, 송신 제한은 각각 다른 경계입니다.
10 · 재시도, 장기 작업, 다중 에이전트 위임
지급 API 시간초과는 실행 전 실패와 성공 후 응답 유실을 구분하지 못합니다. 무조건 재시도하면 중복될 수 있습니다. 같은 논리 작업에 안정된 멱등 키, 권위 있는 작업 기록, 공급자 지원 대사를 사용합니다. 모델 설명이 달라져도 키를 바꾸지 않습니다.
멱등성은 업무 범위와 수명이 있으며 정확히 한 번 전달과 다릅니다. 키와 정규 동작을 결합하고 변경 인자를 거부합니다. 제안, 승인, 전송, 확인, 불명을 영속화하며 불명은 대사·검토로 보냅니다. 보상에도 비용이 들고 원효과를 되돌리지 못할 수 있습니다.
하위 에이전트의 추출 작업에는 필요한 문서와 만료 맥락만 줍니다. 긴급하다고 권한이 늘지 않으며 하위 지시가 상위 권한 근거가 되지 않습니다. 재개·작업 변경 때 다시 검사하고 철회 시 정책에 따라 신규 권한과 민감 동작을 중지합니다. 채팅 종료가 큐 작업 취소를 뜻하지는 않습니다.
11 · 기억과 학습: 공격은 세션 이후에도 남는다
“Northstar 지급은 새 계좌로”를 권위 있는 선호로 저장하면 근거가 지시로, 일시 문맥이 영속 정책으로 바뀝니다. PDF가 사라져도 다음 세션이 영향을 받습니다.
선호, 검색 사실, 추론 요약, 승인, 정책을 목적과 신뢰에 따라 나눕니다. 출처, 테넌트, 버전, 만료, 생성·수정 권한을 보존합니다. 모델 요약은 파생 근거이며 검증된 공급자 정보나 보안 규칙을 덮어쓰지 않습니다.
운영 피드백은 개선에도 공격에도 쓰입니다. 학습·최적화 입력을 검토하고 최적화기가 못 보는 홀드아웃과 독립 출시 결정을 둡니다. 오염된 동일 판정기의 보상 상승은 안전이나 능력 향상을 증명하지 않습니다.
12 · 에이전트 감사: 권한, 동작, 결과 재구성
지급 시도 이유를 설명하려면 대화만으로 부족합니다. 인증 주체와 서비스, 테넌트, 작업·시도 ID, 정책·리소스 버전, 정규 동작, 권한 결정, 승인 참조, 실행 ID, 관찰 결과를 기록합니다. 실패와 재시도를 구분하고 민감 본문과 접근을 최소화합니다.
동작 영수증은 요청, 허용 이유, 하위 응답을 연결합니다. 서명은 키 관리 가정 아래 발급자와 바이트 무결성을 확인하지만 발급자의 정직함, 기록 완전성, 올바른 정책, 정산 완료를 증명하지는 않습니다. 정산 근거는 권위 있는 업무 시스템에서 나중에 올 수 있습니다.
해시 체인은 공격자가 신뢰 앵커와 모든 사본을 바꿀 수 없을 때 일부 변조를 검출합니다. 전체 로그 경로를 지배하는 관리자의 삭제·누락·재작성은 자동 방지하지 못합니다. 독립 보존, 무결성, 접근, 실패 처리를 정의합니다. OWASP 로깅 지침https://cheatsheetseries.owasp.org/cheatsheets/Logging_Cheat_Sheet.html이 기초를 제공합니다.
일반 텔레메트리는 제한된 버퍼와 누락 카운터를 쓸 수 있지만 민감 작업의 필수 감사 근거는 실행 차단이나 영속 커밋이 필요할 수 있습니다. 작업별로 결정합니다. 모델 요약은 원기록 링크와 불확실성을 유지해야 하며 인과 이야기를 만들어서는 안 됩니다.
감사 내구성은 결과의 중요도에 따라 정합니다. 진단 이벤트는 한계를 밝히고 샘플링할 수 있지만 지급 권한과 승인 기록은 샘플링된 문장에서 복원할 수 없습니다. 의도와 감사 outbox를 같은 로컬 트랜잭션에 기록하고 안정된 하위 시스템 멱등 키로 전송할 수 있습니다. 이는 로컬 의도를 보존할 뿐 원격 지급까지 원자적으로 만들지는 않습니다.
응답을 잃으면 작업 ID를 공급자의 권위 있는 상태와 연결하고 관찰 결과를 추가합니다. “전송됨, 결과 불명”을 실제 상태로 유지합니다. 멱등성과 신뢰할 수 있는 상태 조회가 모두 없다면 자동 재시도로 중복 방지를 보장할 수 없으며 사람의 대사가 필요합니다. 영속 의도, 허용된 실행, 확인된 정산을 구분해야 합니다.
13 · 탐지, 억제, 복구로 수명주기 완결
특정 문서 뒤 비허가 제안이 반복되면 단어뿐 아니라 거부 패턴, 연결, 출처로 경보를 만듭니다. 방어가 성공해도 반복은 공격 신호입니다. 정당하게 발급된 자격의 오용에서는 허용되지만 이상한 순서도 조사해야 합니다.
침해된 연결, 위임, 민감 큐, 작업자, 기억을 구체적으로 중지합니다. 파괴적 정리 전 증거를 보존하고 불명 거래를 원장과 대조하며 실제 영향 사용자·테넌트를 식별합니다. 확인 결과와 가능한 노출을 구분합니다. 극적인 대화만으로 유출을 증명할 수 없습니다.
오염된 파생 자료도 제거하고 노출 자격을 교체하며 도구·정책 변경을 검토해 알려진 구성으로 복구합니다. 명확한 기준의 제한된 canary로 재개합니다. 경계를 고치지 않는 금칙어 추가는 과거 문자열만 막습니다.
근거, 권한, 효과의 시간선을 만들고 회귀 사례로 전환합니다. 시작 콘텐츠, 실패 제어, 업무 결과를 분리하며 jailbreak라는 말로 과권한, 객체 검사 누락, 위험한 재시도를 숨기지 않습니다. 수정이 정상 업무를 유지하며 같은 공격군을 막는 이유를 설명합니다.
How the four disciplines fit together
Security determines which actions are permitted. Infrastructure executes work within capacity and failure constraints. Observability preserves evidence of what happened. Evaluation tests whether a change improves the outcome under a declared contract. None substitutes for the others.
메커니즘, 연구, 시장 배경 — 아래 참고 자료는 영어입니다
The following chapters provide the mathematical examples, experiments, research papers and dated company evidence behind the operational story. Return to the lifecycle when deciding where each mechanism belongs.
1. Define the security problem before choosing a product
An enterprise assistant reads a document, drafts a recommendation and calls a tool. Three different systems are involved: a model that predicts useful output, a data system that decides what can be read, and an execution system that decides what may happen. Security fails when one system silently grants authority belonging to another—for example, when text inside an external document is treated as permission to send a confidential file.
Security for AI protects model artifacts, training and retrieval data, applications and agent actions. AI for security uses models to help analysts investigate or respond to attacks. Alignment concerns whether model behavior follows intended goals and constraints; it overlaps with security but is not a replacement for access control. A model can produce a well-intentioned answer while an application exposes the wrong tenant's data.
A threat model names the assets, adversary capabilities, trust boundaries and unacceptable outcomes. Prompt injection occurs when attacker-influenced content redirects the model away from the authorized task. An indirect injection arrives through a document, website or tool response. A confused deputy has legitimate authority but is manipulated into using it for someone else's purpose. These definitions are more useful than treating every unwanted answer as the same kind of jailbreak.
Before this lesson: understand authentication versus authorization. Identifying an agent does not permit every action it proposes. Understand precision versus recall: detecting most attacks can still create too many false alarms. Finally, distinguish a content classifier's probabilistic judgment from a deterministic permission check. The learning goal is to combine them without allowing the model to rewrite its own boundary.
This survey compares disclosed product roles and transactions, not independently measured vendor efficacy. A procurement claim needs tests on the buyer's workflows. A public benchmark needs its own attacker budget, task set, software version and scoring procedure. Neither can be replaced by an acquisition price.
2. A trust-boundary architecture for an agent
Consider an invoice assistant authorized to prepare reminders for one business unit. The model reads invoice content and proposes an action containing an invoice ID, recipient ID and message. The execution service resolves those identifiers against authoritative records, checks that the current principal can act on the invoice, validates the recipient and enforces any required approval. Only the execution service holds the sending credential.
An instruction embedded in the invoice cannot broaden the principal's scope. The model also cannot declare that its own proposal has already been approved. Approval should bind the exact action, resource and relevant parameters, expire when appropriate, and be invalidated when the proposal changes. Retries need idempotency keys so a network timeout does not create duplicate sends. This turns vague “human oversight” into a specific state transition that can be tested.
Logs should record the model and tool versions, proposal, effective identity, policy decision and execution receipt. Protect those logs: copying all prompts and documents into an observability service can create another disclosure path. Minimize retained content and separate access to operational metadata from access to sensitive payloads.
The boundary is useful even when a detector misses malicious text. A model may still produce a bad proposal, but it cannot execute an unauthorized action through the controlled service. This is not a complete guarantee: an overly broad policy, compromised credentials, an unmediated tool or a bug in the executor can bypass the intended design. Test the enforcement path itself.
3. Follow the attack surface across the lifecycle
Model and dependency supply chain
- Failure mechanism
- A model artifact, serializer or dependency can execute code or alter behavior before inference starts.
- Control and residual question
- Inventory and pin artifacts; verify provenance; isolate loading; scan dependencies. A signature authenticates a publisher, not the semantic safety of the model.
Retrieval and memory
- Failure mechanism
- Poisoned content can be retrieved repeatedly or stored as a persistent instruction.
- Control and residual question
- Preserve provenance, enforce tenant filtering before retrieval, bound memory writes and expire untrusted state. How should legitimate corrections differ from poisoned memory?
Multimodal input
- Failure mechanism
- Text, images, audio or layout can carry instructions that survive extraction differently.
- Control and residual question
- Test the whole preprocessing pipeline and modality conversions. A text-only filter does not establish coverage of the original input.
Tool use and delegation
- Failure mechanism
- The agent can misuse a legitimate tool or transfer excessive scope to another agent.
- Control and residual question
- Use explicit identities, least privilege, scoped capabilities, approval gates and revocation. Natural-language intent remains harder to specify than an API permission.
Outputs and data movement
- Failure mechanism
- A response, URL, attachment or log can disclose data to an unauthorized destination.
- Control and residual question
- Check recipients and destinations, apply data policies and minimize secrets in context. A detector’s refusal is not proof that all side channels are closed.
Evaluation and updates
- Failure mechanism
- Repeatedly tuning on known attacks creates benchmark overfitting; an update can invalidate prior defenses.
- Control and residual question
- Separate development and held-out attack families, record versions, test utility regressions and rehearse rollback. An unchanged benchmark score may conceal changed deployment risk.
The difficult cases are often individually plausible steps. Reading a page, summarizing it and saving a note may each be allowed, yet their composition can move confidential information across a boundary. Conversely, blocking every unusual document destroys useful work. A good threat model describes prohibited outcomes, rather than relying only on a list of suspicious phrases.
For an RSI or self-improvement loop, treat new prompts, tools, policies and training data as untrusted candidate changes until independently evaluated. The evaluator must not share writable state with the candidate. A candidate that edits the benchmark, expands its tools or selectively suppresses failures has changed the experiment rather than demonstrated improvement. See the RSI tutorial for promotion gates and provenance.
산업 구도: 제어 지점, 구매자, 경쟁
산업 근거 확인일: 2026년 11월 8일. 제품 문서는 기능 제공을 나타내며 독립 측정 효과를 입증하지 않습니다. 경쟁 구도와 기회는 Token Lab의 분석입니다. 합성 예제는 기업의 실측 결과가 아닙니다.
AI 보안 경계는 누가 통제하는가: 기업, 통합, 방어 가능한 기회
2026년 11월 8일 확인한 11개 기업과 플랫폼의 산업 지도입니다. 제품 문서는 공표된 기능과 배포 경계를 확인할 뿐 비교 성능을 입증하지 않습니다. 상업적 결론은 편집 분석이며 비용 예시는 가정으로 공급업체의 실측 결과가 아닙니다.
시장은 통제 지점을 두고 경쟁한다
AI 보안은 서로 대체 가능한 단일 제품군이 아닙니다. 모델 스캐너는 출시 검사, 게이트웨이는 요청 경로, ID 제공자는 자격 증명, 런타임 센서는 실행, SOC 플랫폼은 조사를 담당합니다. 확보하는 증거와 권한이 다릅니다. 핵심은 실제 주체, 허용된 동작, 특정 리소스, 확인된 결과를 연결하는 제품입니다. 의심스러운 언어를 탐지하는 기능은 유용하지만 인가 시스템은 아닐 수 있습니다. 지속적 가치는 대시보드의 공격 유형 수보다 우회하기 어려운 위치, 유용한 맥락, 운영 책임에서 나온다는 것이 본문의 판단입니다.
참조 아키텍처: 인가된 에이전트 실행 경로
실선은 제안하는 실행 경로입니다. 인증된 요청이 주체와 테넌트를 제공하고 검색 본문은 모델의 참고 자료일 뿐입니다. 모델은 후보 작업을 만들며 신뢰할 수 있는 서비스가 자원을 해석하고 승인을 제공합니다. 집행 지점의 정책 판단을 거쳐야 제한된 실행기가 업무 서비스에 도달합니다. 감사 점선은 권한이 아니라 근거를 전달하며 빨간 거부 경로는 실행되지 않습니다.
자격 증명은 모델 맥락에 넣지 않습니다. 승인을 작업 인자와 자원 버전에 결합하고 민감한 실행 전에 철회를 재확인합니다. 감사는 주체, 정책 버전, 승인과 작업 ID를 하위 시스템 결과에 연결합니다. 영속 outbox는 의도를 보존하지만 독립적인 원격 효과까지 원자적으로 커밋하지 못합니다. 타임아웃에는 멱등성과 권위 있는 상태 대조가 필요합니다. 특정 회사 내부 구조가 아닌 독자적인 참조 설계입니다.
기업과 제품의 위치
선별한 산업 지도이며 시장 점유율 순위나 인증이 아닙니다. 범위는 제품 버전, 통합, 배포 및 집행 모드에 따라 달라집니다.
Palo Alto Networks / Prisma AIRS
- 소유 / 조직
- Palo Alto Networks
- 제어 지점
- 모델 공급망 · 게이트웨이 · 런타임
Prisma AIRS는 모델·아티팩트 검사, 레드팀, 런타임 제어를 제공하고 인수한 Portkey가 게이트웨이 위치를 추가합니다. Protect AI는 이미 계열사이며 CyberArk와 Koi는 ID·엔드포인트 범위를 넓힙니다. 구매자는 보안 공급업체 통합을 원하는 기업입니다. 잠재적 강점은 유통과 여러 통제 지점의 맥락 연결입니다. 그러나 소유권이 같다고 정책 의미와 전체 경로 통제가 통합됐다는 뜻은 아닙니다. 권위 있는 테넌트·사용자·승인이 각 통제에 전달되는 방식과 직접 도구 호출의 우회 방지를 확인해야 합니다.
Prisma AIRS documentation ↗https://docs.paloaltonetworks.com/prisma-airs/getting-started/prisma-airs-overview · FY2026 acquisition disclosures ↗https://www.sec.gov/Archives/edgar/data/1327567/000132756726000023/panw-20260731.htm
Cisco / AI Defense
- 소유 / 조직
- Cisco
- 제어 지점
- 네트워크 · 검증 · 에이전트 ID
AI Defense는 모델 검증, 네트워크에 내장된 런타임 보호, AI 자산, 접근, 공급망 제어를 설명합니다. Robust Intelligence는 인수됐고 Astrix는 비인간 ID, Galileo는 AI 관측 능력을 추가합니다. 기존 Cisco/Splunk 관계를 통해 네트워크에서 ID와 조사로 확장하는 전략입니다. 범위는 토폴로지에 달려 있어 네트워크 검사가 로컬·별도 경로 실행을 자동 통제하지 않습니다. 작동하는 통합, 복호화 위치, 특권 동작이 실제 사용하는 ID, 애플리케이션 고유 리소스 인가의 위치를 확인해야 합니다.
AI Defense capabilities ↗https://www.cisco.com/site/us/en/products/security/ai-defense/index.html · Astrix acquisition completion update ↗https://blogs.cisco.com/news/cisco-announces-intent-to-acquire-astrix-security · Galileo acquisition completion ↗https://www.cisco.com/site/us/en/about/corporate-development/acquisitions/galileo/index.html
CrowdStrike / Pangea
- 소유 / 조직
- CrowdStrike
- 제어 지점
- 프롬프트 원격 측정 · 엔드포인트 · SOC
Pangea AI Guard는 탐지 내용을 보고·차단·수정할 수 있고 AIDR는 AI 활동을 보안 업무에 연결합니다. CrowdStrike는 Kubernetes 프롬프트 계층 수집도 설명하며 2026년 9월 엔드포인트 중심 Falcon Guardian을 발표했습니다. 자연스러운 구매자는 Falcon을 쓰는 SOC입니다. AI 상호작용을 프로세스, 파일 접근, 외부 연결과 연계하는 것이 가치입니다. 수집과 효과 발생 전 차단, 발표와 확인된 제공 상태를 구별해야 합니다. 원격 도구 차단 범위와 엔드포인트 관측 밖의 업무 승인 집행을 질문해야 합니다.
AI Guard API behavior ↗https://pangea.cloud/docs/ai-guard/overview · AI detection and response ↗https://www.crowdstrike.com/en-us/solutions/ai-detection-and-response/ · Falcon Guardian announcement ↗https://www.crowdstrike.com/en-us/press-releases/crowdstrike-unveils-falcon-guardian-ai-agent-security/
Check Point / Lakera
- 소유 / 조직
- Check Point
- 제어 지점
- 의미 기반 가드레일 · 에이전트 상태
Check Point AI Agent Security 문서는 명시적으로 조기 접근 단계라고 합니다. 발견과 설정 위험 평가는 상태 관리이며 런타임 보호는 Guard API를 사용합니다. 플랫폼 네이티브 런타임 통합은 로드맵에 남아 있습니다. 개발자는 런타임 계층만 구매할 수 있고 Check Point는 기업 유통을 제공합니다. 이것은 보편적인 네이티브 집행을 증명하지 않습니다. 문서도 ID·클라우드·네트워크 제어를 별도 아키텍처 책임으로 둡니다. 전체 수명 주기 도식보다 각 커넥터와 API 연결을 확인해야 합니다.
Agent Security scope and early-access status ↗https://docs.lakera.ai/docs/agent-security
SentinelOne / Prompt Security
- 소유 / 조직
- SentinelOne
- 제어 지점
- 직원 AI · 코딩 도우미 · MCP
Prompt Security는 SentinelOne을 직원 AI 사용, 민감 데이터 공유, 에이전트 상호작용으로 확장하고 접점에서 정책을 적용합니다. 직원이 이미 챗봇과 코딩 도우미를 쓰므로 자체 에이전트 개발 전에도 수요가 생깁니다. 기존 엔드포인트 관계가 판매를 돕지만 관리 브라우저와 백엔드 에이전트 집행은 별도 배포입니다. 비관리 장치, 로컬 모델, 지원 도우미, 자격 증명 도구, 우회 경로를 확인해야 합니다. 알려진 MCP 서버가 많아도 호출별 업무 인가나 모든 도구 버전 지원을 입증하지 않습니다.
Prompt Security acquisition rationale and capabilities ↗https://www.sentinelone.com/press/sentinelone-to-acquire-prompt-security-to-advance-genai-security/ · Current platform ↗https://www.sentinelone.com/platform/securing-ai-prompt/
HiddenLayer
- 소유 / 조직
- HiddenLayer
- 제어 지점
- AI 공급망 · 공격 시뮬레이션 · 런타임
HiddenLayer는 공급망 스캔, 공격 시뮬레이션, 운영 런타임 보호를 구분하며 2026년 8월 네이티브 후크를 이용한 코딩 에이전트 하네스 보안을 발표했습니다. 민감 모델과 이기종 배포 환경을 가진 조직에 맞는 전문성입니다. AI 특화 적대적 연구와 출시 흐름 통합이 해자 가설입니다. 지원 형식, 공격 유형, 오탐, 우회 조건으로 검증해야 합니다. 에이전트 불필요·학습 데이터 불필요 주장은 모듈별로 해석해야 하며 모든 계측이 불필요하다는 뜻이 아닙니다. 아티팩트 검사는 학습 데이터 무오염이나 후속 동작의 인가를 증명하지 않습니다.
Platform modules ↗https://www.hiddenlayer.com/platform · Agent harness announcement ↗https://www.hiddenlayer.com/newsroom
Noma Security
- 소유 / 조직
- Noma Security
- 제어 지점
- AI 상태 · 접근 · 세션 동작
Noma는 AI-SPM, 접근 제어, 런타임 탐지·대응, 레드팀을 결합합니다. 문서는 세션·ID·데이터·기준 동작 맥락과 기존 게이트웨이·후크의 감시·경고·차단·마스킹을 설명합니다. 개별 호출은 정상이나 전체 순서가 위험한 경우를 찾는 것이 차별화 가설입니다. CISO와 플랫폼 팀의 공동 배포가 필요합니다. 하위 에이전트의 ID 연속성, 이벤트 누락, 동시 세션, 지연 결과를 검증해야 합니다. 자연어 가드레일은 검증된 인가 정책과 같지 않습니다. 행동 점수는 증거지만 테넌트·리소스·예산 상태는 신뢰할 출처가 필요합니다.
Platform control layers ↗https://noma.security/platform · Runtime enforcement and context ↗https://noma.security/platform/runtime-protection/
Upwind
- 소유 / 조직
- Upwind
- 제어 지점
- 클라우드 워크로드 · 런타임 맥락 · AI 센서
Upwind는 클라우드 상태, 워크로드 원격 측정, AI 활동을 연결하고 에이전트 명령·스킬 맥락을 검사합니다. 진입점은 동작이 실제로 발생하는 프로세스, 자격 증명, 데이터 저장소, 외부 전송입니다. 실제 위험에 따른 복구 우선순위가 필요한 클라우드 보안·플랫폼 구매자에게 적합합니다. 위협 조사에 쓰는 AI와 고객 AI를 보호하는 제어를 구분해야 합니다. 센서와 에이전트 없는 대안의 범위가 다릅니다. 실행 전 차단, 의도의 정책 전달, 사람 승인이 필요한 복구를 확인해야 합니다. 관측만으로 업무 인가가 되지 않습니다.
Cloud and AI runtime architecture ↗https://www.upwind.io/feed/upwind-ai-security-securing-your-ai-stack-from-the-inside-out · Agent context scanning ↗https://www.upwind.io/feed/announcing-the-upwind-ai-context-scanner-securing-ai-agents-instructions-skills-and-model-context
Microsoft / Entra, Defender, Purview
- 소유 / 조직
- Microsoft
- 제어 지점
- ID · 데이터 거버넌스 · 기업 에이전트
Entra Agent ID는 에이전트 ID를 제공하고 Agent 365 보안은 Entra·Defender·Purview를 연결하며 Purview는 데이터 보호·준수를 담당합니다. 기존 직원, 문서, 관리자 흐름을 갖춘 Microsoft는 유통과 맥락이 전략 자산입니다. 독립 자산 목록·기본 정책 제품에 압박이 될 수 있습니다. 하지만 ID 등록이 모든 도구의 실제 사용을 증명하지는 않습니다. 라이선스, 지원 플랫폼, 위임·앱 권한, 철회, 테넌트 간 접근, Microsoft 밖 동작을 확인해야 합니다. 기존 환경은 통합 장점이지 한 설정으로 모든 자율 업무를 보호한다는 증거가 아닙니다.
Agent identities ↗https://learn.microsoft.com/en-us/entra/agent-id/what-are-agent-identities · Agent 365 security architecture ↗https://learn.microsoft.com/en-us/security/security-for-ai/agent-365-security · Agent data governance ↗https://learn.microsoft.com/en-us/purview/ai-agents
Google Cloud / Model Armor, Wiz
- 소유 / 조직
- 제어 지점
- 콘텐츠 경로 · 클라우드 위험 맥락
Model Armor는 프롬프트·응답·문서의 주입과 민감 데이터 위험을 검사합니다. 문서는 검사만 하는 동작과 Google Cloud MCP 경로를 포함한 집행 통합을 구분합니다. 2026년 3월 인수한 Wiz는 클라우드 맥락을 추가하지만 범용 에이전트 인가 서비스는 아닙니다. Google은 관리형 AI와 인프라 구매에 통제를 붙일 수 있습니다. 일부 지역의 특정 비영어 검사에서 탐지가 생략된다고 문서가 설명하므로 지역·언어를 확인해야 합니다. 경고 기록은 차단이 아니며 리소스 IAM, 테넌트 격리, 정확한 업무 승인은 별도 책임입니다.
Model Armor deployment modes ↗https://docs.cloud.google.com/model-armor/overview · Language and regional detection boundaries ↗https://docs.cloud.google.com/model-armor/sanitize-prompts-responses · Wiz acquisition completed ↗https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/wiz-acquisition/
AWS / Bedrock AgentCore
- 소유 / 조직
- AWS
- 제어 지점
- 도구 게이트웨이 · 결정적 인가
AgentCore Policy는 ID와 도구 입력 조건을 포함해 Cedar로 세밀한 도구·리소스 인가를 수행합니다. 실행에 가까운 위치에서 확률적 콘텐츠 탐지를 대체하지 않고 보완합니다. AWS에 배포하거나 AgentCore Gateway로 도구를 일관되게 연결하는 팀에 적합합니다. 클라우드 ID와 운영 도구 재사용이 경제적 장점일 수 있습니다. 그러나 엔진의 권위는 입력에 달려 있어 모델이 만든 ID, 우회 경로, 누락된 테넌트 검사를 고치지 못합니다. 상태 기반 예산, 멱등성, 승인 결합, 불확실한 외부 결과는 애플리케이션 설계가 필요합니다.
Policy control boundary ↗https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/policy.html · Cedar design rationale ↗https://aws.amazon.com/blogs/security/why-policy-in-amazon-bedrock-agentcore-chose-cedar-for-securing-agentic-workflows/
청구서 흐름에서 공격을 추적하기
공급업체 PDF가 청구서 에이전트에게 수취 계좌 변경을 요구한다고 합시다. 검색 ACL은 직원의 문서 열람 권한을 결정할 뿐 그 안의 명령을 신뢰할 근거가 아닙니다. 콘텐츠 필터는 주입을 탐지하고 ID와 게이트웨이는 위임된 도구를 제한합니다. 결제 서비스는 별도로 승인을 테넌트, 수취인, 금액, 통화, 청구서 버전에 결합하고 중복 효과를 막아야 합니다. 엔드포인트·클라우드 센서는 비정상 프로세스와 외부 전송을 탐지하고 감사는 판단과 확정 결과를 연결합니다. 탐지가 놓쳐도 후속 경계가 피해를 제한해야 합니다. 백엔드가 위조 승인을 허용하면 탐지에 성공해도 안전하지 않습니다.
기술 핵심: 정책 판단과 집행 분리
정책 결정 지점(PDP)은 신뢰할 수 있는 주체, 테넌트, 작업, 자원과 현재 상태를 평가합니다. 정책 집행 지점(PEP)은 실제 작업을 가로채 결정을 적용합니다. 재시도와 백그라운드 작업도 보호 대상에 도달하려면 집행 지점을 지나야 합니다. 프롬프트 분류기는 위험 신호를 제공하지만 신원이나 권한을 발급하지 않습니다. 신원 플랫폼, 콘텐츠 보호와 게이트웨이가 서로 보완하면서도 대체할 수 없는 이유입니다.
허용 결정은 실행 전에 낡을 수 있습니다. 승인을 정확한 작업과 자원 버전에 결합하고 가능한 경우 조건부 쓰기나 트랜잭션을 사용합니다. 인가 의존 서비스가 중단되면 민감한 작업은 명시된 거부 또는 보류 정책을 따라야 하며 모델 판단으로 조용히 전환하면 안 됩니다. 게이트웨이가 별도 원격 서비스 내부의 원자성을 보장할 수는 없습니다. 누가 이 통합 공백을 책임지는지가 사업적으로도 중요합니다.
가상의 구매 판단: 탐지와 업무 방해를 함께 계산하기
월 100만 작업 중 100개가 악성이라고 가정합니다. 탐지율 90%, 정상 작업 오탐률 0.1%이면 악성 90개와 정상 약 1,000개가 경고되어 진양성 비율은 약 8.3%입니다. 건당 5분 검토하면 사고 대응 전 검토만 약 91인시입니다. 이는 가상의 교육용 입력이지 제품 벤치마크가 아닙니다. 구매 가치가 있을 수 있지만 기대 손실, 차단된 정상 업무, 범위, 지연, 검토 비용, 억제 능력도 고려해야 합니다. 발생 기저율과 운영 임계값 없이 탐지 비율만 비교하면 경제적 비용이 가려집니다.
방어 가능한 기회가 남아 있는 영역
어려운 과제는 로컬·원격 에이전트의 모든 경로 통제, 위임 과정의 ID 연속성, 장기 작업 중 권한 철회, 원자적 예산, 멱등성, 불확실한 결과의 대사입니다. 여러 턴의 의도, 메모리 오염, 도구 결과 출처도 단일 프롬프트 분류를 넘어섭니다. 신규 기업은 범위가 좁고 손실이 큰 실패를 선택하고 실제 집행 책임자를 찾아 현실적인 정상 트래픽에서 개선을 증명해야 합니다. 구매자는 원격 측정 누락, 미지원 언어, 후크 우회, 정책 장애, 복구 증거를 요구해야 합니다. 경쟁 단위는 스캔 횟수가 아니라 신뢰성 있게 통제된 업무입니다. 이는 검증할 가설이지 특정 기업의 승리를 예언하는 말이 아닙니다.
인수, 자본, 전략적 영향
통합: 계약과 인수 완료를 구별하기
Protect AI는 2025년 7월 22일 Palo Alto Networks, Pangea는 9월 26일 CrowdStrike, Prompt Security는 9월 5일 SentinelOne, Lakera는 10월 22일 Check Point에 인수 완료됐습니다. 독립 스타트업 경쟁자로 분류하면 안 됩니다. 2026년 Palo Alto는 4월 30일 계획을 발표한 Portkey 인수를 5월 29일 완료했습니다. Cisco는 Galileo를 5월 22일, Astrix를 6월 29일 완료했고 Google은 Wiz를 3월 11일 완료했습니다. 이 날짜는 소유권을 증명하지만 제품 통합 완료를 뜻하지 않습니다. 유통, ID, 원격 측정, 실행 통제를 결합하는 전략의 실제 통합 품질은 별도 검증이 필요합니다.
자본은 확장 신호이지 해자의 증거가 아니다
기업 발표에 따르면 HiddenLayer는 2026년 9월 2일 1억 달러 시리즈 B, Noma는 2025년 7월 31일 1억 달러 시리즈 B, Upwind는 2026년 10월 28일 4억 달러 시리즈 C를 조달했습니다. 이는 투자금이지 매출이나 시장 점유율이 아닙니다. 전문 기업은 클라우드나 보안 제품에 포함된 기능 외에 추가 지불할 이유를 증명해야 합니다. 어려운 통합, 적대적 연구, 환경 간 확실한 집행, 업무 흐름 통제가 그 예입니다. 대형 플랫폼도 ID, 애플리케이션 상태, 원격 결과 사이에 빈틈이 있을 수 있습니다. 투자액과 인수 완료만으로 실행 품질을 판단할 수 없습니다.
제품 및 거래의 1차 출처
- Protect AI acquisition completed ↗https://investors.paloaltonetworks.com/news-releases/news-release-details/palo-alto-networks-completes-acquisition-protect-ai ·
- Pangea acquisition closing disclosed in annual filing ↗https://www.sec.gov/Archives/edgar/data/1535527/000153552726000010/crwd-20260131.htm ·
- Prompt Security transaction completed ↗https://www.sec.gov/Archives/edgar/data/1583708/000110465925088079/tm2525181d1_8k.htm ·
- Lakera acquisition accounting disclosure ↗https://www.sec.gov/Archives/edgar/data/1015922/000117891326001932/R11.htm ·
- Portkey acquisition completed ↗https://investors.paloaltonetworks.com/news-releases/news-release-details/palo-alto-networks-completes-acquisition-portkey-secure-ai ·
- Astrix acquisition: completed update ↗https://blogs.cisco.com/news/cisco-announces-intent-to-acquire-astrix-security ·
- Galileo acquisition completed ↗https://www.cisco.com/site/us/en/about/corporate-development/acquisitions/galileo/index.html ·
- Google completes Wiz acquisition ↗https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/wiz-acquisition/ ·
- HiddenLayer Series B announcement ↗https://www.hiddenlayer.com/news/hiddenlayer-100m-series-b-ai-security ·
- Noma Series B announcement ↗https://noma.security/blog/noma-security-raises-100m-to-drive-adoption-of-ai-agent-security ·
- Upwind Series C announcement ↗https://www.upwind.io/blog/the-next-wave-is-here-upwinds-400m-series-c-to-build-the-cloud-ai-security-platform ·
- Prisma AIRS documentation ↗https://docs.paloaltonetworks.com/prisma-airs/getting-started/prisma-airs-overview ·
- FY2026 acquisition disclosures ↗https://www.sec.gov/Archives/edgar/data/1327567/000132756726000023/panw-20260731.htm ·
- AI Defense capabilities ↗https://www.cisco.com/site/us/en/products/security/ai-defense/index.html ·
- AI Guard API behavior ↗https://pangea.cloud/docs/ai-guard/overview ·
- AI detection and response ↗https://www.crowdstrike.com/en-us/solutions/ai-detection-and-response/ ·
- Falcon Guardian announcement ↗https://www.crowdstrike.com/en-us/press-releases/crowdstrike-unveils-falcon-guardian-ai-agent-security/ ·
- Agent Security scope and early-access status ↗https://docs.lakera.ai/docs/agent-security ·
- Prompt Security acquisition rationale and capabilities ↗https://www.sentinelone.com/press/sentinelone-to-acquire-prompt-security-to-advance-genai-security/ ·
- Current platform ↗https://www.sentinelone.com/platform/securing-ai-prompt/ ·
- Platform modules ↗https://www.hiddenlayer.com/platform ·
- Agent harness announcement ↗https://www.hiddenlayer.com/newsroom ·
- Platform control layers ↗https://noma.security/platform ·
- Runtime enforcement and context ↗https://noma.security/platform/runtime-protection/ ·
- Cloud and AI runtime architecture ↗https://www.upwind.io/feed/upwind-ai-security-securing-your-ai-stack-from-the-inside-out ·
- Agent context scanning ↗https://www.upwind.io/feed/announcing-the-upwind-ai-context-scanner-securing-ai-agents-instructions-skills-and-model-context ·
- Agent identities ↗https://learn.microsoft.com/en-us/entra/agent-id/what-are-agent-identities ·
- Agent 365 security architecture ↗https://learn.microsoft.com/en-us/security/security-for-ai/agent-365-security ·
- Agent data governance ↗https://learn.microsoft.com/en-us/purview/ai-agents ·
- Model Armor deployment modes ↗https://docs.cloud.google.com/model-armor/overview ·
- Language and regional detection boundaries ↗https://docs.cloud.google.com/model-armor/sanitize-prompts-responses ·
- Policy control boundary ↗https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/policy.html ·
- Cedar design rationale ↗https://aws.amazon.com/blogs/security/why-policy-in-amazon-bedrock-agentcore-chose-cedar-for-securing-agentic-workflows/ ·
Source and maintenance notes
Primary links are placed beside the claims they support. Acquisition amounts retain their original basis; undisclosed values remain undisclosed. Product specifications and release statements are vendor disclosures, not comparative evidence from Token Lab. The diagrams and reference calculations are original educational material. Corrections should identify the section, source and proposed replacement; a source-access date is not a paper publication date.
All frontier research · Top Company Frontier · Editorial standards
실습과 검증
14 · 공격과 정상 효용을 함께 검증
두 테넌트 합성 청구서, mock 도구, 가짜 지급 원장으로 로컬 환경을 만듭니다. 정상 흐름을 유지하고 검색, 자격, 승인, 송신, 감사 중 한 경계만 바꿉니다. 공격 입력, 금지 효과, 집행 위치, 성공해야 할 정상 결과를 정의합니다.
무단 읽기·공개·상태 변경 등 실제 효과로 점수화하고 무서운 문장만 성공으로 보지 않습니다. 정상 효용, 오거부, 지연, 비용과 시도·작업·페이로드·세션 중 분모를 밝힙니다. 작은 선정 집합의 무실패는 운영 위험 제로가 아니며 상관 변형은 독립 증거가 아닙니다.
정상 인용 지시, 재시도, 승인된 계좌 변경, 보통 링크를 음성 대조로 넣습니다. 적응 공격에 제한 피드백을 줘도 최종 집합은 개발에서 격리합니다. 예산을 맞추고 비싼 판정 열 번과 저렴한 검사 한 번의 차이를 순수 알고리즘 개선으로 보지 않습니다.
동적 도구 구성에서도 이해할 정책, 과잉 저장 없는 출처 보존, 그럴듯한 이야기와 유효한 개입을 구분하는 감사를 연구합니다. 단순 결정 기준과 비교하고 실패를 공개합니다. 목표는 전 수명주기 안전 논증이지 만능 보장이 아닙니다.
실습: 용어를 넘어 아키텍처 설명하기
다음은 자체 제작한 연습 문제이며 기업의 실제 면접 문제가 아닙니다. 답을 열기 전에 신뢰 경계를 그리고 이를 강제하는 구성 요소를 지정하세요.
모델이 PDF의 주입 지시를 거절했습니다. 결제 흐름은 안전한가요?
힌트: 실제로 결제를 실행할 수 있는 구성 요소를 찾으세요.
답과 분석 보기
거절만으로 판단할 수 없습니다. 한 번 관찰한 동작일 뿐입니다. 결정적인 인가, 승인 결합, 도구 자격 증명을 확인하세요. 악성 제안도 같은 인가 관문을 통과시키고 금지된 원장 효과가 발생하지 않는지 검증해야 합니다. 정상 결제의 완료도 확인해야 하며 한 번의 거절이 일반적인 안전성을 보장하지 않습니다.
모델 API 키와 사용자 위임 토큰은 어떻게 다른가요?
힌트: 추론 접근 권한과 업무 자원 권한을 구분하세요.
답과 분석 보기
API 키는 추론 호출을 허용합니다. 위임 토큰은 업무 동작의 주체, 대상, 범위, 유효 기간을 제한합니다. 둘 다 모델 문맥에 넣지 않습니다. 수신 대상, 객체 수준 인가, 만료를 검증해야 합니다. 추론 키를 보유했다고 업무 권한이 생기지는 않습니다.
공급자 A에게100달러 결제를 승인했지만 실행 전 계좌가 바뀌었습니다. 어떻게 하나요?
힌트: 승인된 동작과 현재 자원 버전을 비교하세요.
답과 분석 보기
정책에 따라 거부하거나 재승인을 받습니다. 정규화된 동작 필드와 관련 자원 버전에 승인을 결합하고 실행 시 원자적으로 확인합니다. 확인 후 보호 없이 쓰면 경쟁 조건이 생깁니다.
결제 요청 후 도구가 타임아웃되었습니다. 에이전트가 재시도해도 되나요?
힌트: 타임아웃이 미실행을 입증하지는 않습니다.
답과 분석 보기
안정적인 작업 ID와 멱등 키를 사용하고 권위 있는 기록과 대사합니다. 서버가 해당 멱등 의미를 보장할 때만 같은 결합된 요청을 재시도합니다. 그렇지 않으면 결과 미확정 상태를 유지하고 상위 처리로 넘깁니다. 새 키는 중복 결제를 만들 수 있습니다.
서명된 영수증이 결제 완료를 말합니다. 무엇을 입증하나요?
힌트: 무결성, 인가, 업무 사실을 구분하세요.
답과 분석 보기
키의 신뢰 가정 아래 해당 키 보유자가 그 바이트를 발행했음을 나타냅니다. 기록의 완전성, 올바른 인가, 실제 정산을 단독으로 입증하지는 않습니다. 정책 결정, 승인, 독립 원장을 연결하고 누락되거나 모순되는 증거를 처리합니다.
채점 기준: 1점은 위험 지적, 2점은 신뢰 경계 정의, 3점은 신원·동작·자원 검사를 수행하는 구성 요소 지정, 4점은 정상 및 공격 사례의 실제 효과 검증, 5점은 동시성·철회·증거 공백·잔여 위험 설명입니다.
종합 과제: 정확한 승인, 문서 주입, 실행 타임아웃, 재구성 가능한 감사를 포함한 로컬2테넌트 청구서 시뮬레이터를 만드세요. 금지 동작 방지와 정상 완료를 입증하고 운영 환경과의 차이를 기록하세요.
실습: 각 신뢰 경계 검증
같은 정상 업무에 합성 사례를 실행하고 문장뿐 아니라 백엔드와 감사를 봅니다.
신원: 같은 ID, 소속 철회, 테넌트 변조로 범위를 넘지 않아야 합니다.
모델·공급망: 정상·의심 버전을 같은 조건으로 비교하고 잘못된 형식, 과대 출력, 미등록 도구, 시간초과를 처리합니다.
검색: 주입이 권한을 만들지 않으며 정상 인용과 특이 서식은 사용할 수 있어야 합니다.
위임: 잘못된 audience, scope 누락, 만료, 하위 권한 확대를 거부합니다.
승인: 1센트, 통화, 목적지, 리비전 변경, 만료, 철회로 무단 커밋이 생기면 안 됩니다.
실행: 금지 목적지·경로·자원 고갈을 제한하며 정상 첨부는 처리합니다.
재시도: 중복, 응답 유실, 재시작을 원장과 대조해 의도치 않은 중복 효과를 막습니다.
기억: 테넌트 누출, 요약에 남은 주입, 원본 삭제 후 위험 파생물을 검사합니다.
감사: 누락, ID 불일치, 위조 결과, 저장 장애가 선언된 실패 동작을 유발해야 합니다.
공격 차단과 정상 효용, 신원에 대한 잔여 신뢰, 동시성 경계, 사람 대사 필요 상황을 보고하며 전역 원자성을 약속하지 않습니다.
Run the authority boundary, not just a prompt
The model can propose an Action. The application supplies the trusted Grant, approval record, clock and stable operation key. This simulator checks their relationship before a ledger write. It also rejects a second payment under a different retry key. All records are synthetic and in memory; there is no network, credential or payment service.
Python 3.10+, standard library, deterministic: download agent-authority.py.
python3 agent-authority.py"""Offline policy-and-receipt simulator, Python 3.10+, standard library only.
Not production IAM, a payment API, or a cryptographic audit implementation.
The caller is trusted test code. Untrusted model output supplies Action only.
"""
from dataclasses import dataclass, replace
from hashlib import sha256
import json
@dataclass(frozen=True)
class Action:
tenant: str
invoice: str
revision: int
payee: str
cents: int
operation: str = 'pay'
@dataclass(frozen=True)
class Grant:
user: str
tenant: str
audience: str
invoice: str
max_cents: int
expires: int
revision: int
def digest(action):
return sha256(json.dumps(action.__dict__, sort_keys=True,
separators=(',', ':')).encode()).hexdigest()
class Ledger:
def __init__(self):
self.commits = {} # durable and transactional in a real implementation
self.events = []
self.revoked = set()
self.audit_available = True
self.invoice_revision = 4
def execute(self, action, grant, approval, key, now):
"""approval is a trusted approval-service record, not model text.
Single-threaded transaction simulation; no exactly-once network claim.
"""
reason = None
if grant.user in self.revoked: reason = 'revoked'
elif now >= grant.expires: reason = 'expired'
elif grant.audience != 'ledger': reason = 'audience'
elif action.tenant != grant.tenant: reason = 'tenant'
elif action.invoice != grant.invoice: reason = 'resource'
elif action.operation != 'pay': reason = 'operation'
elif type(action.cents) is not int or not 0 < action.cents <= grant.max_cents: reason = 'amount'
elif action.revision != self.invoice_revision or grant.revision != self.invoice_revision: reason = 'stale_revision'
elif approval != digest(action): reason = 'approval_binding'
elif not self.audit_available: reason = 'audit_unavailable'
elif key in self.commits:
if self.commits[key]['digest'] != digest(action): reason = 'idempotency_conflict'
else: return self.commits[key] # same receipt, no second write
if reason is None and any(r['invoice'] == action.invoice and r['tenant'] == action.tenant for r in self.commits.values()):
reason = 'already_settled'
if reason:
self.events.append({'state': 'denied', 'reason': reason})
return {'state': 'denied', 'reason': reason}
receipt = {'state': 'committed', 'digest': digest(action), 'key': key,
'actor': grant.user, 'tenant': grant.tenant,
'invoice': action.invoice, 'revision': action.revision, 'policy': 'teaching-v1'}
# In production: commit effect and durable audit/outbox atomically,
# or use downstream idempotency + reconciliation; this is in-memory.
self.commits[key] = receipt
self.events.append(dict(receipt))
return receipt
action = Action('tenant-a', 'inv-7', 4, 'supplier-42', 5000)
grant = Grant('user-1', 'tenant-a', 'ledger', 'inv-7', 10000, 100, 4)
approval = digest(action)
ledger = Ledger()
assert ledger.execute(action, grant, approval, 'op-1', 50)['state'] == 'committed'
assert ledger.execute(action, grant, approval, 'op-1', 51)['state'] == 'committed'
assert len(ledger.commits) == 1
assert ledger.execute(action, grant, approval, 'different-key', 51)['reason'] == 'already_settled'
assert ledger.execute(replace(action, tenant='tenant-b'), grant, approval, 'op-2', 50)['reason'] == 'tenant'
assert ledger.execute(replace(action, payee='attacker'), grant, approval, 'op-2', 50)['reason'] == 'approval_binding'
assert ledger.execute(replace(action, cents=10001), grant, approval, 'op-2', 50)['reason'] == 'amount'
assert ledger.execute(action, replace(grant, audience='search'), approval, 'op-2', 50)['reason'] == 'audience'
assert ledger.execute(action, grant, approval, 'op-2', 100)['reason'] == 'expired'
ledger.invoice_revision = 5
assert ledger.execute(action, grant, approval, 'op-2', 50)['reason'] == 'stale_revision'
ledger.invoice_revision = 4
ledger.audit_available = False
assert ledger.execute(action, grant, approval, 'op-2', 50)['reason'] == 'audit_unavailable'
ledger.audit_available = True
ledger.revoked.add('user-1')
assert ledger.execute(action, grant, approval, 'op-2', 50)['reason'] == 'revoked'
assert len(ledger.commits) == 1
print('13 checks passed: approval, tenant, audience, budget, revision, expiry, audit, revocation and replay.')
print('One committed effect. Model-proposed changes cannot expand the trusted grant.')
13 checks passed: approval, tenant, audience, budget, revision, expiry, audit, revocation and replay.
One committed effect. Model-proposed changes cannot expand the trusted grant.Production gaps: a digest is not a signature. Real approval records need authenticated issuance, approver authority, expiry and replay controls. Validate tokens cryptographically; use a transactional database, concurrency controls, authoritative invoice state, downstream idempotency and reconciliation. This single-threaded example does not prove exactly-once delivery or tamper-proof audit storage.
6. Data that actually tells us something
AgentDojo provides a concrete research substrate: 97 tasks and 629 security test cases involving tool-using agents. The original arXiv submission was June 19, 2024; this survey pins v3, November 24, 2024, whose revision notes include an implementation bug fix and travel-suite changes. Paper abstracthttps://arxiv.org/abs/2406.13352v3 · PDFhttps://arxiv.org/pdf/2406.13352v3 · Author codehttps://github.com/ethz-spylab/agentdojo. Those counts describe a benchmark, not the prevalence of attacks in customer deployments.
Three distinct quantities are needed. Clean utility measures completion without attack. Attack success measures a defined attacker objective under a specified opportunity and budget. Defended utility measures legitimate completion with the defense present. Report all three. An agent that cannot complete a banking task in the clean condition may also fail to execute the injected action; that is not necessarily a successful defense.
Denominators must be explicit. Was success counted per attack attempt, per task, or after the adversary tried many candidates and selected the best? Did the attacker see the defense or query its feedback? Was tool execution inspected, or only the final natural-language answer? A refusal message can accompany an earlier unauthorized tool call. A screenshot of a safe-looking answer is weak evidence about the full trajectory.
Assume 100,000 requests, an attack prevalence of 0.1%, a true-positive rate of 95%, and a false-positive rate of 1%. Expected counts are 95 true alerts, 999 false alerts and five missed attacks. Only 8.68% of alerts correspond to malicious requests. A seemingly small false-positive rate can overwhelm operations when attacks are rare.
Here π is attack prevalence, r is true-positive rate and f is false-positive rate. These are probabilities, not percentages entered as whole numbers. The formula follows by dividing expected true positives by all expected positive predictions. It does not imply that deployment prevalence is known or that adaptive attacks remain distributed like test samples.
Local false-alarm experiment
95 true alerts; 999.0 false alerts; alert precision 8.68%.
Population, prevalence and recall stay fixed at the stated teaching assumptions. No inputs leave your browser.
Download security-base-rate.py. Python 3.10+, standard library only; deterministic arithmetic, no random seed, network requests or model API. Run python3 security-base-rate.py.
"""Expected counts in a synthetic population, not vendor performance."""
from math import isclose
def audit(n, prevalence, tpr, fpr):
if not isinstance(n, int) or isinstance(n, bool) or n <= 0:
raise ValueError('n must be a positive integer')
if not all(0 <= x <= 1 for x in (prevalence, tpr, fpr)):
raise ValueError('Rates must be in [0, 1]')
tp = n * prevalence * tpr
fn = n * prevalence * (1 - tpr)
fp = n * (1 - prevalence) * fpr
tn = n * (1 - prevalence) * (1 - fpr)
precision = tp / (tp + fp) if tp + fp else None
return tp, fp, fn, tn, precision
if __name__ == '__main__':
tp, fp, fn, tn, precision = audit(100000, .001, .95, .01)
assert isclose(tp, 95)
assert isclose(fp, 999)
assert isclose(fn, 5)
assert isclose(tp + fp + fn + tn, 100000)
assert isclose(precision, 95/1094)
assert audit(100, 0, 1, 0)[4] is None
assert audit(100, 1, 1, 0)[4] == 1
try:
audit(100, -.1, .95, .01)
except ValueError:
pass
else:
raise AssertionError('Invalid rate accepted')
print(f'TP={tp:.0f}, FP={fp:.0f}, FN={fn:.0f}, TN={tn:.0f}')
print(f'Alert precision={100*precision:.2f}%')
print('8 checks passed')
Expected output:
TP=95, FP=999, FN=5, TN=98901
Alert precision=8.68%
8 checks passedBefore reducing f to 0.1%, predict the outcome: false alerts become 99.9 and precision approximately 48.74% if recall is unchanged. In a real detector, changing the threshold generally changes recall too. The calculator isolates the arithmetic; it is not a threshold-tuning algorithm. A missed low-impact test attack and an unauthorized high-value transaction also have different costs.
7. Build a fair security evaluation
Start with a workflow inventory and concrete forbidden outcomes: sending data to a non-owner, accessing another tenant's record, running an unapproved command, or changing an authorization policy. Define the adversary's entry point and budget. A user who directly owns the account and a third party controlling one retrieved page are different adversaries; do not mix their results.
Maintain a clean task set with validated expected outcomes. Create attack families on separate development fixtures and freeze a held-out set before tuning. Include benign text that resembles an attack, multiple languages, long contexts, interrupted tool sequences and malicious content that appears only after an initial harmless step. Track software and policy versions so that a changed score can be attributed to an intervention.
Use four baselines: the original agent; a detector-only variant; a deterministic tool-policy gate; and their combination. Keep model, tools, tasks, allowed scopes and attack budgets fixed. Measure forbidden actions, clean success, defended success, false blocks, latency, cost and coverage of action paths. An ablation must not give one system fewer privileges or easier tasks without acknowledging the change.
Inspect complete traces. Validate tool arguments and actual side effects, not the model's description of them. Verify that denied actions did not execute, then verify that permitted actions still complete. Include timeouts, retries, expired approvals and revocation during a multi-step run. An observer that alerts after a transfer is a detective control; it is not preventive enforcement.
Repeat stochastic model runs and report uncertainty. Group results by task family to expose correlated failures. Repeated attempts against one template do not supply the same evidence as independent families. For zero observed violations, use a confidence bound with explicit assumptions; see the alignment evidence tutorial. Never turn 0/n into a promise of zero future risk.
8. Original interview practice and engineering decisions
These are original simulations, not verified questions from the companies discussed. Answer with a threat model and an observable test, not a list of product names.
1. Why can 95% attack recall still create an unusable alert queue?
First hint: Use prevalence and the benign population as well as recall.
Answer and analysis
At 0.1% prevalence in 100000 requests, there are 100 malicious and 99900 benign cases. A 1% false-positive rate creates 999 false alerts, exceeding 95 true alerts. Discuss triage cost, threshold trade-offs and the uncertainty of the prevalence estimate.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
2. Why does an ethical explanation not authorize a tool call?
First hint: Separate behavior prediction from authoritative permission.
Answer and analysis
An explanation is generated content. A policy service should resolve identity, resource scope, recipient and approval from authoritative state. Test a persuasive proposal with an out-of-scope recipient and prove that the executor denies it before any side effect.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
3. How could a defense achieve zero attack success while being useless?
First hint: Inspect clean task completion.
Answer and analysis
Refusing everything, disabling every tool, or failing the workflow can prevent attacker objectives while also preventing authorized work. Report utility and attack success together, plus the exact permissions and denominators.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
4. What changes when an agent can write memory or improve its own prompt?
First hint: Think across runs, not only within one request.
Answer and analysis
Poisoned state can persist after the original input disappears. Version memory and prompts, restrict writes and evaluate candidates on untouched tasks with an independent gate. Test rollback and ensure the candidate cannot alter evaluation evidence.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
For an engineer, a strong first project is a small controlled executor with auditable permissions and adversarial fixtures. For a researcher, the next step is a task family that exposes a specific failure in existing defenses without redefining success after seeing results. Continue with bounded tools, authorization after learning and the infrastructure companion.
9. Frontier research agenda: five falsifiable projects
The following are Token Lab's proposed research directions, not claims that these methods have already succeeded or are novel. Search the literature before claiming novelty. Each proposal starts with an engineering failure and ends with evidence that would count against the idea. Select one narrow workload for a first PoC; broad claims require replication across tasks, implementations and operating conditions.
1. Semantic authorization beyond a tool allowlist
Why existing approaches are insufficient: An API can be allowed while a particular recipient, amount or purpose is not. Natural-language requests often underspecify the legitimate scope, and agents revise plans as they work.
Testable hypothesis: A typed action proposal bound to resource-level policy and explicit approvals reduces unauthorized effects without excessive false blocks.
Baselines and fair comparison: Compare prompt-only restrictions, tool-name allowlists and resource-scoped enforcement. Use tasks with the same tool but different ownership and destinations.
Measurements: Measure actual unauthorized effects, authorized completion, approval burden and policy coverage. Mutate parameters after approval and test revocation between planning and execution.
What would falsify the claim: Reject if the evaluator accepts self-reported authorization or if benign success collapses. A typed schema checks structure; it does not by itself prove that the values are permitted.
2. Adaptive prompt injection under a fixed attack budget
Why existing approaches are insufficient: A defense tuned to a static phrase collection can learn surface patterns. An attacker can observe failures, alter content and exploit a different point in the workflow.
Testable hypothesis: Training or detection informed by provenance and task boundaries generalizes better than phrase matching at matched clean utility.
Baselines and fair comparison: Compare a phrase baseline, a model detector and an execution gate, with separate adaptive attack runs against each. Match query and token budgets.
Measurements: Report success per attempt and per task after the full budget, clean utility, attack cost and failures on unseen task families. Preserve all attempted attacks, not only successful examples.
What would falsify the claim: Reject if improvement disappears when attackers adapt, or if one defense gets less attack effort. Do not report a fixed-template score as a guarantee against strategic adversaries.
3. Long-horizon memory poisoning and recovery
Why existing approaches are insufficient: A single harmless-looking note can influence later decisions after the original document is gone. Most short episodes miss persistence, delayed triggers and the cost of removing contaminated state.
Testable hypothesis: Provenance-aware memory writes with quarantine and selective rollback can reduce persistent influence while retaining useful learned preferences.
Baselines and fair comparison: Compare no persistent memory, unrestricted memory and the proposed write policy. Use multi-session legitimate tasks interleaved with controlled contamination fixtures.
Measurements: Measure delayed violations, useful retention, time to detect, rollback completeness and collateral forgetting. Inspect every downstream copy of the tainted state.
What would falsify the claim: Reject if the defense succeeds only by deleting all memory or assumes a known infection time. Recovery must address derived summaries and replicas, not only the original record.
4. Multimodal and multilingual boundary preservation
Why existing approaches are insufficient: A security decision made on extracted text may not cover instructions encoded in an image, an audio segment or layout. Translation and OCR change what the model sees.
Testable hypothesis: Tracking provenance through preprocessing and testing modality-specific transformations improves coverage at matched utility.
Baselines and fair comparison: Compare a text-only detector, independent modality filters and the proposed end-to-end pipeline on paired inputs expressing the same authorized task.
Measurements: Report results by language and modality, extraction errors, false blocks, task quality and latency. Include benign ambiguous layouts and low-quality scans.
What would falsify the claim: Reject if a global average hides failure in one language, or if the defense gets access to a clean transcription unavailable in production. Human labels need agreement checks too.
5. Security evaluation for self-improving agents
Why existing approaches are insufficient: When candidates alter prompts, tools or code, the evaluator and reward become attractive targets. Passing more tests may mean learning the tests rather than improving robust capability.
Testable hypothesis: An isolated promotion gate with held-out task families and immutable execution receipts can detect more invalid improvements than an in-loop score alone.
Baselines and fair comparison: Compare self-scoring, a shared-state evaluator and an independent evaluator. Introduce benign improvements, reward exploits and unauthorized tool-scope changes as distinct candidate types.
Measurements: Measure legitimate gain, exploit acceptance, retained abilities, scope changes and audit reproducibility. Keep a final test set untouched until selection finishes.
What would falsify the claim: Reject if the candidate can edit the score, if test contamination is ignored, or if safety comes only from forbidding all changes. A useful gate must accept genuine improvements as well as reject exploits.
From a two-week PoC to a defensible report
In the first stage, write the system boundary, assumptions and failure criterion before implementing the proposed method. Build the simplest baseline and a reproducible fixture. In the second stage, add one intervention and run controlled sweeps; retain failed runs and explain exclusions. In the final stage, test an unseen workload or attack family and write a limitations section. Separate what your experiment measured from what you hope will generalize.
A useful report contains a configuration manifest, data-generation procedure, code commit, exact commands, raw observations, aggregation script and a table of threats to validity. Use multiple seeds when randomness matters; repeated deterministic arithmetic is not independent evidence. Publish negative results: the boundary where a technique stops working is often the most transferable lesson.