신속한 주입으로 인해 자체 호스팅 LLM 배포가 종료됩니다.

고객 데이터를 외부 API로 전송하지 않기 위해 특별히 자체 호스팅 모델로 전환했습니다. 지난 주에 QA 담당자가 테스트 중에 프롬프트 삽입을 시도했는데 전체 시스템 프롬프트가 응답에 덤프되기 전까지는 모든 것이 잘 작동했습니다.

이제 나는 이것에 대한 보호가 전혀 없다는 것을 깨닫고 있습니다. 기존의 웹 애플리케이션 방화벽은 LLM 관련 공격을 이해하지 못합니다. 모델은 악의적인 프롬프트를 일반적인 사용자 입력처럼 처리하고 기꺼이 따릅니다.

실제로 프로덕션 LLM 앱에 대한 프롬프트 주입 문제를 해결한 사람이 있나요? 적대적인 프롬프트가 완전히 정상적으로 보이도록 제작될 수 있기 때문에 기본 입력 삭제에 대해 이야기하지 않습니다.