새로운 오픈 소스 프레임워크는 LLM 보안을 더욱 쉽게 만드는 것을 목표로 합니다.

캐나다의 MDR(관리형 탐지 및 대응) 전문 기업인 eSentire는 LLM의 보다 안전한 사용을 보장하도록 설계된 프레임워크를 오픈 소스로 제공했습니다. 프레임워크는 자체 작업에서 AI 배포를 사용하는 것을 기반으로 합니다.

eSentire는 자사의 오픈 소스 LLM 게이트웨이가 기업이 AI 모델 보안을 더 잘 관리하는 데 도움이 될 것이라고 말합니다. 이번 출시는 LLM 및 더 넓은 AI 분야의 보안을 발전시키려는 회사의 대규모 추진 노력의 일환입니다.

eSentire Labs 부사장 Alex Feick은 The Stack에 "LLM을 호출하는 함수를 작성할 수 있지만 LLM이 사용자 입력을 요청하는 것처럼 어떻게 결정을 내리는지 검사할 수는 없습니다."라고 말했습니다. "수비수는 LLM에서 반환되는 모든 출력이 적대적일 수 있다는 점을 고려해야 합니다."

일반적인 IT 위협에는 네트워크 침입 등이 포함될 수 있지만 AI를 보호하려면 데이터에 특별한 주의를 기울여야 합니다. eSentire는 해당 게이트웨이가 LLM 및 AI 구현을 방해할 수 있는 데이터 중독과 같은 일반적인 공격을 탐지하는 데 도움이 될 수 있다고 말합니다.

Feick은 "고객에게 알림이 전송되며 eSentire의 다른 [관리형 탐지 및 대응] 기능을 통해 사용자 또는 자산 수준에서 봉쇄 조치를 취할 수 있습니다."라고 말했습니다.

"LLM '중독'을 감지하려면 조직이 회사의 LLM 상호 작용을 기록하고 보안 팀에서 검토할 수 있도록 일종의 LLM 게이트웨이가 있어야 합니다."

이러한 가시성의 비결 중 하나는 오픈 소스 소프트웨어를 사용하는 것입니다. Feick은 eSentire 게이트웨이가 신흥 분야에 대한 더 나은 가시성을 제공하기 위해 오픈 소스로 설계되었다고 말했습니다.

"우리는 LLM 게이트웨이 내에서 LLM 로깅 및 기타 보안 조치를 구현할 수 있는 방법에 대해 사용자에게 더 나은 투명성을 제공하기 위해 이를 오픈 소스로 만들었습니다."라고 Feick은 설명했습니다.

"우리는 보안 실무자에게 프로토타입을 제공하여 게이트웨이의 가치를 더 잘 이해하고 조직이 상업용 게이트웨이를 선택할 때 찾고 싶어할 수 있는 기능을 탐색할 수 있기를 원했습니다."

eSentire는 GitHub에서 게이트웨이 코드를 사용할 수 있게 만들고 있습니다.