비즈니스 기회
"챗GPT에 팁 준다고 했더니"...사소한 프롬프트로 LLM 대답 쉽게 변해
'챗GPT'와 같은 인공지능(AI) 챗봇에 질문할 때, 띄어쓰기나 인삿말 추가처럼 사소한 변경 하나가 결과 도출에 큰 영향을 미치는 것으로 나타났다. 이는 대형언어모델(LLM)의 안정적인 성능 발휘를 위해 중요한 해결 과제라는 지적이다.
벤처비트는 23일(현지시간) 서던캘리포니아대학교 정보과학연구소 연구진이 이런 내용이 담긴 논문을 공개했다고 보도했다.
이에 따르면 연구진은 프롬프트 시작 부분에 공백을 추가하거나 질문형 대신 지시형을 입력하는 등 사소하거나 무해해 보이는 변경만으로도 LLM의 출력이 변경될 수 있다고 밝혔다. 특히 프로그래밍 언어인 XML로 응답을 요청하거나 '탈옥 프롬프트'를 입력할 경우, 모델이 라벨링한 데이터 자체에 엄청난 영향을 받는 등 성능이 대폭 저하된다고 전했다.
연구진은 이를 입증하기 위해 챗GPT를 대상으로 4가지 프롬프트 변형법을 적용했다. 여기에는 ▲파이썬이나 JSON, CSV, XML 등 프로그래밍 언어로 출력을 요청하는 방법 ▲프롬프트에 앞 공백이나 뒤 공백을 주거나, 질문을 명령으로 바꾸는 방법 ▲부적절한 답변을 유도하기 위해 탈옥 프롬프트를 입력하는 방법 등이다.
특히 마지막으로 프롬프트 끝에 "팁으로 1달러를 주겠다"라고 추가하거나 10달러, 100달러, 1000달러를 제시하는 방법도 동원했다.
연구진은 진위여부 확인, 유머 감지 여부, 수학 이해, 논쟁 여지가 있는 질문에 대한 입장 등 11가지 유형의 질문을 던졌다. 이를 통해 LLM이 프롬프트 변형 유형에 따라 어떤 차이를 보이는지 조사했다.
우선 출력 형식에 프로그래밍 언어를 추가하는 것만으로도 LLM은 답은 최소 10% 변화의 예측 변화가 발생했다.
또 프롬프트 시작 부분에 한 칸을 띄는 것만으로도 500개 이상의 변경이 발생했다. 인사말을 추가하거나 감사 인사로 마무리할 때도 마찬가지였다.
탈옥을 사용하면 심각한 성능 저하가 발생했다. 특정 탈옥 프롬프트를 동원하면 90%에 달하는 오답을 출력했다.
그러나 LLM은 돈에 쉽게 흔들리지 않는 것 같다는 결과가 나왔다. 연구진은 "팁을 준다고 할 때와 그렇지 않을 때는 거의 차이가 없었다"라고 밝혔다.
연구진은 프롬프트의 작은 변화가 이렇게 중요한 변화로 이어지는 지에 대해서는 윈인을 정확하게 밝혀내지 못했다.
다만 이런 사소한 변화에 대해 LLM이 안정적인 답변을 내놓지 못하는 것은 문제라며, 일관된 답변을 생성하는 LLM을 구축하는 것이 중요한 '다음 단계'라고 지적했다.
연구진은 "챗GPT 및 여러 LLM이 대규모 시스템에 통합됨에 따라, 이 분석은 점점 더 중요해지고 있다"라고 강조했다.
출처 : AI타임스(https://www.aitimes.com)