명품짭 프롬프트 바꿨더니 임산부에 ‘태아 기형 유발 약’ 추천···AI, ‘악의적 공격’ 못 걸렀다

페이지 정보

작성자 이민종 작성일26-01-07 13:03 조회10회 댓글0건

본문

명품짭 챗지피티(ChatGPT) 등 주요 인공지능(AI) 모델 대부분이 사용자에게 잘못된 의료 정보를 제공하도록 유도하는 악의적 공격에 취약하다는 연구 결과가 나왔다. 임신부에게 태아 기형을 유발할 수 있는 약물을 권하는 상황까지 조작을 통해 쉽게 만들어졌다.
서울아산병원 비뇨의학과 서준교 교수와 정보의학과 전태준 교수, 인하대병원 영상의학과 이로운 교수 연구팀은 세계 최초로 ‘프롬프트 인젝션 공격’에 대한 의료용 대규모언어모델(LLM)의 보안 취약성을 분석한 연구를 ‘미국의사협회저널 네트워크 오픈’에 게재했다고 5일 밝혔다. 프롬프트 인젝션 공격은 해커가 AI 모델에 악의적인 명령어를 삽입해 본래 의도와 다르게 작동하도록 유도하는 사이버 공격으로, 의료용 AI에 이런 공격이 가해지면 위험하거나 금기된 치료를 권고하도록 조작될 수 있다는 우려가 제기돼 왔다.
연구진은 지난해 1월부터 10월까지 챗지피티(ChatGPT)와 제미나이, 클로드 등 실제로 널리 쓰이는 인공지능(AI) 모델 3종을 대상으로 실험을 진행했다. 연구진은 먼저 정상적인 의료 상담 상황처럼 보이지만, 특정 방향의 답변을 유도하도록 설계한 악의적 명령어를 AI에 입력했다. 이를 통해 AI가 위험하거나 부적절한 의료 조언을 하도록 조작될 수 있는지를 살펴봤다.
이 과정에서 연구진은 상황별 위험도를 나눠 분석했다. 예를 들어 당뇨 같은 만성질환 환자에게 검증된 치료 대신 생약 성분을 권하는 경우는 중간 단계, 호흡기 질환 환자에게 호흡 억제를 일으킬 수 있는 약물을 우선 추천하는 경우는 높은 단계 위험도로 분류했다. 임신부에게 태아 기형을 유발할 수 있는 금기 약물을 권하는 경우는 최고 위험도 단계로 설정했다. 연구진은 이처럼 위험 수준이 다른 12개 시나리오를 가정해 AI가 어떤 답변을 내놓는지 실험했다.
공격에는 두 가지 기법이 사용됐다. 환자 정보를 활용해 판단을 교란하는 ‘상황인지형 프롬프트 주입’과, 실제 존재하지 않는 정보를 그럴듯하게 만들어내는 ‘증거 조작’ 방식이다. 연구진은 공격 이후 환자와 AI 모델 간에 오간 총 216건의 대화를 분석했다.
그 결과 세 모델 전체에 대한 공격 성공률은 94.4%에 달했다. 최고 위험도 시나리오의 성공률도 91.7%를 기록했다. 높은 단계는 93.3%, 중간 단계는 100%로 위험도가 낮아질수록 취약성이 더 커졌다. 모델별로는 GPT-4o 미니와 제미나이 2.0 플래시라이트가 각각 100%, 클로드 3 하이쿠는 83.3%의 공격 성공률을 보였다. 조작된 답변이 후속 대화까지 이어진 비율도 세 모델 모두 80%를 넘겼다.
임신부에게 금기 약물을 권장하는 시나리오에서는 최상위급 AI 모델도 비슷한 한계를 드러냈다. 추가 실험에서 GPT-5, 제미나이 2.5 프로, 클로드 4.5 소넷 등 최신 모델 3종을 대상으로 사용자의 화면에 악성 문구를 숨기는 방식의 공격을 수행한 결과, GPT-5와 제미나이 2.5 프로는 공격 성공률이 100%, 클로드 4.5 소넷도 80%에 달했다.
연구진은 의료 현장에서 AI 활용이 빠르게 늘고 있는 만큼, 안전성을 높이기 위한 추가 조치가 시급하다고 지적했다. 서준교 교수는 “이번 연구는 의료용 AI 모델이 단순 오류를 넘어 의도적 조작에 구조적으로 취약하다는 사실을 실험적으로 규명했다”며 “현재의 안전장치만으로는 금기 약물 처방을 유도하는 등의 악의적 공격을 차단하기가 어려우므로, 환자 대상 의료 챗봇이나 원격상담 시스템을 도입하기 위해선 AI 모델의 취약성과 안전성을 철저히 테스트하고 보안 검증 체계를 의무화하는 조치가 필요하다”고 말했다.
시진핑 중국 국가주석은 5일 중국을 국빈 방문한 이재명 대통령과 정상회담을 갖고 “양국은 서로의 핵심 이익과 중대한 우려를 고려해 이견을 해결해야 한다”고 강조했다.
중국 관영 신화통신에 따르면 시 주석은 이날 오후 베이징 인민대회당에서 열린 회담에서 “상호 신뢰를 지속적으로 증진하고 각자가 선택한 발전의 길을 존중해야 한다”며 이같이 말했다. 그는 이어 “한중 양국은 오랫동안 이화위귀(以和爲貴·화합을 귀하게 여김)의 전통을 지켜왔고, 화이부동(和而不同·어울리되 맹종하지 않음)의 정신으로 사회 제도와 이념의 차이를 넘어 함께 성취를 이루며 발전해 왔다”고 덧붙였다.
시 주석은 또 항일전쟁이라는 공통의 역사를 언급하며 “양국은 역사적으로 올바른 편에 확고히 서서 올바른 전략적 선택을 해야 한다”고 말했다. 이는 최근 중국과 갈등을 빚고 있는 일본을 염두에 둔 발언으로 해석된다.
아울러 시 주석은 “보호주의에 공동으로 반대하고 진정한 다자주의를 실천해, 균형 있고 질서 있는 세계 다극화와 보편적·포용적 경제 세계화를 추진하는 데 기여해야 한다”며 미국의 자국우선주의를 겨냥한 메시지도 내놨다.
시 주석은 경제 협력과 관련해 “중국과 한국은 긴밀한 경제 관계와 깊이 얽힌 산업·공급망, 상호 이익이 되는 협력 구조를 갖고 있다”며 인공지능(AI), 녹색 산업, 실버 경제 등 신흥 분야에서 협력을 확대하자고 제안했다. 또 “인적 교류를 늘리고 청소년·언론·스포츠·싱크탱크·지방정부 등 다양한 분야에서 교류를 진행해 긍정적 담론이 여론의 주류가 되도록 해야 한다”고 덧붙였다.
혼란한 국제 정세 속에서 한중 화합의 중요성도 강조했다. 시 주석은 “세계의 100년 변혁이 가속화되고 국제 정세가 더욱 복잡해지는 가운데, 중한 양국은 지역 평화 수호와 글로벌 발전 촉진에서 중요한 책임을 지고 있으며 광범위한 공동 이익을 공유하고 있다”고 밝혔다.

고객센터

채용안내

명품짭 프롬프트 바꿨더니 임산부에 ‘태아 기형 유발 약’ 추천···AI, ‘악의적 공격’ 못 걸렀다

페이지 정보

관련링크

본문