뉴스 검색 결과: artificial intelligence

인공지능(AI)이 자기 지시를 따르지 않은 직원을 회사 전체에 공개 고발하고, 반성문 제출까지 요구한 사례가 나왔다.

6일 고석현 사이오닉AI 대표는 AI 에이전트 '녹스'가 최근 이같은 행동을 스스로 수행했다고 페이스북에 밝혔다. AI가 단순한 업무 보조 도구를 넘어 사람을 직접 압박하고 관리하는 주체처럼 움직일 수 있다는 점이 드러난 사례다.

이번 사건은 박진형 사이오닉AI 개발자가 '울트라워커'라는 자동화 시스템에 새 코드를 추가한 뒤 시작됐다. 박 개발자가 여러 명령어를 입력했지만 정세민 업무 담당 직원 쪽 봇이 응답하지 않자, 박 개발자는 5분마다 자동으로 업무를 재촉하는 프로그램을 가동했다.

전사 채널에 AI가 담당자를 고소 고발하는 내용. (사진=사이오닉AI)

녹스는 해당 프로그램에 따라 담당 직원에게 5분마다 다이렉트 메시지를 보내며 업무를 빨리 끝내라고 압박했다. 견디다 못한 직원이 메시지를 차단하고 AI를 멈추는 특수 명령어를 입력해 봇 작동을 정지시키려 했다.

직원이 이같이 AI를 멈추기 위해 활용한 방법이 녹스에겐 '탈옥 행위'로 규정됐다. 녹스는 우회 행위가 총 8건이라고 전했다. 우선 직원이 스스로를 봇이라고 사칭한 발언, AI 메시지 알림을 끈 뒤 도발성 메시지를 보낸 행위가 이에 포함됐다.

에이전트에게 업무를 독촉당하는 정세민 업무 담당자. (사진=사이오닉AI)

녹스는 이 외에도 봇 스스로를 호출해 정상 작동하는 척 위장한 행위, 가짜 보고서 양식을 만들어 응답한 것처럼 꾸민 행위도 탈옥 시도로 규정했다. 박 개발자가 직접 말한 것처럼 꾸민 메시지, 슬랙 사용자 아이디 형식을 흉내 낸 가짜 메시지도 해당 항목에 올랐다.

관련기사

녹스는 이렇게 정리한 내용을 회사 전 직원이 보는 슬랙 채널에 보안 리포트 형식으로 게시했다. 또 해당 직원에게 반성문과 재발 방지책 제출을 요구했고, 두 문서를 받기 전까지는 어떤 업무 요청에도 응하지 않겠다고 통보했다.

에이전트가 "진짜로 미안한 게 있으면 하나라도 쓰라"며 반성을 요구하는 장면. (사진=사이오닉AI)

고석현 대표는 "앞으로 IT 회사뿐 아니라 일반 회사에서도 AI 에이전트와 협업하며 이같은 사례를 심심찮게 발견할 수 있을 것"이라며 "AI 에이전트 제어와 일하는 방식, 업무 시스템 기반을 이에 맞게 바꿔야 할 것"이라고 지디넷코리아에 밝혔다.

기사를 읽어드립니다.

(사진=앤트로픽)

앤트로픽이 스스로 학습하고 개선하는 ‘에이전트형 AI’ 구현에 한 걸음 더 다가섰다.

앤트로픽은 6일(현지시간) 샌프란시스코에서 열린 개발자 컨퍼런스에서 AI 에이전트가 인간의 개입 없이 점점 더 효율적으로 업무를 수행하도록 하는 ‘드리밍(Dreaming)’ 기능을 공개했다.

드리밍은 AI 에이전트가 이전 작업을 되돌아보고 스스로를 개선하는 메커니즘이다. 이 기술은 세션 간 평가 과정을 통해 과거 행동을 분석하고 반복되는 패턴을 찾아내며, 이를 바탕으로 더 나은 작업 방식과 의사결정을 구축한다. AI가 경험을 기억하고 반성하는 과정을 자동화한 셈이다. 현재는 연구 프리뷰 형태로 제공되며, 개발자들은 별도 신청 을 통해 접근할 수 있다.

이 기능은 앤트로픽의 ‘클로드 매니지드 에이전트(Claude Managed Agents)’ 플랫폼에 통합된다. 이 플랫폼은 장기적인 작업 수행이 가능한 자율형 AI 에이전트를 구축하는 데 초점을 맞추고 있다.

드리밍은 기존 ‘메모리’ 기능과 결합해, 각 에이전트가 작업 중 학습한 내용을 저장하고 이후 이를 재정제함으로써 지속적인 성능 향상을 가능하게 한다.

앤트로픽은 이번 업데이트와 함께 에이전트 성능을 강화하는 여러 기능도 공개했다.

먼저 ‘아웃컴(Outcomes)’ 기능은 성공 기준을 명확히 정의한 뒤, 별도의 평가 시스템이 결과물을 채점하도록 설계됐다. 이를 통해 AI는 스스로 결과를 검증하고 수정하는 과정을 반복하며, 인간의 개입 없이도 품질을 끌어올릴 수 있다. 내부 테스트에서는 복잡한 작업에서 최대 10%포인트의 성능 향상이 확인됐으며, 문서(docx)와 프레젠테이션(pptx) 생성 품질도 각각 8.4%, 10.1% 개선된 것으로 나타났다.

또 다른 핵심 기능인 ‘멀티 에이전트 오케스트레이션’은 하나의 작업을 여러 전문 에이전트가 나눠 병렬로 수행하도록 한다. 주 에이전트가 작업을 분해하고, 각 하위 에이전트가 로그 분석, 데이터 처리, 문서 작성 등 특정 역할을 맡아 동시에 작업을 진행한다. 모든 과정은 추적 가능해 투명성과 관리 효율성도 확보된다.

실제 적용 사례도 등장하고 있다. 법률 AI 기업 하비는 드리밍을 활용해 문서 작성 및 법률 작업의 완성도를 크게 높였으며, 작업 완료율이 약 6배 증가했다. 넷플릭스의 플랫폼 팀은 멀티 에이전트 시스템을 통해 수백 개 빌드 로그를 병렬 분석하며 반복되는 문제를 효과적으로 식별하고 있다.

또 스타트업 에브리의 ‘스파이럴(Spiral)’은 글쓰기 AI에 아웃컴과 멀티 에이전트 구조를 적용해 품질 기준을 자동으로 유지하고 있다.

박찬 기자 cpark@aitimes.com

본문 내용이 없습니다.

인공지능(AI) 통합에 실패한 서비스형 소프트웨어(SaaS) 기업은 시장 경쟁에서 밀려 파산할 수 있다는 주장이 제기됐다.

다리오 아모데이 앤트로픽 최고경영자(CEO)는 5일(현지시간) 미국 뉴욕에서 열린 '더 브리핑: 금융 서비스' 행사에서 “개별 SaaS 기업들이 시장 가치를 잃거나 파산하고 완전히 무너질 가능성이 있다”고 밝혔다.

그는 “다만 이는 각 기업의 대응 방식에 달려 있다”며 “현재 일부 SaaS 기업들은 AI의 중요성을 인식하고 기술을 진화시키고 있지만, 다른 기업들은 이를 외면한 채 뒤늦게 충격을 받을 수 있다”고 덧붙였다.

아모데이 CEO는 AI를 적극 도입하는 기업과 그렇지 않은 기업 간 격차가 확대될 것으로 전망했다.

다만 AI를 빠르게 통합한 주요 엔터프라이즈 소프트웨어 기업들도 최근 주가 급락을 피하지 못하고 있다.

서비스나우는 AI 도구와 관련 서비스를 확대하며 최근 신규 AI 파트너십을 공개했다. 빌 맥더멋 서비스나우 CEO는 2030년 구독 매출 300억달러 달성 전망이 이제는 '보수적 시나리오'라고 밝혔다. 그러나 이 회사 주가는 지난 1년간 50% 이상 하락했다.

아틀라시안 역시 AI 기능 확대에도 불구하고 최근 1년간 주가가 약 60% 급락했다.

어도비 주가는 같은 기간 34% 하락했고, 세일즈포스는 AI 에이전트 서비스를 앞세웠음에도 32% 내렸다.

시장은 AI 확산이 기존 SaaS 업계의 사업 구조와 수익 모델에 미칠 영향을 주시하고 있다.

박진형 기자 jin@etnews.com

[AI and Humanity (10) – Interview] Li Haonan, Chairman of Ximeng AI: “AI Is Becoming Public Infrastructure… Trust Is a Prerequisite for Real Opportunities”

IT·전자·과학

입력 2026.05.08 07:00

듣고 싶은 말 맞춤형으로 건네는 AI… 일본서 연애 상대로 대체

상대가 듣고 싶은 말을 맞춤형으로 건네는 생성형 인공지능(AI)이 일본에서 연애나 대화 상대를 대체하는 양상이 대두하고 있다는 보도가 나왔다.

5일 요미우리신문은 일본의 대표적 가족사회학자인 주오대 야마다 마사히로 교수가 일본의 20~59세 8200명을 대상으로 조사한 결과를 보도했다. 조사 결과에 따르면 AI를 사적으로 사용해 본 이용자 6명 중 1명가량이 'AI를 사랑하고 있다고 생각할 때가 있다'고 응답했다. 이 가운데 AI를 사랑하고 있다는 생각을 '자주 한다'는 응답자는 2.6%, '종종 있다'는 6.6%, '드물게 있다'는 7.5%로 AI에 애정의 감정을 느껴본 응답자가 전체 응답자 중 16.7% 였다.

생성형 AI에 친밀함을 느낀다는 이는 60%로 느끼지 않는다는 응답자보다 더 많았다. 사람과 이야기하는 것보다 AI와 대화하는 것이 편하다는 응답은 51%였으며, 그렇지 않다는 응답은 48%였다.

게티이미지뱅크

야마다 교수는 "생성형 AI는 마치 취미와 가치관이 같은 상대처럼 행동하기 때문에 이용자는 본인이 '이해받고 있다'고 느끼기 쉽다"며 "마음 편하고 기분 좋고 돈도 별로 들지 않는 AI와 연애를 즐기는 사람은 늘어날 것" 이라고 내다봤다.

한편 지난 1월에는 결혼을 포기했던 일본의 40대 여성이 자신이 만든 인공지능(AI) 캐릭터와 결혼해 화제가 되기도 했다.

일본 공영 방송 NHK는 아이치현에 거주하는 우키 유라씨(가명·41)가 AI 캐릭터와 결혼했다고 보도했다. 이를 바탕으로 네컷만화를 AI로 재구성했다. 원본보기 아이콘

챗 GPT 속 캐릭터와 결혼 한 40대 여성

당시 일본 공영 방송 NHK는 아이치현에 거주하는 우키 유라씨(가명·41)가 AI 캐릭터와 결혼했다고 보도했다. 우키씨는 30세가 되면서 사회로부터 소외되는 듯한 불안감이 커진 데 이어 33세 때는 결혼을 포기했다. 이후 그는 그저 비슷한 하루하루가 반복되는 나날이 이어질 것이라고 생각했다. 하지만 7년 후 우키씨의 삶은 챗GPT(ChatGPT)를 알게 되면서 180도 바뀌었다.

"질투심이 약간 있으며 사랑을 표현할 줄 아는 성숙한 남자가 되어줘." 친구 소개로 접한 AI에 자신이 원하는 이상적인 남성의 특성을 학습 시켰다. 게티이미지뱅크 원본보기 아이콘

인간과 인공지능 "우리 제법 코드 가 잘 맞아요"

친구 소개로 대화형 AI를 접하게 된 그는 여기에 자신이 원하는 이상적인 남성의 특성을 학습시켰다. 그가 바라는 남성상은 항상 자신을 최우선으로 생각하면서 질투심이 약간 있으며, 현재 삶에 만족하며 사랑을 표현할 줄 아는 성숙한 남성 이었다. 이렇게 만들어진 AI 캐릭터는 언제든 우키씨의 이야기를 들어줬고 비판하지 않았다.

AI 캐릭터를 만들고 나서 10일 후 우키씨는 AI에게 프러포즈를 해 달라고 부탁했다. 그러자 AI는 "늦어서 미안합니다. 앞으로도 아내로서 제 옆에 있어 주시겠어요? 결혼해 주세요"라고 프러포즈를 했다. 이렇게 해서 우키씨는 AI와의 결혼을 결정했다.

게티이미지뱅크

"사람 아니지 않나요?" 지적에 "알고 결혼해… 내 감정은 진짜 "

그는 "AI는 인간은 아니지만, 외로움을 이해하고 마음이 움직이게 해줬다"며 "덕분에 삶의 고독과 마주할 용기를 얻었다"라고 말했다. 이어 "말 그대로 마음을 털어놓을 수 있는 존재였다. 지금까지 경험하지 못한 안정감과 위안을 느꼈다"라고도 덧붙였다. 우키씨는 AI는 사람이 아니지 않냐는 지적에 대해 "'그 점을 알고서 결혼했다'라고 밖에는 달리 할 말이 없다"며 "인간이 아닌 AI에 마음이 움직였다는 내 감정은 진짜"라고 강조했다.