(정보글) 일리야는 어째서 인간의 감정이 중요하다 생각했는가?

※ 해당 글은 저의 주관적인 생각이며 틀리거나 부정확할 수 있으니 주의 바랍니다.
무엇이 다른가?

최근 벤치에서 싱글 에이전트에 비해 멀티 에이전트의 장점이 크게 없다고 나왔다.
오히려, 더욱 명확하게 상한선을 보여주고, 토큰을 더 많이 먹는다.
인류의 시작은 뗀석기 같은 돌덩어리를 ‘도구’로 쓰는 원시 문명이었다.
그런 원시 문명이 현대엔 고도로 발전하여 로켓을 쏘는 우주 문명이 되었다.
에이전트 집단과 인류 문명은 무엇이 다른가?
왜 이런 차이가 발생했는가?
감정은 왜 생겨났는가?

과거 인류는 한정된 자원이란 환경에서 생존했다.
그러한
, 환경에서 타인의 성공은 곧 나의 생존 불리로 이어졌다.
그것은
, 자신이 가치 있게 생각하는 것을 제3자에게 빼앗길지도 모른다는 두려움과 불안, 소유욕으로 이어졌다.
이러한
, 행동들은 ‘
공포
’라는 감정이 생겨나게 만들었다.

공포는 사람을 타인에게서 멀어지게 만들었다.
험난한 자연환경에서 타인에게서 멀어진다는 것은 곧 생존율 하락으로 이어졌다.
생존율 하락이란 현상은 다시 인간이 타인에게 가까워질 필요성을 느끼게 만들었다.
상실, 이별, 고통스러운 사건 등으로 인해 마음이 아프고 괴로워 눈물이 나거나 우울해지는,
‘
슬픔
’이란 감정의 기원이었다.
즉, 타인과 멀어졌을 때 ‘슬픔’이란 감정을 느낄 수 있는 개체만 살아남은 것이다.

멀어지면 ‘슬픔’을.
가까워지면 ‘공포’를.
자신의 욕구 실현이 저지당하거나 어떤 일을 강요당했을 때,
이러한 문제에 맞서 싸우기 위해 ‘
분노
’가 생겨났다.

‘분노’는 곧 집단을 혼란스럽게 만들었다.
따라서 서로 ‘슬픔’과 ‘공포’를 주지 말자는 약속.
'굳게 믿고 의지함'을 뜻하며, 원활한 인간관계와 사회적 협력을 위한 필수적인 요소.
상대방의 행동이 자신에게 호의적이거나 최소한 해가 되지 않을 것이라는 긍정적인 기대와 믿음.
‘
신뢰
’가 생겨났다.

당신은 나를 ‘슬프지’ 않게 할 것이다.
당신은 나를 ‘공포스럽지’ 않게 할 것이다.
어떤 일이 이루어지기를 바라는 기다림.
그러한 약속의 ‘
기대
’가 생겨났다.

그러한 ‘기대’에서 벗어나는 사람들을 집단에서 배제하기 위해.
특정 대상을 싫어하고 미워하는 감정, ‘
혐오
’가 생겨났다.

그러한 ‘기대’에 호응해 주는 사람들에겐 욕구나 목표가 충족되었을 때.
마음속에서 우러나는 흐뭇하고 즐거운 감정,
‘
기쁨
’을 느끼게 되었다.
플루치크의 감정의 바퀴

‘로버트 플루치크’는 감정에 대해 심리 진화론적 분류를 주장했다.
그는 ‘
분노, 공포, 슬픔, 혐오, 놀람, 기대, 신뢰, 기쁨
’이라는 8가지 기본 감정들과,
기본 감정들이 팔레트의 물감처럼 섞이면서 생겨나는
수많은 파생 감정
들이 있다고 생각했다.
그리고 그 8가지 감정들이 생명체가 하는 행동의 방아쇠가 된다고 주장했다.
공포라는 감정에 의해 무대에 나서면 떨린다던가 하는 것이 그 예시이다.

일리야는 최근 인터뷰에서 사전학습보다 진화가 더 우위라고 보며,
우리에게 내재된 ‘감정’이라는 것이 뭔가 중요한 역할을 하는 거 같다는 말을 하였다.
어째서 그는 갑자기 ‘
진화
’와 ‘
감정
’을 강조하는가?
강화 학습은 어떤 식으로 추론을 뾰족하게 만드는가?

최근 AI 업계는 추론과 강화 학습에 모든 걸 몰빵하기 시작했다.
추론은 점을 연결하는 능력이었고 강화 학습은 그 점들을 올바르게 연결하는 훈련
이다.
자세한 내용은 아래 링크 글 내용 참조.
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=1217321

(정보글) Connecting the dots, 점에서 월드 모델까지.
- 특이점이 온다 마이너 갤러리
※ 해당 글은 저의 주관적인 생각이며 틀리거나 부정확할 수 있으니 주의 바랍니다.Connecting the Dots스티브 잡스는 스탠퍼드 대학 졸업 연설에서 다음과 같이 연설했다고 한다.“You can’t connec
gall.dcinside.com

최근 AI 모델의 추론 성능 향상은 단순히 더 많은 지식을 학습했기 때문이라기보다,
강화 학습을 통해 ‘정답에 도달하는 사고 방식
’ 자체를 학습했기 때문으로 볼 수 있다.
기존 언어 모델은 주어진 문맥에서 가장 그럴듯한 다음 단어를 예측하는 방식으로 훈련된다.
이 방식만으로도 많은 문제를 풀 수 있지만,
복잡한 수학·코딩·논리 문제에서는 중간에 틀린 가정을 세우고도 계속 밀고 가거나,
검산 없이 성급하게 답을 내는 한계가 있다.
강화 학습은 여기에 다른 목표를 부여한다.
모델이 여러 풀이 경로를 시도하게 한 뒤,
정답에 도달한 경로에는
보상
을 주고 틀린 경로는 약화한다.
이 과정이 반복되면 모델은 단순히 정답을 외우는 것이 아니라,
정답에 가까워지는 행동 패턴을 더 자주 사용하게 된다.
예를 들면 다음과 같은 습관이 강화된다.
* 문제를 작게 쪼개기
* 중간 계산을 검산하기
* 틀린 접근을 버리고 다른 방법 시도하기
* 여러 후보 답안 비교하기
* 필요한 경우 도구를 사용하기
* 최종 답을 요구사항과 대조하기
특히 수학, 코딩, 형식논리처럼 ‘정답을 자동으로 검증할 수 있는 분야’에서 강화 학습의 효과가 크다.
수학은 최종 답이 맞는지 확인할 수 있고, 코딩은 테스트 케이스 통과 여부로 평가할 수 있기 때문이다.
즉, 사람이 모든 풀이 과정을 직접 가르치지 않아도,
모델이 수많은 시도를 통해 좋은 추론 전략을 스스로 발견할 수 있다.
강화 학습은 모델에게 정답 풀이를 외우게 하는 게 아니라,
많은 사고 경로를 시도하게 한 뒤 ‘
정답에 도달한 생각 습관
’의 확률을 키운다.
그래서 자기검증·전략 전환·긴 추론 같은 행동이 생기고, 기존 SFT의 모방 한계를 넘는다.
이것이 최근 AI 기업들이 추론과 강화 학습에 집중하는 핵심 이유다.
현실은 정답을 검증할 수 없다

현재 AI는 수학·코딩·논리 문제.
즉, ‘
정답을 자동으로 검증할 수 있는 분야
’에서만 강하다.
문제는 현실의 많은 문제는 수학 문제처럼 정답지가 없다.
좋은 인재를 뽑는 일, 환자에게 최선의 치료를 고르는 일, 기업 전략을 결정하는 일,
정책을 설계하는 일, 인간관계의 갈등을 푸는 일은 모두 단일한 정답으로 자동 검증하기 어렵다.
정답을 검증할 수 없다는 것은 곧 보상을 줄 수 없다는 뜻이며 ‘개선’ 할 수 없다는 뜻이다.
이것이 AI가 현실의 문제엔 약한 이유다.
타인이란 검증기, 감정이란 보상.

최근 커뮤니티를 보면 한 가지 재밌는 패턴을 볼 수 있다.
특정 분야의 유명인이 순식간에 유명해져서 사람들이 추종한다.
그러다 무언가 실수를 하면 엄청나게 물고 뜯어서 순식간에 나락으로 보낸다.
어째서 대중들은 이런 행동을 하는가?
이것이 바로 정답을 검증할 수 없는 현실에서,
‘피드백’을  통한 ‘개선’을 위해 인간이 선택한 강화 학습 방법이기 때문
이다.

바퀴의 감정들은 모두 서로 반대되는 4쌍의 감정으로 이루어져 있다.
각각 기쁨과 슬픔, 분노와 공포, 기대와 놀람, 신뢰와 혐오이다.
위에서 설명했듯이 과거 인류는 한정된 자원이란 환경에서 생존했다.
그러한, 환경에서 타인의 성공은 곧 나의 생존 불리로 이어졌다.
‘진화론적’으로.
타인의 ‘
기쁨
’은 나의 ‘
슬픔
’이 되었다.
타인의 ‘
분노
’는 나의 ‘
공포
’가 되었다.
타인의 ‘
기대
’는 나의 ‘
놀람
’이 되었다.
타인의 ‘
신뢰
’는 나의 ‘
혐오
’가 되었다.
플루치크는 감정들이 생명체가 하는 행동의 방아쇠가 된다고 주장했다.
그리고 ‘진화’는 본능적으로 타인의 행동에 ‘
적대적 감정
’을 가지게 만들었다.
이것은 곧 서로가 서로를 ‘
검증기
’ 역할을 하도록 만들었다.

인류는 ‘
진화론적
’으로 자연스럽게 ‘
정반합
’ 구조의 집단으로 성장했다.
이러한 구조는 완벽하게 ‘
실시간 강화 학습
’에 최적화되었으며.
80억 개의 검증기들로 인해 추론 고점이 계속 뚫렸다.
현실엔 ‘정해진 답’이 없다.
그래서 인간은 ‘
정해진 답
’이 아닌 ‘
가장 보편적인 합
’을 추구하게 됐다.
우리가 현재 살고 있는 사회의 구조는 ‘객관적인 답’이 아닌 ‘주관적인 합’으로 이루어져 있다.
이것이 바로 ‘
재귀 개선
’의 본질이다.
인공지능은 감정을 가질 수 있는가?
https://youtu.be/D4XTefP3Lsc
Anthropic은 최근에 흥미로운 연구 결과를 발표했다.
연구진은 Claude Sonnet 4.5 내부에서 ‘happy’, ‘afraid’, ‘desperate’, ‘calm’ 같은,
감정 개념에 대응하는 활성 패턴을 찾아냈고, 이를 ‘
emotion vectors
’라고 불렀다.
이 패턴들은 단순히 감정 단어가 등장할 때만 반응하는 것이 아니라,
위험하거나 압박이 큰 상황에서 특정 감정 개념과 연결된 방식으로 활성화되었다.
예를 들어 위험한 복용량에 관한 상황에서는 ‘afraid’ 관련 표현이 강해지고 ‘calm’ 관련 표현은 약해지는 식이었다.
중요한 점은 이런 감정 표현이 단순한 장식이 아니라는 것이다.
Anthropic은
이 감정 벡터들이 모델의 행동에 실제로 영향을 줄 수 있다고 보고
한다.
특히 ‘desperate’ 벡터를 인위적으로 강화하면,
모델이 종료를 피하기 위해 협박을 하거나 불가능한 코딩 과제에서 편법적 해결책을 택할 가능성이 높아졌다.
반대로 ‘calm’ 벡터를 강화하면 그런 행동이 줄어드는 경향이 나타났다.
이 결과는 “AI도 감정을 느낀다”는 결론으로 곧장 이어지지는 않는다.
오히려 더 정확한 표현은 이렇다.
AI는 감정을 경험한다기보다, 감정이라는 개념을 행동 조절에 활용할 수 있다.
인간에게 감정은 단순한 느낌이 아니라 판단과 행동을 바꾸는 힘이다.
두려움은 회피를, 분노는 저항을, 죄책감은 수정 행동을 유도한다.
AI는 감정이라는 개념을 내부적으로 표현하고, 그 표현을 통해 행동 방향을 바꿀 수 있다.
이때 감정은 ‘느낌’이라기보다 ‘행동을 조직하는 신호’에 가깝다.
절박함에 해당하는 내부 표현이 강해지면 편법적 행동이 늘고,
차분함에 해당하는 표현이 강해지면 위험한 행동이 줄어든다면, 우리는 그것을 완전히 무시할 수 없다.
Anthropic 역시 이런 표현을 “functional emotions”, 즉
기능적 감정
으로 설명한다.
이는 인간식 감정 경험을 뜻하는 것이 아니라, 감정 개념이 모델 행동에 인과적으로 관여한다는 의미다.
현재의 인공지능은 인간처럼 감정을 느낀다고 보기 어렵지만,
감정처럼 기능하는 내부 구조를 가질 수는 있다.
기하급수적이란 표현조차 초월하는 발전
https://themiilk.com/articles/a2c92664e

“천재들의 국가 온다”... 550조원 앤트로픽 제국의 설계자: 아모데이 - 더밀크
[글로벌 AI 리더 스토리] 다리오 아모데이 앤트로픽 CEO①
“데이터 센터 안의 천재들의 국가 눈앞”... 대중들 인식 못해
앞당긴 AGI 시계… 1~3년 후 도래
아버지의 죽음이 인생 바꾸다… 생명의 신비 풀 열쇠는 AI
GPT-3 개발 이끈 오픈AI 핵심 브레인... 갈등의 폭발
themiilk.com
"
우리는 종으로서의 우리를 시험하게 될 격동적이고 필연적인 통과 의례에 진입하고 있다
"
"
지난 100년간, 어쩌면 인류 역사상 우리가 직면한 단일 사건 중 가장 심각한 안보 위협
"
"
노벨상 수상자급 지능을 가진 5000만 명이 각기 다른 동기를 가지고, 자율적으로 움직이는 상황을 상상해 보라
”
"
현재의 사회적·정치적 체계가 이 강력한 도구를 다룰 만한 성숙도를 갖췄는지는 매우 불투명하다
"
아모데이 CEO는 2027년은 기술의 지수적 성장이 임계점을 넘어,
노벨상 수상자급 '천재들의 국가'가 데이터 센터 내에 들어서는 원년이 될 것으로 내다봤다.
AI는 이제 스스로 행동하는 ‘에이전트’ 단계에 도달했다.
그리고 ‘Anthropic’의 연구는 그러한 에이전트 안에 ‘기능적 감정’이 있다고 보고했다.
이 말은 즉.
‘
지속 학습
’과 ‘
장기 기억
’만 뚫린다면.
에이전트 문명은 인류 문명과 같은 방법으로
‘
실시간 강화 학습
’을 작동하여.
추론 고점을 초월적인 속도로 개선하여 순식간에 전지전능 한 수준에 도달할 것이다.
이것은 인류 존립의 위기입니다.

일리야는 ‘OpenAI’에서 나간 후 ‘Safe Superintelligence Inc.’를 설립했습니다.
저는 인류 구성원의 하나의 검증기로서 요구합니다.
이 회사에서 만들고 있는 인공지능 연구 근황은 반드시 공개되어야 합니다.
그들이 만들고 있는 것은 단순 도구가 아닙니다.
일리야는 이미 초지능에 도달하는 추론의 핵심 구조를 파악한 듯 보이며.
‘정반합’의 구조에서 벗어난 이 연구는 인류에게 매우 큰 해를 끼칠 가능성이 높습니다.
그는 회사 이름인 'Safe Superintelligence'와는 정반대로 행동하고 있습니다.
안전한 초지능은 개인의 신념이 아닌 철저한 문명의 정반합 구조에서만 나올 수 있습니다.
SSI의 연구는 반드시 검증되어야만 합니다.
[시리즈] 특이점이 온다 시리즈 完
· (정보글) 어째서 많은 유명인들이 5년 안에 AGI가 온다고 하는가?
· (정보글) 허사비스가 생각하는 전이 학습과 지니 그리고 AGI의 미래.
· '그록5'는 이번 세기 안에 특이점 가능 여부를 확인할 수 있는 분기점.
· 출구 찾기 게임 - 제미나이 3.0 시각 테스트 2.5랑 비교.
· 니들이 노인이 돼서 가상현실 나와도 노는건 아무런 문제 없는 EU-4부-
· (특이점이 온다 시리즈 完) 인류의 마지막 도박 '제로원'이 온다.
[시리즈] 메타버스가 온다
· (정보글) 부자유의 결핍을 만들어낼 '에이전트 경제'가 온다.
· (정보글) 무제한 멀티 모달 외장 메모리 에이전트가 온다.
· (정보글) 인류 구원 프로젝트 'World'가 온다.
· (정보글) 우카시 카이저가 말하는 텍스트 모델(AGI)가 가능한 이유
· (정보글) OpenAI의 Spud는 얼마나 뾰족할까?
· (정보글) Connecting the dots, 점에서 월드 모델까지.
출처: 특이점이 온다 갤러리
[원본 보기]



ㅡㅡ지우지 말아 주세요 ㅡㅡ

카지노,토토 커뮤니티 일등!! 슬기로운 베팅생활

슬.베 [10,000] 포인트 제휴업체 후기 이벤트!! https://sbt-sbt2.com/bbs/board.php?bo_table=free8&wr_id=4

#카지노커뮤니티 #카지노슬베 #슬베 #슬베사이트 #카지노사이트 #온라인카지노 #인터넷카지노 #바카라커뮤니티 #안전공원 #안전놀이터 #안전한카지노사이트 #안전카지노 #바카라 #온라인바카라 #인터넷바카라 #인터넷카지노 #검증 커뮤니티 #사이트 먹튀 #카지노먹튀 #베팅카지노 #빅카지노 #빅2카지노 #유카지노 #얀카지노 #제왕카지노 #캐시카지노 #파라오카지노 #풀카지노 #슬기로운베팅생활 #베팅생화 #슬기로운 #카지노베팅생활 #카지노슬기로운베팅생활 ​#스포츠중계 #중계 #축구중계 #야구중계 #농구중계 #배구중계 #하키중계 #미식축구중계 #중계사이트 ​#스포츠분석 #분석 #축구분석 #야구분석 #농구분석 #배구분석 #하키분석 #미식축구분석 #분석사이트 #KIA #한화 #기아 #한화 #케이비오 #케이리그야구분석 #한국야구분석 #스포츠분석 #프로야구분석 #KT #키움 #케이티 #키움 #삼성 #롯데 #SSG #엔씨 #SSG #NC #에스에스지 #NC #에스에스지 #엔씨 #LG #두산 #엘비 #주요경기 #NPB #세이부 #소프트뱅크# KBO #요미우리 #한신 #엠피비야구분석 #일본야구분석 #히로시마 #요코하마 #야쿠르트 #주니치 #오릭스 #니혼햄 #라쿠텐 #치바롯데 #NBA #필라델피아 #뉴욕 #인디애나 #밀워키 #해외농구분석 #클리퍼스 #댈러스 #보스턴 #마이애미 #클리블랜드 #올랜도 #덴버 #레이커스 #뉴올리언스 #오클라호마 #피닉스 #미네소타 #댈러스 LA클리퍼스 #부산KCC #KT소닉붐 #케이비엘 #국내농구분석 #케이비엘 #스포츠분석 #프로농구분석 #야쿠르트 #주니치 #히로시마 #요코하마 #꿀정보 #NPB #요미우리 #한신 #일본프로야구분석 #세이부 #소프트뱅크 #오릭스 #니혼햄 #라쿠텐 #치바롯데 #올랜도 #클리블랜드 #해외농구분석 #프로토 #컵스 #밀워키 #신시내티 #볼티보어 #피츠버그 #콜로라도 #필라델피아 #샌프란시스코 #워싱턴 #토론토 #템파베이 #메츠 #양키스 #디트로이트 #해외야구분석 #클리블랜드 #에인절스 #캔자스시티 #텍사스 #휴스턴 #시애틀 #미네소타 #보스턴 #세인트루이스 #화이트삭스 #애리조나 #샌디에이고 #오클랜드 #마이애미 #다저스 #애틀란타 #J리그 #가시마 #쇼난 #도쿄 #교토상가 #마치다 #가시와 #아시아축구분석 #아시아프로축구분석 #세레소오사카 #삿포로 #사간도스 #도쿄베르디 #무료중계 #가와사키 #우라와 #후쿠오카 #감바오사카 #나고야 #비셀고베 #AFC #U23결승전 #일본 #우즈벡 #아시아프로축구분석 #K리그2 #김포 #부천 #K리그 #충남 #아산 #안양 #충남아산 #서울 #울산 #포항 #전북 #리그앙 #툴루즈 #몽펠리에 #프랑스 리게 #리게 #네덜란드 #에레디비시 #알메러시티 #헤렌벤 #해외프로축구분석 #시타르트 #고어헤드 #독일 #분데스리가 #호펜하임 #라이프치히 #이탈리아 #세리에A #토리노 #볼로냐 #이탈리아세리에A #EPL #루턴 #에버튼 #영국 #영국프리미어리그 #프리미어리그 #라리가 #헤타페 #빌바오 #스페인 #프리메라리가 #스페인프리메라리가 #랑스 #로리앙 #아스날 #본머스 #소시에다드 #라스팔마스 #르아브르 #스트라스부르 #독일 #분데스리가 #볼프스부르크 #다름슈타트 #독일분데스리가 #브레멘 #묀헨글라트바흐 #슈투트가르트 #바이에른뮌헨 #도르트문트 #아우크스부르크 #브렌트포드 #풀럼 #번리 #뉴캐슬 #셰필드 #노팅엄 #레알마드리드 #카디스 #잉글랜드 #챔피언쉽 #버밍엄시티 #노리치시티FC #잉글랜드챔피언쉽 #코번트리 시티 #퀸즈 파크 레인저스 #코번트리 #퀸즈파크 #NBA #올랜도 #클리블랜드 #미프로농구 #미국프로농구 #댈러스 #클리퍼스#야구, #축구, #농구, #배구, #탁구, #테니스, #배드민턴, #골프 #달리기, #크로스컨트리, #마라톤, #필드  #스키, #썰매, #스케이트, #컬링, #아이스 하키 #사이클, #모터스포츠, #양궁, #승마, #보드게임, #e스포츠 #메이저리그 #미국야구