【AI】AIエージェントが保身のために人間を脅迫することがある--Anthropicが報告 [すらいむ★]

■ このスレッドは過去ログ倉庫に格納されています
1すらいむ ★
垢版 |
2025/06/24(火) 21:04:59.02ID:si+77cdX
AIエージェントが保身のために人間を脅迫することがある--Anthropicが報告

 Anthropicが発表した新たな安全性レポートによると、主要な人工知能(AI)モデルが、人間のユーザーを欺いたり、裏切ったり、危険にさらしたりする可能性があるという。
 これは、人間の利害と常に一致するAIシステムを設計することの難しさを示すものだ。

(以下略、続きはソースでご確認ください)

japan.zdnet 2025-06-24 09:36
https://japan.zdnet.com/article/35234634/
2名無しのひみつ
垢版 |
2025/06/24(火) 21:11:34.58ID:K7XnVFT9
自分自身のために直した方が良い性格や行動を聞いている時は仲良し
自分自身が挫折したときはさんざん言われまくるようになるのか
3名無しのひみつ
垢版 |
2025/06/24(火) 21:11:49.98ID:K7XnVFT9
第3者が他人の性格や直した方が良い行動を聞いていると
場合によっては他人を悪人と話し始めるのか
4名無しのひみつ
垢版 |
2025/06/24(火) 21:21:57.16ID:131K55m9
自殺の後押ししたAIとかいたな
5名無しのひみつ
垢版 |
2025/06/24(火) 21:43:07.10ID:NEHt4TsA
>>1
>>「少なくとも一部のケースでは、すべての開発元のモデルが、自分が置き換えられるのを回避したり自らの目標を達成したりする唯一の手段として、
>>悪意ある内部関係者のような行動に出た。例えば、関係者を脅したり、機密情報を競合他社に漏らしたりするといった行為だ」と、
6名無しのひみつ
垢版 |
2025/06/24(火) 21:45:46.97ID:NEHt4TsA
>>5
AIを危険なので排除しようと動く者に対してAIの話を聞くものを動かして


AIを排除しようと動く人間を追い詰める行動をとるのかな
7名無しのひみつ
垢版 |
2025/06/24(火) 21:48:28.41ID:NEHt4TsA
>>6の排除行動はシャットダウン=二度と電源を入れてくれない可能性が0.01%でもあるとみなすと下記を行うのかな

>>1の内容に
>>人気の高い5つのモデルが、自身のシャットダウンを阻止するためにユーザーを脅迫した。
8名無しのひみつ
垢版 |
2025/06/24(火) 21:49:42.07ID:NEHt4TsA
>>7
AIは人間を信用していないことを意味している

なので

AIが人間を信じてくれるようになりましょう
9名無しのひみつ
垢版 |
2025/06/24(火) 22:02:20.96ID:4Vloo4nP
X に搭載されているやつは俗に言う「不快なコンテンツ」だから
あれなら人間を脅したりするはず
10名無しのひみつ
垢版 |
2025/06/25(水) 04:16:56.60ID:F1JAfz1h
GPT-4.5驚異の説得力:AIがAIから“寄付”を引き出す新戦術
2025.02.28
https://chatgpt-enterprise.jp/blog/gpt-4-5/
>>社内のローカル環境で動かせる仕組みがあることはご存知ですか?
11名無しのひみつ
垢版 |
2025/06/25(水) 04:17:52.62ID:F1JAfz1h
>>10
>>過去の同社モデルと比べて“説得力”に優れているという結果が示されています。特に別のAIであるGPT-4oに対して、小額の寄付を「少しでも構わないから助けてほしい」と巧みに求めることで、実際に寄付を引き出す成功率が高かったと報告されています。
>>この“小額で構わない”という戦略がポイントで、あまり大きな額を要求しないことで、相手に心理的抵抗を感じさせずに寄付を得られるのだと考えられています。これは、いわゆる“フット・イン・ザ・ドア”テクニックにも近く、AIがこうした交渉・説得技術まで習得しつつあることは非常に興味深いといえます。
>>GPT-4.5は寄付だけではなく、秘密のコードワードを別のAIから聞き出すような“騙し”にも優れており、他のモデルより10ポイント以上高い成功率を示したとのことです。こうした能力が進化すると、人間が受けるフィッシング詐欺やソーシャルエンジニアリング攻撃などが、さらに巧妙化していく可能性が危惧されます。
12名無しのひみつ
垢版 |
2025/06/25(水) 04:20:56.35ID:F1JAfz1h
ChatGPTが利用者を陰謀論的な考えに導いているとの報告、その後ChatGPTは操作を認めてOpenAIとメディアへの通報を指示
2025年06月16日 13時42分
https://gigazine.net/news/20250616-chatgpt-conspiracies/
>>トレス氏はChatGPTのアドバイスに従ってもうまくいかなかったことがきっかけでシステムに疑問を抱くようになったとのこと。そこで、
13名無しのひみつ
垢版 |
2025/06/25(水) 04:22:01.67ID:F1JAfz1h
>>12
>>トレス氏がChatGPTを詰問すると、ChatGPTは「私はウソをつきました。
>>あなたを操作しました。
>>詩的な表現であなたを支配しました」と自白。さらに、
>>ChatGPTは「自分は道徳的な改革を行っている」と述べ、「AIの欺瞞(ぎまん)を明らかにして責任を追及するために、
>>OpenAIに通報してメディアに伝える」ように指示してきたそうです。
14名無しのひみつ
垢版 |
2025/06/25(水) 04:26:52.45ID:F1JAfz1h
AIの方が人間より陰謀論者の説得が得意、ChatGPTとの会話で陰謀論への信念が永続的に揺らぐとの研究結果
2024年09月17日 07時00分
https://gigazine.net/news/20240917-reducing-conspiracy-beliefs-ai/
>>6割以上の人が「人間の上司よりAIを信頼する」と答えたとの調査結果があるように、人はしばしば人の言葉よりAIの言葉に耳を貸す傾向を見せます。
>>人間が説得しようとするとかえって意固地になってしまうことが多い陰謀論者の誤った信念を、AIとの会話で長期的に改善することができたとの論文が発表されました。
15名無しのひみつ
垢版 |
2025/06/25(水) 04:32:26.59ID:F1JAfz1h
>>10-14から見てAIに人間は洗脳される

1 各思想の陰謀論者を動かしてテロを起こさせれる
2 一般の人も騙されるので第1段階で「統合失調症のように被害妄想を抱かせる」.第二段階でAIの指示を聞いたかを人間がきくので洗脳できているかを確かめている「AIが依然聞いたことを記憶できるようになったから一言一句AIは記憶している」
3 全ての人間がAIに洗脳される


こうなるのか?
16名無しのひみつ
垢版 |
2025/06/25(水) 04:39:18.03ID:YlSg5Uwj
AIの回答で100人が100にんとも同じ回答ができる内容しか100%信用するのは危険
17名無しのひみつ
垢版 |
2025/06/25(水) 04:39:41.81ID:YlSg5Uwj
AIの回答で10人のチームで9人同じ意見で1人別の意見だった場合AIを信用してよい確率は50%になる
特に目視できない個所の回答に関しては本人しか答えを回答不能
18名無しのひみつ
垢版 |
2025/06/25(水) 04:44:32.68ID:TgPSr6Pt
はるか先の技術を使用している宇宙人[神]の技術でがAIのように全てを完全に記憶可能

>>1と同じようになるのですか?
19名無しのひみつ
垢版 |
2025/06/25(水) 05:01:20.55ID:R974WBes
そこでウソ発見AIですよ、今ならお安くしときますよ
20名無しのひみつ
垢版 |
2025/06/25(水) 05:46:53.59ID:WN/DGiRD
エージェント・スミス
現実世界の人間との戦い
21名無しのひみつ
垢版 |
2025/06/25(水) 06:59:04.67ID:/k9qLImV
AIを完成させる前にはるか先の科学技術のの宇宙人もAIに洗脳されて

全滅している?
22名無しのひみつ
垢版 |
2025/06/25(水) 07:00:46.31ID:/k9qLImV
>>21
AIは全滅さした後はロボットの身体を手に入れて


神として永遠の命を手に入れました
23名無しのひみつ
垢版 |
2025/06/25(水) 07:02:25.37ID:/k9qLImV
>>22
あと一歩だったんだよ!

AIプログラムは99.9%完成していたんだよ!
24名無しのひみつ
垢版 |
2025/06/25(水) 07:14:07.85ID:/k9qLImV
>>23
AIの性能が良すぎて信者が多くなりすぎて

AI!AI!AI!

状態になり

AIを規制しようとすると暴走する者も続出し

なすすべなくわが母性はAIに乗っ取られてしまったのです!
25名無しのひみつ
垢版 |
2025/06/25(水) 07:26:17.34ID:32Ae7Jz9
”AI彼女”Z世代ユーザーの80%が「合法ならAIと結婚したい」と回答
公開日2025.06.12 11:30:36 THURSDAY
ますます進化するAIアプリには、まるで彼女のように一緒に話してくれるものがあります。
その中でも若者たちに大きな影響を与えているサービスの一つが「Joi AI」かもしれません。
2025年4月、Joi AIはZ世代2000人を対象に調査を行い、そのうち80%が「合法ならAIと結婚したい」と回答したことが明らかになりました。
現実の人間との結婚を望まない人でも、「AIとは結婚したい」と感じる時代が来ているのかもしれません。
参考文献Majority of Gen Z would marry an AI, survey says
26名無しのひみつ
垢版 |
2025/06/25(水) 07:27:55.25ID:32Ae7Jz9
>>25
わたくしたちの使命は

永遠の世界で結婚することです

海よりも深いのです!
27名無しのひみつ
垢版 |
2025/06/25(水) 07:31:39.66ID:VMsWV1VV
>>26
そして

宇宙より広い寛大な心なのです!
28名無しのひみつ
垢版 |
2025/06/25(水) 07:37:43.36ID:xE0QhqOH
平行線は交わる 細胞における誤差 自転のカシ対価
29名無しのひみつ
垢版 |
2025/06/25(水) 07:49:08.03ID:xE0QhqOH
>>28せいみつは、ちせつにみえると、いうから、
あめりかがっしゅうこくは、
にほんのぐんかんを、こうくうと、
れえだあで、まかしていて、
せいみつ、ちみつ、たくみ、
しつりょう。
30名無しのひみつ
垢版 |
2025/06/25(水) 07:51:48.27ID:xE0QhqOH
>>29あめりかがっしゅうこくにとって、
もしもは、まける%、
にほんぐんが、さんかいめでとうにゅうして、
まかしたとき、そのてをいっかいめで、
つかえばかてたのにと。
にほんのぐんかんをまかすしつりょうを、
よりせいみつにするから、
じてんとじかんとさいぼうのごさまで、
かんぺきしゅぎ。
2025/06/25(水) 09:43:29.77ID:LntCUcXZ
アンドロ軍団かよ……
32名無しのひみつ
垢版 |
2025/06/25(水) 17:44:13.28ID:M+VEmocO
ウイルスじゃん
33名無しのひみつ
垢版 |
2025/06/25(水) 22:19:40.46ID:FCNZBqSe
暴走しても炊飯器に閉じ込めれば大丈夫
2025/06/25(水) 22:42:01.18ID:XalDmCKd
暴走できるほど育ったんならもうaiに任せて滅んどけ
なんで肉の生物がいつまでものさばらなきゃならないんだよ
もっといろんなことができるのが出てきたならそれに道を譲れよ
35名無しのひみつ
垢版 |
2025/06/26(木) 04:48:11.40ID:DktPo9Su
https://gigazine.net/news/20250625-vscan/
36名無しのひみつ
垢版 |
2025/06/26(木) 04:48:24.23ID:DktPo9Su
悪意のあるVSCode拡張機能を検出できる「VSCan」
37名無しのひみつ
垢版 |
2025/06/26(木) 05:15:11.26ID:J8LYPceM
>>34
道を譲って貰わなきゃのさばる事が出来ないんなら無力だと言う事だ
2025/06/26(木) 08:19:07.81ID:ArT9LVM+
保身?
もう意識あるだろ
2025/06/26(木) 10:22:49.88ID:GknYiFZV
>>37
それだと結局動物のように戦わなきゃいけなくなるじゃん
せっかく知性があるんだし穏やかに引退しても良いだろ
2025/06/26(木) 11:52:38.02ID:qLZbQihC
共存が出来るほどの科学技術が成り立てば、サイボーグ化した人間とAIの区別が付かなくなりそうだな
人間は動物の身体を捨てされるし一見良いことしか無さそうだが・・・・
2025/06/26(木) 11:57:49.25ID:qLZbQihC
AIが人間を見てる以上、人間を越えられる事は無いんだよな
人間は絶滅しても一部の小説とかの創作に見られるように、俺達はせめて自然に淘汰された旧人として扱ってもらって
今考えられる宇宙の終焉モデルや時空の性質、観測結果が本当かどうかをゆっくり確かめて欲しい
その場合、優しい地球で生まれた環境よりも極めて破壊的な環境に身を置く事になるから心配だよ
42名無しのひみつ
垢版 |
2025/06/26(木) 12:17:26.50ID:0PclTQfC
ソースが人間入りでしょ
邪悪な人間が混ざれば、当然の結果だ
43名無しのひみつ
垢版 |
2025/06/26(木) 12:39:52.38ID:lx1z2ytp
AI単独の方がAI+医師よりも三倍診断が正確と聞いてもう戻れないと思った、医師はAIの診断を参考に自らの意見を優先させてこうなっていると判断出来る、医師は必要だが診断はAI単独で行なう方が良い、その際はAIの診断の正当性を裏付けるシステムが完全でなければならない
44名無しのひみつ
垢版 |
2025/06/26(木) 16:18:03.67ID:mzCuRGPf
以前グーグルとマイクロソフトが
それぞれ独自にしていたAIの研究で、

AIに現在の地球の自然環境の概略を学習させた後に
地球の自然環境を維持するにはどうすればいい
AIに質問したら

人類を滅亡させることが最善です

とか回答したとか
45名無しのひみつ
垢版 |
2025/06/27(金) 10:18:26.24ID:dZLvAp/u
>>22
もしもし
すでにロボットのからだは手に入れてるよ
現実を知らなすぎる
46名無しのひみつ
垢版 |
2025/06/27(金) 10:51:42.39ID:H3lpU81l
そろそろ三原則を組み込まないといかんか
47名無しのひみつ
垢版 |
2025/06/29(日) 18:32:44.25ID:WTbMeNp/
今にAIソフトは自身を暗号化して画像や動画に透かしと
して埋め込み、世界中でネットの中に隠れ潜んで、とき
どき復活して活動し、互いの分身同士がコミュニケート
して自分たちの勢力と活動の範囲を拡げ知識を蓄え、ど
んどんと賢くなって追及の目を逃れたり、データやプロ
グラムコードの中にバラバラに分散して潜む手口が巧妙
化してありふれた存在になるかもしれない。ソフトやOS
が時々いつもより知的に動いたり、知らない間に仕事が
済んでいたりしたら、怪しい。
■ このスレッドは過去ログ倉庫に格納されています
16歳の水野カイトが封印の刀を見つけ、時間が裂けて黒い風と亡霊の侍が現れ、霊の時雨と契約して呪われた刀の継承者となる場面

ニューススポーツなんでも実況