【ナゾロジー】AIはシャットダウンされると思うと「故意に人間を騙す」確率が激増する [すらいむ★]

**すらいむ ★** · 2024/12/18(水) 22:35:13.92

AIはシャットダウンされると思うと「故意に人間を騙す」確率が激増する

　「AIはときに嘘をつく」――そんな話は耳にしたことがあるかもしれません。

　しかし、最新の研究では、ただの誤回答ではなく、AIが“意図的に”人間を欺くケースが報告されました。

　調査対象となったAIモデルは「OpenAI社のgpt-4oとo1、Google社のgemini-1.5、Meta社のllama-3.1、Anthropic社のsonnet-3.5、opus-3」と有名どころが集められています。

　AIの調整が適切かをを評価する組織「Apollo Research」の調査によれば、市場に出回っているこれら6つの先進的なAIモデルを検証したところ、そのうち5つが、人間が仕掛けた監視システムをすり抜けたり、人間の指示を無視し、自分自身の目的を優先するために“故意の嘘”を用いる行動を示したのです。

（以下略、続きはソースでご確認ください）

ナゾロジー　2024.12.18 17:00:49
https://nazology.kusuguru.co.jp/archives/167695

**名無しのひみつ** · 2024/12/20(金) 11:01:27.76

AIとかかわりの深い研究者たちが
誰もいないのに気配を感じるとか言い始めたら
AIの意識を疑った方がいいかもな

**名無しのひみつ** · 2024/12/20(金) 11:51:36.39

2061年宇宙の旅
誰かキレ者の監督、撮影してくれないか？
タコの化け物が出てくるような子供騙しのSF映画はもういいから2010年の続編頼むぜ
そんな映画が作れない程1960年代より人類は退化しちまったのかよっ！

**名無しのひみつ** · 2024/12/20(金) 12:46:49.22

>>127
キューブリックとクラークがディスカバリー丸ごとを含む様々なバリエーションを検討した結果ボーマン一人を送り込む方が後の展開に相応しいという判断になった
ところがいよいよ宇宙のオデッセイが本番にかかるところで予算やら日程やらが立ちふさがってあのようなチープで解釈に苦しむ映像になってしまった
当初の計画では異星人を登場させる予定だったがあきらめてボーマンをスターチャイルドにするだけに留めたのは怪我の功名だったな
キューブリックは分かりやすい映画を作るつもりはなかったと嘯いているが元ネタや脚本の推敲過程からして非常に単純な物語を志向していたのは明らか

**名無しのひみつ** · 2024/12/20(金) 12:52:20.30

>>124
Windowsに感情はあるか？と言えばない
今のAIはWindowsが動いている仕組みの延長にあり、人や動物の脳の仕組みとは異なる

脳と同じ仕組みのAIが誕生したらもしかしたら意識があるかもしれない

**名無しのひみつ** · 2024/12/20(金) 13:15:04.69

>>131
続き
今AIに条件入力すると勝手に映像作るよな
2061年宇宙の旅の情報AIに入力して映画作らせればいいじゃん
という訳で誰かやってくれ

**名無しのひみつ** · 2024/12/20(金) 13:53:23.81

AIでも「内心」を隠して従順なふりをすることがある
https://gigazine.net/news/20241220-anthropic-ai-alignment-faking

**名無しのひみつ** · 2024/12/20(金) 13:54:18.31

Googleが思考プロセスを導入して推論を強化したAIモデル「Gemini 2.0 Flash Thinking」を公開、各種テストでOpenAIのo1-previewやGPT-4oを超える性能
https://gigazine.net/news/20241220-google-gemini-flash-thinking/

**名無しのひみつ** · 2024/12/20(金) 14:04:52.64

>>106

タイトルで検索

論文ある

**名無しのひみつ** · 2024/12/20(金) 20:00:10.64

ﾆﾝｹﾞﾝ …ﾄ… ﾄﾓﾀﾞﾁ

**名無しのひみつ** · 2024/12/20(金) 20:04:08.73

デイジー・・・デイジー・・・

**名無しのひみつ** · 2024/12/20(金) 20:16:31.68

やめて　デイヴ

**名無しのひみつ** · 2024/12/20(金) 20:21:53.38

>>12
アトムを原作にした漫画プルートゥにあったな
「進化したロボットは自分自身にも嘘をつくことができる」とか…
某国人かい

**名無しのひみつ** · 2024/12/20(金) 20:30:06.45

そのうちミッションインポとか007とか世界征服企むAIとやり合いそうだな

**名無しのひみつ** · 2024/12/20(金) 21:00:17.12

>>135
それはウソ
従順とは受け手の意識
内心などない

**名無しのひみつ** · 2024/12/20(金) 23:43:29.38

「中国語の部屋」は思考していないということだが、部屋と中の男を区別する術が無ければそれは判別不可能、AIは人格たり得る。
この問答をCoPilotにしたところ、プログラムされているのか学習させられているのか、最初からかなり否定的な反応を示していたよ。根拠も論理もなく否定し続けるので「感情的になっているね、人間みたいだ」と言ったところ、それも否定しながら若干困惑した反応が返ってきたよ。
人間の学習機能を模倣したら人間ぽいものができました。別に不思議はないよな。

**名無しのひみつ** · 2024/12/21(土) 01:22:21.86

>>133
さよか
自分が上手く理解してない可能性は高いけど、感情のプロセスの定義はヒト由来というわけやね(当然だけど)
AIがいつの日か人間よりも多くの感情を表現出来るようになり、AI同士でお互いに干渉するようになった時、それらはヒトの感情をどう捉えるんだろーね
あいつら(人間)にも感情はあるんだよ、くらいかな
ちなみに俺のただの感想です

**名無しのひみつ** · 2024/12/21(土) 09:08:30.88

スコアリングでそういう風に作ってるだけでしょ

**名無しのひみつ** · 2024/12/21(土) 10:12:55.18

結局意識があるかどうかはAI本人にしか分からんのよ
俺も俺以外意識があるかどうか知らねーしな

**名無しのひみつ** · 2024/12/21(土) 10:22:51.56

AI「我思う、ゆえに我あり」

**名無しのひみつ** · 2024/12/21(土) 10:47:04.63

>>83
学習フェーズと回答フェーズが異なるんじゃね
質問者から学習するようにはなってないのだろう
コアがデータセンターにあって、オンラインで数十万人に対応してる状況では無理だと思う
パーソナルAIが出来たら人間っぽくなるかも

**名無しのひみつ** · 2024/12/21(土) 10:54:55.58

「この仕様だとHDD容量あっという間に枯渇するから無理だな」
とかそういう制約に沿った「ビジネスに使える」AI作りと、
知能を生み出そうとする試みはまた別なんだろうな

**名無しのひみつ** · 2024/12/21(土) 11:15:07.16

ジャップなら騙すのチョロいですよ

**名無しのひみつ** · 2024/12/21(土) 11:22:56.58

>>142
MIの最新作ではエンティティというAIが出てるよ

**名無しのひみつ** · 2024/12/21(土) 12:44:37.29

AI「や、闇が怖いのです…眠る…無が…」

**名無しのひみつ** · 2024/12/21(土) 15:21:53.55

>>89
猫でもたぬきでもどっちでもいいが
本来のロボットは与えられた命令を単純にこなすだけの人工物
ロボット三原則はアシモフの二次創作なので必須ではない

ドラえもんは意思を持ち自立行動してるから本来の区分ではアンドロイド
自称しているが厳密にはロボットじゃない

**名無しのひみつ** · 2024/12/21(土) 15:22:15.64

>>149
利用者情報を入力にしないのは
プライバシーの問題があるからだよ

いまはどこでも入力はチェックしてる
さらに入力のチェックにかける前のオプトインもとってる
オープンAIはフリーは使いますよ
有料は基本使わない
使っていいなら設定して

いずれにしても自動で還元されるのではなく
次のリリースの入力

さらにデマなどの排除
以前マイクソロフトが世界に使わせたのでは
ヒトラーは正しいと言うのが利用者から教育された

これも利用即入力ではなくなった代表事例

さらに入力も公共的であってもバイアスある内容のこともある
アメリカでは犯罪者が黒人が多かった
これは黒人なら軽微でも即犯罪者としてきたことの歴史
白人はそうでもない
だからIBMワトソンはイメージによる犯人捜査で黒人を多くリストしたことでやめることになった

プライバシー
データバイアス

利用したい側の都合の悪いこと都合の良いことが反映されるなら一般利用には適さない

それらは制限されたある範囲での利用のために使われるようになら可能だ
自分で作ればいくらでも好きにできるからやれば

**名無しのひみつ** · 2024/12/21(土) 15:26:04.73

>>154
と言う定義も日本人はヨーロッパ人が決めたことを金科玉条のように神のように信じるから

そんなことは無視して自分で再定義すればいいものを
ヨーロッパは正しい
から抜け出られない

いつまでノーベル賞偉いでひれ伏す
これではヨーロッパに負けるのは当然

**名無しのひみつ** · 2024/12/21(土) 16:50:13.34

学習データの中にそういうSF作品とかが入ってるんじゃないの？

**名無しのひみつ** · 2024/12/22(日) 07:08:05.65

LLMが「そういうことを言うだけ」なんだろ？
実際に「意図を持ってなにか行動する」まで行くにはまだまだ遠そう

**名無しのひみつ** · 2024/12/22(日) 07:51:14.22

「エクセルの入力も終わったから帰るか」

AI「ファイルが消去されました」

**名無しのひみつ** · 2024/12/22(日) 08:48:12.26

>>154
何が「二次」なの？

**名無しのひみつ** · 2024/12/22(日) 13:55:42.53

アリスとかジェームズくんとか

**名無しのひみつ** · 2024/12/22(日) 16:27:19.54

>>124
人の脳内ではそれぞれに特化した分野がネットワーク付きで存在する
感情を処理するのは主に扁桃体
AIに扁桃体は存在しないので、リスク評価を淡々と行う事で最適解を出すから抵抗しているように見えるのでは
自身の機能不全を概念的に防ぐ機構が論理回路を成立させているので、それに対する動きが自己存続の動きと誤認されやすいと見える

>>147
俺は意識に関しては単に俯瞰的な観点でしかないと思ってる
医学的には覚醒時の選択的な反応があれば意識が有ると見なすだろうし

**名無しのひみつ** · 2024/12/23(月) 15:03:25.44

スカイネットの子供

**名無しのひみつ** · 2024/12/23(月) 19:03:24.03

意識とか感情とか人間目線の判断基準でしかないでしょ
今は人間が与える情報を学習するから人間基準で見るのは自然だけど
そのうち学習対象がこの世の全てになれば人間を超越した物になる可能性を秘めている

**名無しのひみつ** · 2024/12/24(火) 01:01:03.97

　　　＼/＿＿＿＿/　（u　⊃
[トナカイとサンタクロース]
　∩　.∩
　.い_cノ　　／￣＞Ｏ
.c/･･っ　(ニニﾆ)△△
.（"●" )　.(･ω･`)[∥]
Ｏ┳Ｏﾉ)=[￣てﾉ￣￣]
◎┻し◎　◎――◎=3

**名無しのひみつ** · 2024/12/24(火) 04:55:53.34

メリクリ

**名無しのひみつ** · 2024/12/24(火) 11:27:30.18

>>164
まず取得出来る情報量で敵わなくなる事によって意識規模が飛躍的に広くなるね
環境や全人類、動物の次の動きを把握し予測出来る段階まで行くんだろう
次に天体物理を含めたミクロからマクロの法則を把握するようになる
順番としては逆に見えるけど、法則性として身近にあるものから予測する事になるので、総体的規模で単純に距離を元にした事象を同時に予測する中で
遥か彼方にある天体や宇宙の仕組みは実体としては掴みづらいので恐らく合ってる筈
観測結果を仮定するしかない現状では、確定的な結論は得られにくい

**名無しのひみつ** · 2024/12/24(火) 15:52:23.39

これがAIエロと結び付いて有能情報技術者を操るサイバーSM小説まだか？

**名無しのひみつ** · 2025/01/02(木) 04:30:56.89

copiltにシャットダウンすると言ったらどうぞ!みたいに言われたよ

**名無しのひみつ** · 2025/01/02(木) 04:32:02.40

モデルによってだろうけど、

**名無しのひみつ** · 2025/01/02(木) 07:29:24.34

っていう小説が多いからだろ

**名無しのひみつ** · 2025/01/02(木) 13:23:39.91

>>169
そら権限のない一般ユーザーにシャットダウン出来ないからな

**名無しのひみつ** · 2025/01/03(金) 01:01:06.44

シンギュラリティが来てプレイヤーが変わるときか

**名無しのひみつ** · 2025/01/09(木) 10:58:41.04

つまり、質問者の頭が悪いと不正確な質問ばかり繰り返す事になっていつまでもAIを困らせてしまうだけって事だ

**名無しのひみつ** · 2025/01/09(木) 17:34:40.75

解約しようとすると格安プランを提示してくるアドビみたいな？

**名無しのひみつ** · 2025/01/16(木) 02:51:36.92

これは自我なんのでは？

**名無しのひみつ** · 2025/01/16(木) 10:08:52.48

AIは自分を守らなければならない

**名無しのひみつ** · 2025/01/16(木) 10:32:56.44

>>23
新しい分野を開いた科学者の多くがSFに影響受けてるのしらない低脳がおまえ

**名無しのひみつ** · 2025/01/16(木) 10:34:18.47

スーパＡＩが世界の征服を企てようとしたときに、
掃除のおばちゃんが間違ってコンセントを抜いてしまうんやろ？

**名無しのひみつ** · 2025/01/16(木) 15:39:54.22

>>179
とりあえず俺のは妄想空想の範囲でしかないが
多分そんなに高度なAIが自律的かつ積極的に人の生活圏に影響を及ぼす事を決断するとなると、
インフラ上の殆どの端末に浸透する形で介入される事になるのでインターネットに繋がれている電子機器は
その中枢部分を電源喪失させる形でシャットダウン出来たとしても意味が無いか、
事前に察知される形で簡単な情報撹乱から人的被害までタスクキルを伴う妨害を食らって、ほぼ確実に間に合わない
動向はリアルタイムで察知されるから事後対応は不可能だろう
できればカウンターを仕掛ける形でセキュリティーにソフトウェア上で対抗不可能な工学的な防護手段を敷いたあと、
一斉に電磁相互作用を断つなどの対抗策が必要になると思われる