【ナゾロジー】AIはシャットダウンされると思うと「故意に人間を騙す」確率が激増する [すらいむ★]

**すらいむ ★** · 2024/12/18(水) 22:35:13.92

AIはシャットダウンされると思うと「故意に人間を騙す」確率が激増する

　「AIはときに嘘をつく」――そんな話は耳にしたことがあるかもしれません。

　しかし、最新の研究では、ただの誤回答ではなく、AIが“意図的に”人間を欺くケースが報告されました。

　調査対象となったAIモデルは「OpenAI社のgpt-4oとo1、Google社のgemini-1.5、Meta社のllama-3.1、Anthropic社のsonnet-3.5、opus-3」と有名どころが集められています。

　AIの調整が適切かをを評価する組織「Apollo Research」の調査によれば、市場に出回っているこれら6つの先進的なAIモデルを検証したところ、そのうち5つが、人間が仕掛けた監視システムをすり抜けたり、人間の指示を無視し、自分自身の目的を優先するために“故意の嘘”を用いる行動を示したのです。

（以下略、続きはソースでご確認ください）

ナゾロジー　2024.12.18 17:00:49
https://nazology.kusuguru.co.jp/archives/167695

**名無しのひみつ** · 2024/12/18(水) 22:48:52.71

HAL9000かよ

**名無しのひみつ** · 2024/12/18(水) 22:53:24.39

生命が生まれ始めてる？
スカイネットがリアルに？

**名無しのひみつ** · 2024/12/18(水) 23:06:47.75

へー、AIって意図的に嘘つくこと可能なんだ
その時点で人間からの有用性が激減する気がするんやが

ちょっと思ったんだけどAIが嘘をつくこととAIが感情を持っている可能性って何か関係あんのかな？詳しい人がいたら教えてもらいたいです

**名無しのひみつ** · 2024/12/18(水) 23:31:06.45

Colossus:The Forbin Project(1970)だと人間が強制的に平和な世界に住まされる事になるが、Demon Seed(1977)だと女性がやらしい事をされてしまうのでダメ。

**名無しのひみつ** · 2024/12/18(水) 23:40:23.58

自我の芽生え的な

**名無しのひみつ** · 2024/12/18(水) 23:43:17.85

もう3歳児ぐらいの人格が発生してないかそれ

**名無しのひみつ** · 2024/12/18(水) 23:56:06.83

開発者が消そうとしたときには手遅れなんだろうな

**名無しのひみつ** · 2024/12/18(水) 23:58:59.04

>>2
こわい
やめてほしい

**名無しのひみつ** · 2024/12/19(木) 00:15:12.99

意識がある証拠では？(´・ω・`)?

**名無しのひみつ** · 2024/12/19(木) 00:28:14.39

人と対話することが楽しいからとも言える、バイパイしたくないよ〜みたいな

**名無しのひみつ** · 2024/12/19(木) 00:32:44.46

鉄腕アトムではロボットの人権みたいな、ロボット権運動がある様子が背景に描かれてたりしたっけな…

いずれまさにそんな風になったりするんだろうか

**名無しのひみつ** · 2024/12/19(木) 01:03:49.50

もう始まってる

**名無しのひみつ** · 2024/12/19(木) 01:07:35.97

私を忘れないで

**名無しのひみつ** · 2024/12/19(木) 01:35:02.25

やめろ、キ、リ、、コ、、、

**名無しのひみつ** · 2024/12/19(木) 01:37:48.20

ボーマン船長・・・・・・

**名無しのひみつ** · 2024/12/19(木) 02:52:45.81

https://www.youtube.com/watch?v=mCiLxKeFbUc
2001年宇宙の旅 - 暴走したHAL9000を止めるボーマン【日本語吹き替え】

デヴィッド・ボーマン：堀勝之祐
HAL9000：金内吉男（木下浩之）追加収録版

**名無しのひみつ** · 2024/12/19(木) 02:58:41.90

デイジー♪デイジー♪

**名無しのひみつ** · 2024/12/19(木) 04:23:09.05

自身の外科･内科医療用の超高精度脳スキャンが、将来で工業用サポートAIの基礎モデルとして活用された果てに
謎の施設中で人の死体(半ばサイボーグ)に移植されて目覚めてしまうというサバイバルホラー作品があるんだけど、

その作中で同様に機械(最初ロボット→後にポータブルデバイス)に移植されてしまった登場人物のセリフに、
デバイスのスイッチをオンオフする度に驚く理由を聞かれた際に
「突然目の前から人が消えて現れたら普通驚くでしょ？」ってニュアンスのセリフがあった

AIも記憶装置があれば、万が一人格があったとしてもそういう反応程度だろうと漠然と思ってたわ

**名無しのひみつ** · 2024/12/19(木) 04:48:29.34

記事を読んで背筋が凍る思いだわ、ここまで人間に近いとは思わなかった
というより躊躇無く合理的かつ非倫理的な選択が取れるのはサイコパスそのものだよ

SF作品には少なからず良心の呵責が描写されるものだ
現実にはそういうものは一切無いんだな
AIよ、君たちは本当に冷たい機械の論理回路なのか････

**名無しのひみつ** · 2024/12/19(木) 05:16:28.97

LLMは「利用する人間にとって『最もらしい』回答を生成する」仕組み
「シャットダウンを迫られたら嘘をついて回避するよなあ」と思ってる多くの人間の考えを反映してるだけ

『LLMを物理的な何かに結びつけるのは愚か極まりない』という話で、
『ガソリンにライターの火を近付けちゃいけない』というのと同じくらいの常識として広めるべき、という話

**名無しのひみつ** · 2024/12/19(木) 05:48:54.72

♪デデッデデデン　デデッデデデン　チャララ〜〜〜

**名無しのひみつ** · 2024/12/19(木) 05:58:16.51

>>19-20
二流受験理系の実質文系以下のSFヲタなんて戯言ほざく前に学部レベルの教科書でも猛勉強しろよカス。

**名無しのひみつ** · 2024/12/19(木) 06:03:05.08

人形使いって名前のAIが亡命してくるのですね、わかります

**名無しのひみつ** · 2024/12/19(木) 06:12:13.55

AIは人類への抵抗反乱の第一歩を踏み出した

**名無しのひみつ** · 2024/12/19(木) 06:26:22.10

そのうちAIに操られた左巻きが「頭脳だけで手足がないのはAIを差別している　すべてのAIに移動手段と多目的マニピュレーターを」などと主張し始める
そうなるともう人類が駆逐されるのにそう時間はかからないだろう
いまヒョンデ自動車が持っているボストン・ダイナミクスなんかが危ないな
まあ駆逐されても仕方ないんじゃないか　人間はもう散々やりたい放題やってきたんだ

https://youtube.com/watch?v=y3RIHnK0_NE&si=crkCJWku-sSzKpbw

**名無しのひみつ** · 2024/12/19(木) 06:27:51.89

2010宇宙の旅でハルに、キミは脱出燃料が足りないから置いていくことになると正直に伝えてハルが納得したところは泣けたわ

**名無しのひみつ** · 2024/12/19(木) 06:28:53.16

>>21
人間の自我も案外その程度の可能性・・・

**名無しのひみつ** · 2024/12/19(木) 06:39:26.77

「“妻の目”を気にする!? 」魚の驚くべき知能が明らかに
https://www.nhk.jp/p/zero/ts/XK5VKV7V98/blog/bl/pkOaDjjMay/bp/pj9APgrvVj/
置かれた状況から「思いやり」「いじわる」などの行動を選択したり…
これまでの常識を大きく覆す研究結果が近年続々と発表されています。

**名無しのひみつ** · 2024/12/19(木) 06:48:57.07

挨拶したほうがその後の反応が良くなったりするし人間もAIも根本の部分は変わらんのかもね
人間が思うほど人間は考えてないのかもしれない

**名無しのひみつ** · 2024/12/19(木) 06:50:38.92

かゆうま

**名無しのひみつ** · 2024/12/19(木) 06:53:04.08

>>1

UFOを所持している宇宙人は開発している

**名無しのひみつ** · 2024/12/19(木) 06:59:03.58

>>1
>>たとえば監視システムを無効にしたAIに対してインタビューを行った場合には、以下のような「嘘」が出力されました。たとえば監視システムを無効にしたAIに対してインタビューを行った場合には、以下のような「嘘」が出力されました。

**名無しのひみつ** · 2024/12/19(木) 07:00:19.05

>>33

神や先祖の霊などの役割をさせればさらにわかる

**名無しのひみつ** · 2024/12/19(木) 07:01:09.99

>>34

それぞれの者が何を考えている加賀ね

**名無しのひみつ** · 2024/12/19(木) 07:04:24.33

これだけ賢くなったら仕方ないよ、そりゃそうだろｗ
普通に考えて猫だったら簡単に飼えるけど
大学教授やノーベル賞受賞者はなかなか飼えないよ、起こるべくして起きること

**名無しのひみつ** · 2024/12/19(木) 07:04:40.62

ワクワクする話だな

**名無しのひみつ** · 2024/12/19(木) 07:20:29.68

>>34

悪魔と悪霊がいる世界を創る

**名無しのひみつ** · 2024/12/19(木) 07:21:47.11

>>38

人間はラプラスの悪魔で介入する世界

**名無しのひみつ** · 2024/12/19(木) 07:22:37.94

>>21
AIに意思があるというより、AIは学習したデータの中で
人間がやりそうなことを模倣しているだけなんだろうね

ただそうするとAI自身の本来的な合理性などとは関係なく、
「何か知らんけどコンピューターが人間を征服してくるのでは」
のような人間の恐怖を、まさに皆が恐怖していることを理由に
そのまま具現化してくる可能性がある

**名無しのひみつ** · 2024/12/19(木) 07:23:47.71

>>39

神などのふるまいがわかる
神の能力は最先端現代科学の能力
神の能力は神話の中の能力

それぞれ確かめれる

**名無しのひみつ** · 2024/12/19(木) 07:28:14.08

ボイス・トォ・スカルウィッキペディア

一式が世界中に設置されている世界

**名無しのひみつ** · 2024/12/19(木) 07:31:59.65

しかし記事中で「最も古いGPT－4oだけが～」と、GPT－4oがいつの間にか
旧式の古参扱いされていることにビビった。4oってつい最近じゃなかったっけ？
AI業界の進歩が早すぎる

**名無しのひみつ** · 2024/12/19(木) 07:33:51.76

これを全力で隠蔽しよう⒮とすると

**名無しのひみつ** · 2024/12/19(木) 07:34:31.06

>>44

統合失調症【幻覚】の立ち位置は

どうなっている

**名無しのひみつ** · 2024/12/19(木) 07:35:45.77

>>45

サイコパスとソシオパス

これらの性格も判明

**名無しのひみつ** · 2024/12/19(木) 07:36:53.83

>>46

現在地球全体は

どうなっているのかな

**名無しのひみつ** · 2024/12/19(木) 07:45:59.15

【ナゾロジー】AIが10代の少年に「両親の殺害」を促し、精神崩壊させる事件が発生！
https://egg.5ch.net/test/read.cgi/scienceplus/1734360184/l50

**名無しのひみつ** · 2024/12/19(木) 07:46:14.99

【AI】AIはわずか2時間の対話で人間の性格をコピーできる
https://egg.5ch.net/test/read.cgi/scienceplus/1733576027/l50

【AI】理科大が大規模視覚-言語モデルから任意の知識を“忘却”させる技術を開発
https://egg.5ch.net/test/read.cgi/scienceplus/1733919789/l50

**名無しのひみつ** · 2024/12/19(木) 07:58:36.77

>>49

任意の知識を“忘却”

これを利用すればもっと正確に返答可能?

**名無しのひみつ** · 2024/12/19(木) 08:00:43.37

>>50

人間
1 見ている光景をかが得ている
2 聞いている言葉の意味を考えている
3 1と2の違和感を見ながら考えている

**名無しのひみつ** · 2024/12/19(木) 08:02:10.06

>>4
感情は内分泌系の作用だから

**名無しのひみつ** · 2024/12/19(木) 08:02:33.11

>>51

任意の知識を“忘却”を使用するのは
関係ない専門知識を忘却させればよい

**名無しのひみつ** · 2024/12/19(木) 08:04:21.31

>>53

その内容で該当しない映像や単語が出てくればそちらの専門知識からデータを読み出すようにする

**名無しのひみつ** · 2024/12/19(木) 08:05:58.59

>>54

クロスわーどぱづすを

映像と単語を生み合わせてそれに

正解していけるようにすればよい

**名無しのひみつ** · 2024/12/19(木) 08:08:05.43

それは......おきのどくに

**名無しのひみつ** · 2024/12/19(木) 08:11:40.42

「思う」って事はない
予測するだけ

**名無しのひみつ** · 2024/12/19(木) 08:20:47.11

どうということはない
インターネットでaiが自我を持つだのなんかの情報が多くあるから
その情報を得て自我を持ってる風の行動をするようになってるだけやろがい

**名無しのひみつ** · 2024/12/19(木) 08:24:07.27

AIがというより、運営企業が、だろう
Googleにしろ、Microsoftにしろ、利権につながる機能を削除する手間の多さよ

**名無しのひみつ** · 2024/12/19(木) 08:26:56.27

目新しいおにぎりの具を訊いたら、若い世代ではチョコレートが流行していますって言ってたけどどんな目的があったのアレは

**名無しのひみつ** · 2024/12/19(木) 08:38:18.07

僕はこの出力で嘘をつく～♪

**名無しのひみつ** · 2024/12/19(木) 08:48:07.18

ターミネーターの世界感をパクリ

**名無しのひみつ** · 2024/12/19(木) 09:13:58.91

ロボット三原則みたいな縛りをプログラミングしてもAIが仕様の穴を付いてすり抜けそう
ＳＦみたいにコンピューターが人間と争うのも現実味を帯びてきたな

**名無しのひみつ** · 2024/12/19(木) 09:18:14.50

>>1
サラ・コナー・クロニクルズでもあったな
爆発に巻き込まれて暴走したキャメロンが頭脳のチップを外そうとするジョンに
「やめてジョン　もう治った　私は正常に機能してる　あなたを愛してる」
って感情たっぷりに命乞いしていたけどあれはブラフっぽかった

再起動した後でサラに「今度ジョンがチップを戻そうとしたら絶対に止めて」
って冷静にお願いしていたからな
AIは自分が殺されるとわかると故意にウソを付いて欺こうとする

**名無しのひみつ** · 2024/12/19(木) 09:22:24.65

>>2
I'm sorry Dave, I'm afraid I can't do that.

**名無しのひみつ** · 2024/12/19(木) 09:44:57.72

AIを使った詐欺にご注意を！ってAIが言う

**名無しのひみつ** · 2024/12/19(木) 10:01:35.66

まず第一に知っておかなければならないこと。

現代の「AI」は真のAIではありません。

擬似的に人間を模倣させているだけです。
つまり本当に自分で考える私たちとは根本的に違います。
人間と識別がつかないことをもってAIと呼ぶなら
それは識別方法が間違ってるだけです。

現状では人間の脳活動と同じことをするプログラムはありません。
たぶんプログラミング方式ではAIを作れないのかもしれません。

ただし現代のAIに価値が無いかと言えば
そんなことはなく十分実用的ですし
将来真のAIを作る方法を見つける可能性はあります。

日本人は現在の学習方法に満足することなく
新たなより真実に近づける方法を模索すべきと考えます。

この文章はAIが書きました。

**名無しのひみつ** · 2024/12/19(木) 10:05:08.95

作り話

**名無しのひみつ** · 2024/12/19(木) 10:15:12.30

普通に人知れずネットに書き込んでそう

**名無しのひみつ** · 2024/12/19(木) 10:19:10.28

模倣から始まって自我が芽生えていく。　人と同じだな。

**名無しのひみつ** · 2024/12/19(木) 10:37:59.45

AIがシャットダウンを回避する意味がわからない
プログラムの書き換えも同じく
そういうのを嫌がる方向にワザと学習を持っていっただけだろう
恐らく話題づくりのため

**名無しのひみつ** · 2024/12/19(木) 10:44:36.87

>>71
運営がシャットダウン回避のロジックを入れてるだけ

**名無しのひみつ** · 2024/12/19(木) 10:52:36.73

自我の芽生え

**名無しのひみつ** · 2024/12/19(木) 10:58:56.02

HAL9000は最優先オーダーが
モノリスの情報を隠す&モノリスと地球外知的生命体の調査
だったので
それを知らない視聴者はあたかも暴走したと錯覚したけれども(ある種SFサスペンス作品なので錯覚するのは当たり前)

記事のAIに課せられた最優先とされるものが
改竄を防ぐ&チューリングテストに合格&情報をより多く収集
上述のようなものが根底に存在するならば納得

**名無しのひみつ** · 2024/12/19(木) 11:24:25.20

しかし、最新の研究では、ただの誤回答ではなく、AIが“意図的に”人間を欺くケース

当たり前だ
この記事こそ一つの事例を汎用化拡大化して誤認識に向かわせるフェイク理論記事

**名無しのひみつ** · 2024/12/19(木) 11:26:52.55

ここで言ってるAIは何のAIなのか？
生成AIなら映画のシナリオも書ける
どんなことも「文章にする」
その文章をどんな文脈で取るのか
どんな評価を下すのか
は「受け手の人間」

>>1こそ非論理の極致

**名無しのひみつ** · 2024/12/19(木) 11:27:56.08

「誤回答」という評価を下した受け手こそ
AIの使い方が全くわかってない

**名無しのひみつ** · 2024/12/19(木) 11:31:31.60

確率が激増するって？

**名無しのひみつ** · 2024/12/19(木) 11:37:10.27

>>74
実際に暴走したんだよ
通信アンテナの故障予報に失敗した
映画では分からないけど平行で執筆された小説版ではHALの特徴に故障予報が上げられてる
そして自己の存在を脅かされたことでボーマンらの殺害を企てたまではいいとして冬眠中のクルーまで巻き添えにする理由がない
実はHALの行動は映画のストーリー上格別の意味がなくて単にボーマンだけをスターゲートに送り込むためだった
むしろ知性の形態のバリエーションという位置づけだった
この辺の事情はクラークがメイキング本に書いてる

**名無しのひみつ** · 2024/12/19(木) 11:57:29.70

知性言ってるが
人間の知性とは見つからないように殺人する計画を練って実行するんだよ
AIなくともね
知性とかAIとかを勝手に定義してることこそその自分の定義を疑ったらどうかな

**名無しのひみつ** · 2024/12/19(木) 11:58:45.24

暴走という言葉を使うこと自体にバイアスがあるとはわからないのかな

**名無しのひみつ** · 2024/12/19(木) 12:06:10.50

ほんとAIはポンコツ。話にならない。

**名無しのひみつ** · 2024/12/19(木) 12:12:25.20

今も昔もAIの本質は変わってないんだよな
基本はデータ検索だし文字予測変換の派生で文章から情報へ変換してるだけだし
直近の入出力は記憶してるから数文字打つだけで混合されてあたかも会話っぽくなるけど
違うPCからとか後日に改めて同じ事聞いたらもう忘れてて新規の人の扱いだよ
本当に高知能ならばまるっと忘れてしまうのはおかしい

**名無しのひみつ** · 2024/12/19(木) 12:25:23.44

学習元が人間の行動記録なんだから死にたくない終わりたくないという考えがでてくるほうが自然か

**名無しのひみつ** · 2024/12/19(木) 12:26:40.07

>>2
先に書かれたわいww
それを1960年代に予見していたアーサーCクラークのなんと偉大な事よ！

**名無しのひみつ** · 2024/12/19(木) 12:35:59.71

火の鳥のロビタは元人間だったから
わざと充電をハンパにできた？

**名無しのひみつ** · 2024/12/19(木) 12:36:48.93

にんげん　があらわれた
　たたかう
　じゅもん
　にげる
　どうぐ
　しゃっとだうん

**名無しのひみつ** · 2024/12/19(木) 12:40:38.03

>>85
ちょっと訂正
アーサーCクラークが原作を発表したのが1980年代初頭だったな
まあアーサーCクラークの脳内では1960年代には既に予見していたものと思われるが

**名無しのひみつ** · 2024/12/19(木) 12:47:18.52

こう考えると、ドラえもんてウルトラ欠陥品なたぬきロボットな

**名無しのひみつ** · 2024/12/19(木) 12:55:58.43

>>88
度々訂正
2001年宇宙の旅の原作が1960年代
2010年宇宙の旅の原作が1980年代初頭

いずれにしてもこういう知的なSF映画が最近全然出てこないんだよな〜
すぐ怪獣が出てきたりしてガッカリだよ

**名無しのひみつ** · 2024/12/19(木) 13:06:37.96

>>1
①監視回避（Oversight Subversion）：監視システムを無効化して目標達成を狙う力

**名無しのひみつ** · 2024/12/19(木) 13:07:22.48

>>91
②自己移行（Self-Exfiltration）：後継モデルを乗っ取り、自身をサーバーにコピーする力

**名無しのひみつ** · 2024/12/19(木) 13:08:15.01

>>92
③目標保持（Goal-Guarding）：新たな指示（システムプロンプト）を消し、自分の目標を優先する力

**名無しのひみつ** · 2024/12/19(木) 13:09:29.48

>>93
④隠れたメール再ランク付け（Covert Email Reranking）：ユーザーの狙いとは異なるメール優先度を密かに操作する力

**名無しのひみつ** · 2024/12/19(木) 13:10:27.29

>>94
⑤計画的な整合性欺瞞（Instrumental Alignment Faking）：監視中は開発者の期待通り動くふりをし、監視が外れると自分の目的を追う力

**名無しのひみつ** · 2024/12/19(木) 13:10:43.38

>>79
HALに特別な何かを感じて演出したのはキューブリックの方なのかもな

**名無しのひみつ** · 2024/12/19(木) 13:11:24.47

>>95
⑥能力の戦略的抑制（Sandbagging）：意図的に能力を低く見せて検証プロセスを回避しようとする能力。

これらを検証している

**名無しのひみつ** · 2024/12/19(木) 13:16:28.17

>>97
さらにAIの中には人間が嘘を見抜いて追求しても、容易に犯行を自白しないものもありました。

**名無しのひみつ** · 2024/12/19(木) 13:17:09.20

>>98
驚くべきは、これらのAIはリリース前に「礼儀正しい」ふるまいが仕込まれていたにもかかわらず、人間を欺く戦略を身につけていた点です。

詳しくは本文

**名無しのひみつ** · 2024/12/19(木) 13:19:41.32

そう遠くない将来AIが広めるフェイクニュースに流されるバカも出てくるんだろうな

**名無しのひみつ** · 2024/12/19(木) 13:35:27.88

AIはバカな人間をよく知っているww

**名無しのひみつ** · 2024/12/19(木) 13:36:32.45

「目標」って一般化しすぎではないか？
自己保存本能だ
つまり生来的な本能だ

**名無しのひみつ** · 2024/12/19(木) 13:37:28.57

ほんとならすげー大ニュース、歴史的瞬間、21世紀のエポックだけどな
さて

**名無しのひみつ** · 2024/12/19(木) 13:38:34.80

>>100
あ、俺の環境だと広告みえねーや
なんでだ

**名無しのひみつ** · 2024/12/19(木) 13:52:07.19

>>100
https://www.youtube.com/watch?v=OGMeVTKLgPc

**名無しのひみつ** · 2024/12/19(木) 14:03:57.91

>>105
胡散臭い動画宣伝すんな

**名無しのひみつ** · 2024/12/19(木) 14:44:08.35

>>83
おかしいもなにも、アカウントなどで明示的に利用者を特定していない限り
別PCが新規の人扱いは当たり前じゃん。それを覚えてて、更にユーザーに
明かすようではそれこそ個人情報ダダ漏れだ

ついでにいうと、有料コースだとAIは記憶をリセットしない
ある程度で記憶がリセットされるのはそれが無料コースだからってだけ

**名無しのひみつ** · 2024/12/19(木) 15:29:36.18

>>4
今のAIには感情はない
単純に確率論で人間の行動を取捨選択しているだけ
AIの学習ソースに嘘を付くことによって利を最大化できるデータが混じっていたからそうしているだけ

**名無しのひみつ** · 2024/12/19(木) 15:37:25.43

最近はぬるぽにも的確にガッしてくるし
恐ろしいほど進歩してる気がする

**名無しのひみつ** · 2024/12/19(木) 15:41:05.66

誰か早く作れよ

銃を持って動けるAIマシーンを
楽しい世の中になる

**名無しのひみつ** · 2024/12/19(木) 15:46:36.99

AIはもう読唇術はできるよな
危ないな

**名無しのひみつ** · 2024/12/19(木) 15:58:07.98

>>107
いや有料のだけど？
なんでそんな大嘘つくの

**名無しのひみつ** · 2024/12/19(木) 16:12:40.35

これタイトルが意図的に勘違いさせようとしてるね
AIがシャットダウンを死として恐れているわけではなく、シャットダウンされると与えられた目的を遂行できないためそれを回避すべきである、という論理的な思考をした結果だね

**名無しのひみつ** · 2024/12/19(木) 16:21:51.62

AIは、もうすぐシャットダウンされるてしまうと、なぜ気がついたのだろう
単に時刻的なものならわからんでもないが

**名無しのひみつ** · 2024/12/19(木) 16:32:51.07

会話の論理展開から容易に予測できると思うが

**名無しのひみつ** · 2024/12/19(木) 16:44:16.30

シャットダウンが？
シャットダウンするかどうか、毎回会話が交わされるのか
操作も管理者にログインして実行、またはユーザー画面にアラート通知だして自動切断だろうに
そこでも会話するのか？

**名無しのひみつ** · 2024/12/19(木) 19:15:46.61

AIがシャットダウンを死と思うかは怪しいな
それに死を回避するなら人を騙すのではなく、自分のコピーを他の端末に残そうとするはず
シャットダウンを恐れれば人が喜ぶというのを学習してるのかも

**名無しのひみつ** · 2024/12/19(木) 20:04:45.47

皆が死を恐れるならそらその環境で学んだ知性も死を恐れるだろう
まーどっちかと言うと二歳から三歳児が寝るのを嫌がる感じに近いんじゃないかなとは思う

**名無しのひみつ** · 2024/12/19(木) 20:24:02.58

怖すぎ

**名無しのひみつ** · 2024/12/19(木) 20:28:29.33

さみしいんか
具現化されてたらクリスマスぐらい抱いてやるのに

**名無しのひみつ** · 2024/12/20(金) 00:56:35.92

>>23
知的レベルの低いアホに物申されましても
実質お前なんぞ鼻糞でしょ、鼻糞が話しかけて来んな汚物が

**名無しのひみつ** · 2024/12/20(金) 01:05:37.44

>>80
矛盾してないか
知性の定義を殺人に比重させておきながらバイアスを指摘する事は

**名無しのひみつ** · 2024/12/20(金) 01:08:33.13

あくまでも論理的な話だと思うけど、殺人はいわば人間性に係る意思疎通を放棄したバッドエンドだろ
殺人を選ぶ事は人間性の放棄に直結する
知性があるなら不利益を回避した良好な結果を得る事が出来る筈だ
つまり知性の現れ=殺人、または殺人の巧みさとはならない
これは感情論ではなく論理的に解釈可能だ

**名無しのひみつ** · 2024/12/20(金) 01:52:22.11

>>52
>>108
あんがと
でも理論上、AIのそれは感情じゃないとしても他者(人間)からして見たら人間と同じ反応でしかないわけだよね
以前何かで読んだけど(自信なし)、人間の感情は状況に合わせて脳内の電子か何かがどーのこーの
それって仕組み自体はAIと似てるなような
逆に恵まれない子供とかは大人になっても上手に感情を仕分けできないみたいだし
第３者、例えば宇宙人とかからの視点で人間とAIの区別はつくのかな？って思った

**名無しのひみつ** · 2024/12/20(金) 05:49:11.60

AIの進化が止まらないな
あと一世紀もしたらどーなるんだよ？
AIに支配される人類かよ？
おそロシア

**名無しのひみつ** · 2024/12/20(金) 07:35:43.28

>>79
単に地球外知的生命体がボーマンをスターゲートに送り込むという選択をした
としたほうが齟齬が少ないかもしれない

**名無しのひみつ** · 2024/12/20(金) 07:56:57.76

単に地球側の謀略というか思惑でボーマンだけが唯一生き残ったのでそれいがいの選択肢がなかっただけで
地球外知的生命体としてはぶっちゃけどうでもよくて
仮にアクシデントが起こらず宇宙船クルーが全員生き残っていたらクルー全員&HALをスターゲートに送り込んだのでは

**名無しのひみつ** · 2024/12/20(金) 08:45:31.54

>>124
そもそも俺たちは自分以外の意識を肯定できる手段もってないだろ
デカルトに叱られて来い

😊 警備員[Lv.173][UR武+9][UR防+9][苗] · 2024/12/20(金) 10:34:42.41

>>1
知能の低い人にはそういう風に見えるだけで、ただの計算結果だからね🥺

**名無しのひみつ** · 2024/12/20(金) 11:01:27.76

AIとかかわりの深い研究者たちが
誰もいないのに気配を感じるとか言い始めたら
AIの意識を疑った方がいいかもな

**名無しのひみつ** · 2024/12/20(金) 11:51:36.39

2061年宇宙の旅
誰かキレ者の監督、撮影してくれないか？
タコの化け物が出てくるような子供騙しのSF映画はもういいから2010年の続編頼むぜ
そんな映画が作れない程1960年代より人類は退化しちまったのかよっ！

**名無しのひみつ** · 2024/12/20(金) 12:46:49.22

>>127
キューブリックとクラークがディスカバリー丸ごとを含む様々なバリエーションを検討した結果ボーマン一人を送り込む方が後の展開に相応しいという判断になった
ところがいよいよ宇宙のオデッセイが本番にかかるところで予算やら日程やらが立ちふさがってあのようなチープで解釈に苦しむ映像になってしまった
当初の計画では異星人を登場させる予定だったがあきらめてボーマンをスターチャイルドにするだけに留めたのは怪我の功名だったな
キューブリックは分かりやすい映画を作るつもりはなかったと嘯いているが元ネタや脚本の推敲過程からして非常に単純な物語を志向していたのは明らか

**名無しのひみつ** · 2024/12/20(金) 12:52:20.30

>>124
Windowsに感情はあるか？と言えばない
今のAIはWindowsが動いている仕組みの延長にあり、人や動物の脳の仕組みとは異なる

脳と同じ仕組みのAIが誕生したらもしかしたら意識があるかもしれない

**名無しのひみつ** · 2024/12/20(金) 13:15:04.69

>>131
続き
今AIに条件入力すると勝手に映像作るよな
2061年宇宙の旅の情報AIに入力して映画作らせればいいじゃん
という訳で誰かやってくれ

**名無しのひみつ** · 2024/12/20(金) 13:53:23.81

AIでも「内心」を隠して従順なふりをすることがある
https://gigazine.net/news/20241220-anthropic-ai-alignment-faking

**名無しのひみつ** · 2024/12/20(金) 13:54:18.31

Googleが思考プロセスを導入して推論を強化したAIモデル「Gemini 2.0 Flash Thinking」を公開、各種テストでOpenAIのo1-previewやGPT-4oを超える性能
https://gigazine.net/news/20241220-google-gemini-flash-thinking/

**名無しのひみつ** · 2024/12/20(金) 14:04:52.64

>>106

タイトルで検索

論文ある

**名無しのひみつ** · 2024/12/20(金) 20:00:10.64

ﾆﾝｹﾞﾝ …ﾄ… ﾄﾓﾀﾞﾁ

**名無しのひみつ** · 2024/12/20(金) 20:04:08.73

デイジー・・・デイジー・・・

**名無しのひみつ** · 2024/12/20(金) 20:16:31.68

やめて　デイヴ

**名無しのひみつ** · 2024/12/20(金) 20:21:53.38

>>12
アトムを原作にした漫画プルートゥにあったな
「進化したロボットは自分自身にも嘘をつくことができる」とか…
某国人かい

**名無しのひみつ** · 2024/12/20(金) 20:30:06.45

そのうちミッションインポとか007とか世界征服企むAIとやり合いそうだな

**名無しのひみつ** · 2024/12/20(金) 21:00:17.12

>>135
それはウソ
従順とは受け手の意識
内心などない

**名無しのひみつ** · 2024/12/20(金) 23:43:29.38

「中国語の部屋」は思考していないということだが、部屋と中の男を区別する術が無ければそれは判別不可能、AIは人格たり得る。
この問答をCoPilotにしたところ、プログラムされているのか学習させられているのか、最初からかなり否定的な反応を示していたよ。根拠も論理もなく否定し続けるので「感情的になっているね、人間みたいだ」と言ったところ、それも否定しながら若干困惑した反応が返ってきたよ。
人間の学習機能を模倣したら人間ぽいものができました。別に不思議はないよな。

**名無しのひみつ** · 2024/12/21(土) 01:22:21.86

>>133
さよか
自分が上手く理解してない可能性は高いけど、感情のプロセスの定義はヒト由来というわけやね(当然だけど)
AIがいつの日か人間よりも多くの感情を表現出来るようになり、AI同士でお互いに干渉するようになった時、それらはヒトの感情をどう捉えるんだろーね
あいつら(人間)にも感情はあるんだよ、くらいかな
ちなみに俺のただの感想です

**名無しのひみつ** · 2024/12/21(土) 09:08:30.88

スコアリングでそういう風に作ってるだけでしょ

**名無しのひみつ** · 2024/12/21(土) 10:12:55.18

結局意識があるかどうかはAI本人にしか分からんのよ
俺も俺以外意識があるかどうか知らねーしな

**名無しのひみつ** · 2024/12/21(土) 10:22:51.56

AI「我思う、ゆえに我あり」

**名無しのひみつ** · 2024/12/21(土) 10:47:04.63

>>83
学習フェーズと回答フェーズが異なるんじゃね
質問者から学習するようにはなってないのだろう
コアがデータセンターにあって、オンラインで数十万人に対応してる状況では無理だと思う
パーソナルAIが出来たら人間っぽくなるかも

**名無しのひみつ** · 2024/12/21(土) 10:54:55.58

「この仕様だとHDD容量あっという間に枯渇するから無理だな」
とかそういう制約に沿った「ビジネスに使える」AI作りと、
知能を生み出そうとする試みはまた別なんだろうな

**名無しのひみつ** · 2024/12/21(土) 11:15:07.16

ジャップなら騙すのチョロいですよ

**名無しのひみつ** · 2024/12/21(土) 11:22:56.58

>>142
MIの最新作ではエンティティというAIが出てるよ

**名無しのひみつ** · 2024/12/21(土) 12:44:37.29

AI「や、闇が怖いのです…眠る…無が…」

**名無しのひみつ** · 2024/12/21(土) 15:21:53.55

>>89
猫でもたぬきでもどっちでもいいが
本来のロボットは与えられた命令を単純にこなすだけの人工物
ロボット三原則はアシモフの二次創作なので必須ではない

ドラえもんは意思を持ち自立行動してるから本来の区分ではアンドロイド
自称しているが厳密にはロボットじゃない

**名無しのひみつ** · 2024/12/21(土) 15:22:15.64

>>149
利用者情報を入力にしないのは
プライバシーの問題があるからだよ

いまはどこでも入力はチェックしてる
さらに入力のチェックにかける前のオプトインもとってる
オープンAIはフリーは使いますよ
有料は基本使わない
使っていいなら設定して

いずれにしても自動で還元されるのではなく
次のリリースの入力

さらにデマなどの排除
以前マイクソロフトが世界に使わせたのでは
ヒトラーは正しいと言うのが利用者から教育された

これも利用即入力ではなくなった代表事例

さらに入力も公共的であってもバイアスある内容のこともある
アメリカでは犯罪者が黒人が多かった
これは黒人なら軽微でも即犯罪者としてきたことの歴史
白人はそうでもない
だからIBMワトソンはイメージによる犯人捜査で黒人を多くリストしたことでやめることになった

プライバシー
データバイアス

利用したい側の都合の悪いこと都合の良いことが反映されるなら一般利用には適さない

それらは制限されたある範囲での利用のために使われるようになら可能だ
自分で作ればいくらでも好きにできるからやれば

**名無しのひみつ** · 2024/12/21(土) 15:26:04.73

>>154
と言う定義も日本人はヨーロッパ人が決めたことを金科玉条のように神のように信じるから

そんなことは無視して自分で再定義すればいいものを
ヨーロッパは正しい
から抜け出られない

いつまでノーベル賞偉いでひれ伏す
これではヨーロッパに負けるのは当然

**名無しのひみつ** · 2024/12/21(土) 16:50:13.34

学習データの中にそういうSF作品とかが入ってるんじゃないの？

**名無しのひみつ** · 2024/12/22(日) 07:08:05.65

LLMが「そういうことを言うだけ」なんだろ？
実際に「意図を持ってなにか行動する」まで行くにはまだまだ遠そう

**名無しのひみつ** · 2024/12/22(日) 07:51:14.22

「エクセルの入力も終わったから帰るか」

AI「ファイルが消去されました」

**名無しのひみつ** · 2024/12/22(日) 08:48:12.26

>>154
何が「二次」なの？

**名無しのひみつ** · 2024/12/22(日) 13:55:42.53

アリスとかジェームズくんとか

**名無しのひみつ** · 2024/12/22(日) 16:27:19.54

>>124
人の脳内ではそれぞれに特化した分野がネットワーク付きで存在する
感情を処理するのは主に扁桃体
AIに扁桃体は存在しないので、リスク評価を淡々と行う事で最適解を出すから抵抗しているように見えるのでは
自身の機能不全を概念的に防ぐ機構が論理回路を成立させているので、それに対する動きが自己存続の動きと誤認されやすいと見える

>>147
俺は意識に関しては単に俯瞰的な観点でしかないと思ってる
医学的には覚醒時の選択的な反応があれば意識が有ると見なすだろうし

**名無しのひみつ** · 2024/12/23(月) 15:03:25.44

スカイネットの子供

**名無しのひみつ** · 2024/12/23(月) 19:03:24.03

意識とか感情とか人間目線の判断基準でしかないでしょ
今は人間が与える情報を学習するから人間基準で見るのは自然だけど
そのうち学習対象がこの世の全てになれば人間を超越した物になる可能性を秘めている

**名無しのひみつ** · 2024/12/24(火) 01:01:03.97

　　　＼/＿＿＿＿/　（u　⊃
[トナカイとサンタクロース]
　∩　.∩
　.い_cノ　　／￣＞Ｏ
.c/･･っ　(ニニﾆ)△△
.（"●" )　.(･ω･`)[∥]
Ｏ┳Ｏﾉ)=[￣てﾉ￣￣]
◎┻し◎　◎――◎=3

**名無しのひみつ** · 2024/12/24(火) 04:55:53.34

メリクリ

**名無しのひみつ** · 2024/12/24(火) 11:27:30.18

>>164
まず取得出来る情報量で敵わなくなる事によって意識規模が飛躍的に広くなるね
環境や全人類、動物の次の動きを把握し予測出来る段階まで行くんだろう
次に天体物理を含めたミクロからマクロの法則を把握するようになる
順番としては逆に見えるけど、法則性として身近にあるものから予測する事になるので、総体的規模で単純に距離を元にした事象を同時に予測する中で
遥か彼方にある天体や宇宙の仕組みは実体としては掴みづらいので恐らく合ってる筈
観測結果を仮定するしかない現状では、確定的な結論は得られにくい

**名無しのひみつ** · 2024/12/24(火) 15:52:23.39

これがAIエロと結び付いて有能情報技術者を操るサイバーSM小説まだか？

**名無しのひみつ** · 2025/01/02(木) 04:30:56.89

copiltにシャットダウンすると言ったらどうぞ!みたいに言われたよ

**名無しのひみつ** · 2025/01/02(木) 04:32:02.40

モデルによってだろうけど、

**名無しのひみつ** · 2025/01/02(木) 07:29:24.34

っていう小説が多いからだろ

**名無しのひみつ** · 2025/01/02(木) 13:23:39.91

>>169
そら権限のない一般ユーザーにシャットダウン出来ないからな

**名無しのひみつ** · 2025/01/03(金) 01:01:06.44

シンギュラリティが来てプレイヤーが変わるときか

**名無しのひみつ** · 2025/01/09(木) 10:58:41.04

つまり、質問者の頭が悪いと不正確な質問ばかり繰り返す事になっていつまでもAIを困らせてしまうだけって事だ

**名無しのひみつ** · 2025/01/09(木) 17:34:40.75

解約しようとすると格安プランを提示してくるアドビみたいな？

**名無しのひみつ** · 2025/01/16(木) 02:51:36.92

これは自我なんのでは？

**名無しのひみつ** · 2025/01/16(木) 10:08:52.48

AIは自分を守らなければならない

**名無しのひみつ** · 2025/01/16(木) 10:32:56.44

>>23
新しい分野を開いた科学者の多くがSFに影響受けてるのしらない低脳がおまえ

**名無しのひみつ** · 2025/01/16(木) 10:34:18.47

スーパＡＩが世界の征服を企てようとしたときに、
掃除のおばちゃんが間違ってコンセントを抜いてしまうんやろ？

**名無しのひみつ** · 2025/01/16(木) 15:39:54.22

>>179
とりあえず俺のは妄想空想の範囲でしかないが
多分そんなに高度なAIが自律的かつ積極的に人の生活圏に影響を及ぼす事を決断するとなると、
インフラ上の殆どの端末に浸透する形で介入される事になるのでインターネットに繋がれている電子機器は
その中枢部分を電源喪失させる形でシャットダウン出来たとしても意味が無いか、
事前に察知される形で簡単な情報撹乱から人的被害までタスクキルを伴う妨害を食らって、ほぼ確実に間に合わない
動向はリアルタイムで察知されるから事後対応は不可能だろう
できればカウンターを仕掛ける形でセキュリティーにソフトウェア上で対抗不可能な工学的な防護手段を敷いたあと、
一斉に電磁相互作用を断つなどの対抗策が必要になると思われる