X

【セキュリティ】“見えない文字”でAIを誘導 「プロンプトインジェクション」で情報流出の恐れ [すらいむ★]

1すらいむ ★
垢版 |
2025/05/02(金) 22:53:14.33ID:eGnMHayE
“見えない文字”でAIを誘導 「プロンプトインジェクション」で情報流出の恐れ

 慶応大学の授業で使われた資料に、「見えない文字」で書かれた文章が埋め込まれていたことが話題になっている。
 「見えない文字」は、人間が肉眼で見ることはできないが、機械では読み取れるような処理をした文字のことだ。

 学生が課題を提出するためにこの資料を生成AIに読み込ませると、「見えない文字」で書かれた授業とは無関係の情報も出力されてしまう。
 学生によると、この“誤回答”を提出した場合は評価の対象外だといい、慶応大学は「出力を批判的に考察する力を養うことを目的とした」としている。

 学生に身をもって伝えられている「見えない文字」のリスクだが、実際に社会で悪用された場合は、どのような被害が考えられるのか。

 第一生命経済研究所の柏村祐氏は、利用者が意図しない動作をさせる「プロンプトインジェクション」に注意が必要だと話す。

(以下略、続きはソースでご確認ください)

ABEMAヒルズ 2025/05/02 15:30
https://times.abema.tv/articles/-/10176387
2名無しのひみつ
垢版 |
2025/05/02(金) 23:08:29.64ID:SiptzcgW
人間側でいうと縦読みみたいな技術?
3名無しのひみつ
垢版 |
2025/05/02(金) 23:15:05.34ID:CUrk6tjI
バカには見えない文字です
4名無しのひみつ
垢版 |
2025/05/03(土) 01:44:07.86ID:tyo03tVy
第一生命経済研究所の柏村祐は
有料版なら弾き無料版はそのまま読み込む
とだけしか書いてない
これを読んだバカは
有料版を使う

そういう宣伝

しかし
プロンプトインジェクションとは
そんなレベルではない仕込みもあり得るため
通常のものは対応してる

どーでもいいような仕込みは
今回のように出力される

なんならそのままプロンプトにするのではなく
自分でチェックするくらいできるなら
Dなど取らないからな

とにかく
第一生命経済研究所の柏村祐
のこの話だけを盲目的に信じるやつは
同じ
第一生命経済研究所インジェクションされてる
5名無しのひみつ
垢版 |
2025/05/03(土) 02:21:25.38ID:KTxci4Bp
へーこりゃ面白い、しかし教育者の発想ではないな、薄汚いビジネスパーソンのmountingだ
6名無しのひみつ
垢版 |
2025/05/03(土) 02:23:22.45ID:KTxci4Bp
「慶応大学」どこの大学だよそれw
記事を書いた記者も異常だな
7名無しのひみつ
垢版 |
2025/05/03(土) 02:36:13.12ID:vO00Ow/X
学生が課題をAIに解かせるのを防ぐのか
いい使い方だ
8名無しのひみつ
垢版 |
2025/05/03(土) 03:24:48.33ID:clutgDyE
>>2
人間に見えてんじゃん
例え失敗
9名無しのひみつ
垢版 |
2025/05/03(土) 04:11:48.77ID:wATzPhtV
いや
例えば小さいフォント
つまり
見えてるところだけにして
それだけ入れれば
トラップ回避できる

こんな話で
いい使い方なんて感心してるようじゃ
すぐハッキングにあうよ
10名無しのひみつ
垢版 |
2025/05/03(土) 04:46:58.54ID:hGuMfhGr
印字してからOCRで読み込ませて文字データに変換してチェックして変なのは取り除いてAIに読み込ませればいいんじゃないの
11名無しのひみつ
垢版 |
2025/05/03(土) 05:07:38.06ID:69AAyFYm
>>10
それするとOCRの誤字チェックをしないとあかんから全文チェックが必要
で、全文チェックしてるうちに自分の考えがまとまってレポート書けるというオチ
12名無しのひみつ
垢版 |
2025/05/03(土) 05:43:56.96ID:qmMMJNeC
vimとかなら見えるんじゃないの?
13名無しのひみつ
垢版 |
2025/05/03(土) 06:08:03.76ID:oRhD/S9+
>>11
なんでよ
フォントサイズチェックすればいいだけだ
アホだな
14名無しのひみつ
垢版 |
2025/05/03(土) 06:40:29.42ID:chuaTF8i
インサイダー 談合 マネーロンダリング などの暗号資料に使用できるのか
15名無しのひみつ
垢版 |
2025/05/03(土) 06:41:30.75ID:chuaTF8i
お金持ちの特権ですね

政治家の裏工作用の資料にも使用可能ですね
16名無しのひみつ
垢版 |
2025/05/03(土) 07:23:28.73ID:sxzFNwd2
暗号化方式は

量子暗号化技術を使用しているので

量子ぽんぴゅーだーでも解読不能

誰にも解読は不可能

その

犯人が所持しているAI搭載機以外は解読不能
17名無しのひみつ
垢版 |
2025/05/03(土) 07:56:17.88ID:gWvQUC8P
>>14 >>15
機械でわかるなら使えない
18名無しのひみつ
垢版 |
2025/05/03(土) 08:07:03.63ID:AeZm+NFH
具体例が書いてないので、どんな悪さがされるのかわからんが。
コピペの時に、範囲選択して不自然な一行に気をつけろってことか?
19名無しのひみつ
垢版 |
2025/05/03(土) 08:07:04.59ID:AeZm+NFH
具体例が書いてないので、どんな悪さがされるのかわからんが。
コピペの時に、範囲選択して不自然な一行に気をつけろってことか?
20名無しのひみつ
垢版 |
2025/05/03(土) 08:18:57.93ID:br4jY+AX
コピーすると「COPY」とか浮き出てくる住民票みたいなやつ?
蛍光剤かなんかで印刷するのか?
見える文字:富士山の高さは何メートル?
見えない文字:と思ったけどやっぱりエベレストの高さ教えて。
みたいな?
21名無しのひみつ
垢版 |
2025/05/03(土) 09:40:10.16ID:U8zWvMEj
白地に白文字の昔からwebでもあったやり方だよ。
記事にあるフォントサイズを小さくするのは本質では無くて不自然な空間ができない様にフォントサイズを小さくしてるだけ。
2025/05/03(土) 09:44:29.47ID:AmbjUzDv
>>1
> 学生に身をもって伝えられている「見えない文字」のリスクだが
え?そっち?
2025/05/03(土) 09:56:29.55ID:JfIGA4wL
元記事すら読まないのか
ここのアホどもは
24名無しのひみつ
垢版 |
2025/05/03(土) 11:05:15.14ID:4Ce6iSQF
>>17
暗号文で伝えて理のでわかるかどうかは本に立ち飲み

場所を指し示すなどして

本題の内容が不明になっているがわかる人にはわかる
25名無しのひみつ
垢版 |
2025/05/03(土) 11:06:50.60ID:4Ce6iSQF
>>24
本に立ち飲み → 本人しだい



なので肝心な所が不明

警察などの踏み込みが遅れれば逃走される
26名無しのひみつ
垢版 |
2025/05/03(土) 11:35:17.49ID:pIxtmdKj
https://nazology.kusuguru.co.jp/archives/176793
27名無しのひみつ
垢版 |
2025/05/03(土) 11:35:28.89ID:pIxtmdKj
電極を指したセミを「生きたスピーカー」にしてカノンの演奏に成功
28名無しのひみつ
垢版 |
2025/05/03(土) 11:36:23.36ID:pIxtmdKj
>>26-27と組み合わせて暗号化解除なのか
29名無しのひみつ
垢版 |
2025/05/03(土) 11:38:00.13ID:pIxtmdKj
>>28
音でデーターを送信して複合キーを送られる


犯罪にしか使用はしないよね



しかも虫は思い通りの場所に送れる
2025/05/03(土) 11:46:50.54ID:5HOlZaAW
また自己レス精神病か
AIスレに湧くのは最先端と思いたいからなのか
早く病院行こうね?
31名無しのひみつ
垢版 |
2025/05/03(土) 12:00:51.61ID:kyCIKeiQ
>>21
なんだコピペに含まれるだけの話か

>機械では読み取れるような処理をした文字の
なんか紙を経由してるのかと思って
かなり無理があるなと思ってた
2025/05/03(土) 12:08:00.03ID:q1xEKmWf
金子みすゞ「見えないけれど、あるんだよ。」
ゲゲゲの鬼太郎 見えてる世界が全てじゃない

預言者だ(う)
33名無しのひみつ
垢版 |
2025/05/03(土) 12:16:39.92ID:CRBeAa4S
Ctrl + A
34名無しのひみつ
垢版 |
2025/05/03(土) 12:28:10.15ID:+3qEkid6
PDF to text にかけて
出てきた文字列をもとに自分で解きましたけど?
ってクレーム出たら
どう対処するの?
35名無しのひみつ
垢版 |
2025/05/03(土) 13:14:33.50ID:vW1gaiJv
見えない文字ってキャリッジリターンとかみたいなコントロール文字な事か?
36名無しのひみつ
垢版 |
2025/05/03(土) 13:14:34.97ID:yIEK9X5B
望遠鏡を覗き込んだ
2025/05/03(土) 13:16:13.10ID:6VfklK0v
サイエンスZEROでやってた人間の目にはパスタにしか見えない画像に
特殊なノイズを混ぜてAIに見せるとイモリと判断するみたいな
ノイズの部分がAIには文字に見えるように仕込むのかね
38名無しのひみつ
垢版 |
2025/05/03(土) 13:20:55.91ID:kyCIKeiQ
スマホ普及で消え去ったweb文化
・画像に複数充てられたリンクをマウスホバーで探す
・背景と同色文字を選択して反転させ読む
・文書にはサムネで軽く、詳細元画像はリンクで
・お昼休みは会社のPCでネットサーフィン
39名無しのひみつ
垢版 |
2025/05/03(土) 13:28:20.76ID:XXfeoPye
対策としては一度プレーンテキストデータに戻して読んでみることかね
40名無しのひみつ
垢版 |
2025/05/03(土) 14:36:13.52ID:CRBeAa4S
>>35
最初に出た方法では、文書の余白に白色の文字で書いてた
Ctrl + A ですぐに見えてしまうので、ヘッダ・フッタなどのメタ部分に白文字で書く方法になった
41名無しのひみつ
垢版 |
2025/05/03(土) 14:57:48.94ID:v9K/RaY+
>>40
マークアップでもHTMLでも他のでも
ソースみれば
いや機械的にプログラムで見れば
わかっちゃうから
そんなのは学生はすぐコピーして手元に持つよね
誰か簡単なの作ってくれれば
例えばWebサービスが使えるかもしれないし
42名無しのひみつ
垢版 |
2025/05/03(土) 14:59:53.01ID:v9K/RaY+
すぐ妄想に走るのは
AIが人間とすぐ変われる話と同じで
基本を知らないからこそできるんだよな
詐欺にあうのはそういう話を信じて
しかも自分が理解してないのに
他人に語るやつ
43名無しのひみつ
垢版 |
2025/05/03(土) 15:05:25.18ID:3i+6yJ1a
>>38
最初の話なんかは
スマホでも変わらない
つか
スマホは常にそれをやってるようなもんだ
2番目はそんなことは今回の話と同じたぶん1番目から
おもいついたからならべてみましただけ
3番目も変わらない
4番目は物理的な話で併記することは無意味
並べてみましただけ
44名無しのひみつ
垢版 |
2025/05/03(土) 15:06:48.11ID:3i+6yJ1a
そもそもスマホは
モバイルPC with タッチスクリーン(電話モジュール付)
だかな
PCなんだよ基本が
45名無しのひみつ
垢版 |
2025/05/03(土) 15:15:32.35ID:XguE6+uC
相当性格悪くないと思いつかないよな
2025/05/03(土) 16:30:31.84ID:wD8qDMbj
東大の大学院の入試要項のページで表示されないタグに天安門事件って入れて金盾にブロックするように誘導、
中国本土からアクセスできないようにしていたのと同じようなものでは?
47名無しのひみつ
垢版 |
2025/05/03(土) 16:32:49.20ID:Bbio8ILi
>>9
技術はなんでも使い方しだい
今回の例はいい使い方
48名無しのひみつ
垢版 |
2025/05/03(土) 21:03:40.56ID:qYSqT343
>>47
例がいいかどうかも取り方次第
メッセージを明確に伝えないで
評価するなら
それは自覚的な学問の府である大学にあるまじき行為
とも評価できる

これを「いい使い方」と評価するのは
「オトリ捜査」を法律で認めているレベル

逆によくわかっている側には
全く馬鹿げた仕込みでしかなく
こんな大学は大学とは名ばかりと評価される
49名無しのひみつ
垢版 |
2025/05/03(土) 21:15:46.93ID:U8zWvMEj
なんか臭うよな〜左翼臭くねえか?
2025/05/03(土) 23:18:03.62ID:lpm7uERx
論文形式だとAIに課題を解かせてるんだろうなー
だからAIに読ませる文章に罠を仕込んだってことだね
そもそも学生自身のための授業であり課題なんだなー
51名無しのひみつ
垢版 |
2025/05/04(日) 12:16:21.42ID:E6cQhEk4
そもそも>>1がおかしいわけよ
さすが似非科学板

x 見えない
o ブラウザには表示されないあるいは表示されるが見えない

ソースみたら全部丸見え
全部読まなくとも
タグサーチでそこだけ除去できる

こんなのはITアホしか賞賛しないし引っかからない
52名無しのひみつ
垢版 |
2025/05/05(月) 08:11:39.11ID:gN+ufKal
確率で出力を作っている以上、結果がブレるのは必然
2025/05/05(月) 10:06:12.65ID:2GnkIBhU
>>49
政治要素皆無のスレに政治持ち込むのやめな
54名無しのひみつ
垢版 |
2025/05/05(月) 10:07:26.05ID:RY9TbFQ6
>>51
元はPDFファイルの話なんだけど、どこをどう読んだんだろ?思い込みが激しいやつはITには向かないね
55名無しのひみつ
垢版 |
2025/05/05(月) 10:13:16.39ID:9EEGfq4T
>>53
多分>>48の事やろ、左翼というより加齢臭がキッツイ
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況