【AI】なぜ研究者はローカルPCでAIを実行する必要があるのか？ [すらいむ★]

**すらいむ ★** · 2024/09/26(木) 22:16:26.04

なぜ研究者はローカルPCでAIを実行する必要があるのか？

　高度な生成AIは動作に相応の機器を必要とするため、一般的なユーザーが高度な生成AIを使うためにはネットに接続して利用するしかありません。
　一方で、高度なAIをローカルで実行できるような試みが行われ、実際にローカルで動作する高度なAIもいくつか存在します。
　AIをローカルで動作させることの利点について、科学誌Natureが利用者の声をいくつか紹介しました。

　Forget ChatGPT: why researchers now run small AIs on their laptops
　https://www.nature.com/articles/d41586-024-02998-y

（以下略、続きはソースでご確認ください）

Gigazine 2024年09月26日 07時00分
https://gigazine.net/news/20240926-researchers-ai-local/

**名無しのひみつ** · 2024/09/26(木) 22:36:20.25

オンラインじゃすぐ時間切れになっちゃうもん

**名無しのひみつ** · 2024/09/26(木) 22:45:19.65

守秘義務を守ってくれないから？（笑）

**名無しのひみつ** · 2024/09/26(木) 23:27:09.98

福井の株式会社アスタ
私は内野峻平(退職済)からハラスメントを受けました。強い怒声や椅子をガンガン揺らすなど何度もされました。そういった状態であることを相談していても休職はできず、強烈なストレスに苛まれながら残業代未払いの徹夜労働等をさせられました
ハラスメントの一件は退職時に高比良清輝とその妻に隠蔽されましたが、実際は上司の榎本竜也とのSMSのやり取りから証明できる事実です
また退職時に榎本から強烈な侮辱と人格批判を受けました。上記の経緯を考えると私からのメッセージに多少の落ち度があると仮定しても、とても許容できないレベルでした。彼はハラスメントの一件も知っている(SMS記録あり)上に私の鬱的な精神状態を認識しながら自身も異常と認める炎上現場の保守継続判断に加え、私をオンコールの対応者にするなど積極的に使っていました。また当時はハラスメント問題の隠蔽にも関わっています。現場出向する働き方ですから社長夫妻から私に対する評価のほぼ100%が彼によるもので最後の私に対する処分も無関係ではないでしょう。なので彼の悪性は否定できません。その悪性を示すかのように彼はこのコンプラ違反だらけの企業の社長を何度も擁護しています。ちなみに最近のやり取りでは榎本はアサイン前から私を異常者だと認識していたようです。

ハラスメントが隠蔽された件については当時私に下った金銭も関わる重すぎる処分と上司とのSMSのやり取りで証明可能です。何故か私が一番の加害者として処分されました。残業代や休日出勤手当が完全に未払いであったことを考えると相当に悪質だと言えます。残業代未払いや異常な労働実態は内野も証言するでしょうし、榎本もSMSのやり取りで認めています。
私以外にも社内でハラスメントが発生しています。これについては他に証言者がたくさんいるので隠せないでしょう
私の在籍時は社長とその親族含め３名取締役にいました。この3名の労働量にはかなりの疑問があります
また上記のような企業の異常な実態をほぼ知りながら重用してきたのが富士通の中村俊也と栗田やすしです。富士通の若手社員は中村がアスタに異常に仕事をふっていたことを証言してくれると思います
私に下った処分について松濱恵治等上位の社員を通じて交渉しようとしたところ断られ（SMSに記録あり）着信拒否されたため、ここに書いて抗議と注意喚起をしています

**名無しのひみつ** · 2024/09/26(木) 23:41:29.42

エロ画像作りてえからだよ

**名無しのひみつ** · 2024/09/26(木) 23:58:08.75

汚染されてバイアスのかかった学習データのAIなんか研究に使えんだろ

**名無しのひみつ** · 2024/09/27(金) 00:14:32.41

研究機関から外にアクセスするときに、ネットワークルーターでパケット盗まれてるんすよ
利用料金支払ってテストフィールド使うとシステムの穴探しにすぐBOTやってくるんでわかるんすよ

**名無しのひみつ** · 2024/09/27(金) 00:29:34.68

そりゃ他人のふんどしじゃ戦えないもんな

**名無しのひみつ** · 2024/09/27(金) 03:07:21.54

今晩のおかずからハッキングまで、全部AIで揃う時代が来るとはなあ

**名無しのひみつ** · 2024/09/27(金) 05:00:15.14

＋嫁、婿

10年後くらいには自分の端末とだけ雑談してる奴増えるやろな

**名無しのひみつ** · 2024/09/27(金) 07:31:58.46

計算時間がこれだけ掛かりましただから料金はこれだけですという形で課金されていたとして、
本当にそれだけのCPU時間が掛かったのかは末端の利用者には判らない。
それと判らぬように、CPUの能力が薄められているかもしれない。
たとえば1人で使っているように見せかけて実際にはタイムシェアリングなどで
10人で使っているのかもしれないわけだ。つまりぼったくれる余地があるんだよ。

もしもプログラムを自分で書けるのならば、手元で計算が終わるのをじりじりと
待ちながら時の経つのをただ座して待つよりも、こうすればもっと早く計算が終わる
のじゃないかとか、あるいは早い段階でモデル設定の不適切性に気が付いたりして、
その場で、どんどんと改良を加えてモデルやプログラムが進化する。
結果的に早く動作する効率の良い計算が常にできるように改良されていく。
バッチでインプットデータを入れて、計算が終わったらアウトプットデータを
眺めるだけの、ジョブ投入係をやっているだけだと、プログラムは良くはならない。

**名無しのひみつ** · 2024/09/27(金) 08:12:05.08

そりゃ発表前の研究データ全部開示されたら困るやん

**名無しのひみつ** · 2024/09/27(金) 08:24:29.00

研究用PCをネットに接続する神経がわからん

**名無しのひみつ** · 2024/09/27(金) 09:02:25.75

悪い御学友ができないようにご幼少から名門附属幼稚園に通わせる親みたいなもんだろう

**名無しのひみつ** · 2024/09/27(金) 09:25:52.51

セキュリティもだけど、ブラックボックスのアルゴリズムや雑データなんて
研究で使えるわけなかろ

**名無しのひみつ** · 2024/09/27(金) 09:36:21.53

comfyUIとか画像系もアップデート以外はFWで塞いでるわ

**名無しのひみつ** · 2024/09/27(金) 09:40:45.12

再現性の問題でしょう
実験環境を固定したいだけなのでは？

**名無しのひみつ** · 2024/09/27(金) 10:06:43.10

>>1 新型が出ました

小型ながらOpenAIやGoogleのAIに匹敵する性能を持つマルチモーダルAI「Molmo」がオープンソースで公開される、ブラウザ版のデモページも
https://gigazine.net/news/20240926-ai2s-molmo-open-source-multimodal-models/

**名無しのひみつ** · 2024/09/27(金) 10:16:28.43

　
インターネット上のゴミ情報を取り込んだ生成AIの出力を有難がっているヤツは
ゴミ仕事をしているゴミ人間

**名無しのひみつ** · 2024/09/27(金) 19:25:42.39

>>5
だよな!

**名無しのひみつ** · 2024/09/28(土) 04:42:55.62

そろそろ後付けのNPUボード出て欲しいな

**名無しのひみつ** · 2024/09/28(土) 06:18:07.82

ステイブルでフージョンでエロ画像生成

**名無しのひみつ** · 2024/09/29(日) 05:02:26.20

組み込み向けやけど、低電力で妙に高性能な中華NPUがあるらしい

**名無しのひみつ** · 2024/10/02(水) 05:47:02.97

サーバー側はNvidiaが圧倒的やけど、エッジ側は中華企業が支配しそうな勢い

**名無しのひみつ** · 2024/10/04(金) 10:42:47.50

そら利用者のデータ収集してるに決まっとるからな

**名無しのひみつ** · 2024/10/10(木) 13:47:32.51

今はマニアや研究者だけやけど、来年あたりからローカルLLMとか流行りそう

**名無しのひみつ** · 2024/10/10(木) 14:01:23.90

>>24
中国製GPUというのはあるがゲームに対して最適化されていない点で
ゲーミングPCからの評価は低い
RTX3060の計算コア数およびVRAM数を上回るMTT S80は
ゲーム性能はGTX1650程度になってしまう

だがそれでも、S80はVRAM16GBを格安の価格で提供していて
またCUDA向きのプログラムがそのまま動くというだけで十分に価値がある

200万円程度でVRAMが256GBのGPUでも作れば
マレーシアやインドネシアやベトナムみたいな新興国の研究機関が大喜びで購入するだろうからなあ
アジア各国で既にLLMが作られてはいるからそれをローカルで動かす需要は大きいだろう
中国製ゆえ定期的に何か送信される仕様かも知れんけど

**名無しのひみつ** · 2024/10/12(土) 06:06:54.92

そんなのあるんやね…中華と言ったがGPUの話と違うねん
通常のGPUはVRAMサイズを考えるとコスパ悪い

そこでAppleMx搭載機でメインメモリーから
GPUorNPU用のメモリーを割り当てるやり方が流行りつつある

中華製品が突出しつつあるのは、メインメモリー共用型NPU
今のところ組み込み向けが主やが、PC用も時間の問題かも？

**名無しのひみつ** · 2024/10/12(土) 06:25:41.95

＞メインメモリーから
GPUorNPU用のメモリーを割り当てるやり方が流行りつつある

NVIDIAもNVLink-C2Cという900GB/sで通信する技術を使い
PCのメモリとグラボのVRAM間のやり取りを高速化する手法を開発した