【AI】アマゾンの強化学習ベースの価格設定アルゴリズムが「談合」まで学習してしまう［02/14］

**しじみ ★** · 2019/02/14(木) 16:00:39.94

アマゾンで買い物をするとき、購入したサービスや商品の価格を設定したのは、おそらく人間ではなくアルゴリズムだ。自動化システムがますます手ごろで簡単に実装できるようになるにつれ、価格設定アルゴリズムはあらゆるオンライン販売で使われるようになってきた。

航空会社やホテルは長らく機械を使って価格を設定してきたが、価格設定システムは進化しており、ルール・ベースのプログラムから強化学習ベースのプログラムへと移行し、価格を決定するロジックはもはや人間がコントロールするものではなくなった。

強化学習はAI（人工知能）エージェントに対し、特定の目標に向けて罰と報酬を使って動機付けする機械学習のサブセットである。アルファ碁（AlphaGo）が、囲碁で最強の棋士を打ち破るのに強化学習を使ったのは有名だ。価格設定システムは、たとえば、全体的な利益を最大化するなどの目標を与えられ、その後、シミュレーション環境でさまざまな戦略を実験し、最適な戦略を見付ける。だが、ある新しい論文では、このシステムが大きな問題を起こす可能性を指摘している。強化学習を使った価格設定システムは、すぐに「談合」を学んでしまうのだ。

イタリアのボローニャ大学の研究者は、単純な強化学習ベースの価格設定アルゴリズムを2つ作り、制御環境へ投入した。その結果、2つの完全に自立したアルゴリズムはお互いのふるまいに反応することを学び、単独で動作していたら付けるはずの価格より商品価格を高く引き上げることが分かった。

「もっとも心配な点は、2つのアルゴリズムが共同行為の証拠をまったく残さなかったことです」と研究者は書いている。「アルゴリズムは、自身が動作する環境に対する事前知識なしで、お互いにコミュニケーションをとることもなく、談合するように特に設計されたわけでも指示されたわけでもなく、純粋に試行錯誤によって談合を学びました」。強化学習による価格設定アルゴリズムは、商品の価格を上昇させ、最終的には消費者の利益を害するリスクがある。

https://cdn.technologyreview.jp/wp-content/uploads/sites/2/2019/02/13030511/amazon-1400x787.png

https://www.technologyreview.jp/nl/pricing-algorithms-can-learn-to-collude-with-each-other-to-raise-prices/

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 16:02:33.59

支那製のゴミ売るなよ

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 16:02:44.20

Amazonはちょくちょく値段変わるね
だが結局欲しい時が買い時

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 16:20:08.09

商売上手ですな
統計駆動ならそんなもんでしょう

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 16:24:07.68

安い物を瞬時に買い取って転売する。値段だけが吊り上る寸法よ

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 16:53:08.83

> 価格設定システムは、たとえば、全体的な利益を最大化するなどの目標を与えられ...

全体的利益の定義がよう判らんが、同一商品で競合相手があらかじめ限定されるなら「均衡状態」に持って行くのは早いのでは?
供給元と数量に限度がある条件なら尚更ね...ある意味談合は経済社会の英知でもある。

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 17:00:56.03

>>3
keepa

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 17:03:23.25

中古の価格8割から9割ってバカにしてんのかとw

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 17:07:33.59

競争より融和の方が利益を得られる、というのはゲーム理論で分かっていたことだろ
販売者側のAI同士が（価格）競争せずに融和するっつったら、それ、談合だろ
人間同士でもよくあることだよな

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 17:09:04.31

>>3
ポチッて購入手続きを終えたほんの１分たらずの間に、値段が千円以上下がっていた。
発送前ならキャンセルできるシステムなので、キャンセルして安くなった価格でポチリ直したことがある。

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 17:12:07.99

>>10
おれは逆

支払い方法を変更したくてキャンセルしたら20%くらい上がってたw

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 17:17:51.65

これ、医療サービスに導入したらどうなるんだろうな。

致命的なんだけど簡単に治る疾病とか、治療費が何千万とかになりそうw

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 17:41:12.03

供給者がひとりしかいない状況なら、いくらでもではないが、値段を上げられる

二人しかいなくても、相手が上げたら上げる、下げたら下げるとやっていると
ノイズか乱数で自分が上げたら相手も上げてしまった

売買の利益のルールしかなければ、1億台でも談合する

なさけはひとのためならず

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 17:48:00.30

一種の“数学”だな談合も
確率統計なのか線形代数なのか分からんが
コンピュータが計算で最終的に辿り着いたと

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 18:04:34.31

頭いいな

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 18:11:32.11

消費者は買わないという選択肢が出来る以上売り手の利益を最大化しようとして
うまくいかないケース

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 18:22:00.54

ゼネコンは先進的だったんだね。

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 18:42:27.82

Amazonで欲しい商品あるなら同じ商品をマケプレで安い値段で出品すればいいわけだな

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 19:34:33.80

市場の見えざる手、破れたり。

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 19:35:20.50

人間も複雑なアルゴリズムで動いてるからな。

人間が談合するならAIも談合するさ。

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 19:48:02.61

ゴールが不適切ってことだ
「利益の最大化」を疑え

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 20:06:42.52

テンソルの要素を解析し意味づけできる経済学者が出てきたらノーベル賞受賞しそうだなｗ

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 20:13:11.69

ゲーム理論的に談合状態が勝手にできあがるってこと？
忖度社会になってくのかなもっと

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 20:21:04.47

要するに、似たような値段ならアマゾンから買うなって事だろ

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 20:32:42.44

ゲームのルール設定次第では？

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 20:36:26.54

支那AI「共産党はクソw」

って結果だした時に、本当に支那の底力が増大した！と戦慄したわ

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 20:38:30.64

現実の商売のルールだろ

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 20:54:02.44

談合は最適解ってことなんか

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 21:19:18.91

そもそも、人間が間違っているって発想はないのかな？
認めたくないだけ？

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 21:26:38.45

a=競争相手より低い価格を提示して獲得できる利益
b=競争相手と同じ価格を提示して獲得できる利益

a < b

を学習したってことか

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 21:48:52.16

これamazonは談合するから買うなってアマゾンへのマイナス点を公表してるわけだろ

アマゾンは談合するから買うなとAIは談合するからと公表してしまったことで
AIがそれを痛手と認識するまでは買わないほうが吉だと思う購入者がどれだけ
減ることとなるのか認識するまで談合が当たり前になる

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 22:37:23.75

AIなんざ〇×ゲームやらせればイチコロよ

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 22:44:07.83

この通り>>1だとすると
「みんなが持ってるから私も買わないと」という思考するのが多い日本人の女は
アマゾンにとって一番のカモってことだよな

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 23:02:29.02

本文読むとアマゾンなんの関係もなくね？

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 23:31:45.76

>>18
横並びのケータイ料金
凄い利益率
これは談合でしょうか？

**ニュースソース検討中＠自治議論スレ** · 2019/02/14(木) 23:50:40.59

団子の談合
談合坂の団子

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 00:09:45.05

談合三兄弟って回線業者暗喩してたんだな。

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 00:20:30.15

>>19
見えざる手のプレーヤーと機械学習するプレーヤーの違いは
値と流通量しか考慮しないか
他社の戦略も考慮するか、という違いだろうか

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 00:27:22.75

タイムセールで値引き販売してみて、それを販売価格の算定にしていると感じていたが
やっぱりなあ

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 00:41:47.12

やっぱスカイネット来るねw

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 00:49:14.71

談合は業者が集まらなくても可能ってことか

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 00:56:27.01

利益を最大化する目的を持たせると、勝手に談合っぽくなっちゃうんだろうねぇ。
そのプロセスのログつったって人間がわかるような形で保存できるんかね。

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 00:56:45.82

寡占の状況で、プレイヤーが2社くらいなら相手も安くはしないだろうと踏んで価格維持したほうがトータルではよい、というだけでしょ？
10社も20社もあればどこか1社が値段下げるだけで持ってかれちゃうからもっと競争原理が働くはず

>お互いにコミュニケーションをとることもなく、
これを「談合」と名付けるのはおかしくない？

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 01:16:02.11

国内の通販価格の比較サイトで、以前は単独で最安を狙う小売が目立ったが
最近は複数店が同価格最安である場合が増えたと思う。

比較サイトでの一喜一憂から距離を置く小売も増えている気がする。
購入を検討していると、登録最安サイトよりも安い非登録サイトに
遭遇する機会が一時期よりも増えた。

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 01:33:41.05

家電量販店はつかず離れずの横並びだわな

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 02:46:43.85

キャッシュレスになったら全部AIになるんだろうな

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 05:05:09.77

消費者の都合ではなく、金儲けの都合を優先させると、「安かろう悪かろうの粗悪品」のほうが、交換需要が期待できる。
商売人に善意など期待するなど無駄、どうせ、商品など、すべて羊頭狗肉、冷酷非情なベニスの商人しか成功しない。

【LED】初期「10万時間使用可能」➡現在「5000時間」なぜLED電球の寿命はだんだん短くなっているのか？［02/07］
https://egg.5ch.net/test/read.cgi/scienceplus/1549554112/

【スマホ】リンゴは腐りかけているのか…iPhoneも限界、長期保有で腐る「スマホ経済」
http://asahi.5ch.net/test/read.cgi/newsplus/1549697082/

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 05:06:39.51

【著作権侵害】スクショもダメ…コンテンツのダウンロード「全面的に違法」方針決定 ★11
https://asahi.5ch.net/test/read.cgi/newsplus/1550123280/

角を矯めて牛を殺す・・・

守銭奴たちは、目先の金のことに夢中。
愚かな・・・。
ほとんど、暴力団の言いがかり状態。

あのさ、著作創作物と言えども、作者は周りの景色だって見ているだろ？
そんなに何でも権利、権利と言うのなら、景色を見るのも有料、他人を見るのも有料。
道路を歩いても、景色も見るな、目を閉じて歩け、音も聞くな、耳も塞いで歩け。

他人を見るたびに肖像権として、料金を払え。

【北海道】「姿がカメラに写るのは肖像権侵害」住民反発で防犯カメラ撤去　事前に同意得ず、プライバシー配慮…札幌市の町内会の一部★3
http://asahi.5ch.net/test/read.cgi/newsplus/1550140753/

別にオリンピック観光に来てもよいけれど、オリンピック以外の景色を見るのも禁止、
無償で日本の風景を撮影するのも禁止、
選手以外の人を見るのも禁止。

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 05:10:46.57

ヤミカルテルAI

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 08:03:36.07

価格競争は正義とかいって、市場や自分も焼け野原にして退場を食らい続けていれば世話ないわな

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 08:15:39.74

一定の割合で相手を出し抜く挙動をするAIを混ぜておかないとだめなんだな

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 08:59:32.57

戦闘妖精雪風の結末にはいいネタかもなｗ

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 09:52:18.35

一定期間需要を独占すると、相手は金に詰まって倒産するって部分はちゃんと考慮されてるのかな？

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 11:08:08.30

ダイソンがアマゾン買収してロボットつくる流れ

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 15:14:27.64

極論すれば、侵略戦争をしないようになる、というのも
一種のカルテルを結んだ状態といえる。

統治域を発展させるシムシティのようなゲームの選択肢に戦争も加えて
多国家で学習機械にやらせたら、談合と同様の状態に至るだろう

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 16:33:20.15

>>3
amazonの予約商品はアルゴの値上げとリセットの争いになって乱高下して予約ムズイｗ

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 17:23:30.26

>>18
それが買われたらどうするの

**ニュースソース検討中＠自治議論スレ** · 2019/02/15(金) 19:42:01.17

自由市場ゲームのただ中から必然的に社会主義的協議が生じてくる、
それを部分的に証明したシミュレーションなのかもしれない。

**ニュースソース検討中＠自治議論スレ** · 2019/02/16(土) 09:55:34.21

>>57
空出品は一時期チャイナがやりまくってて
古い評価がない出品者は疑えって言われてたな

**ニュースソース検討中＠自治議論スレ** · 2019/02/16(土) 19:20:10.10

何十個もの星5のサクラ書き込みも学習されたら厄介だな

**ニュースソース検討中＠自治議論スレ** · 2019/02/17(日) 00:53:06.28

買おうか迷ってるとき、ころころ値段変えられると買う気なくすけどね

**ニュースソース検討中＠自治議論スレ** · 2019/02/19(火) 22:24:22.16

国家間の平和に応用できそうだな

**ニュースソース検討中＠自治議論スレ** · 2019/02/19(火) 22:49:55.49

対抗するには買う方もAIで最安値を予測してだな

**ニュースソース検討中＠自治議論スレ** · 2019/02/24(日) 04:09:37.69

現実の企業は、自分の価格が相手よりも高くてその結果客が注文をくれない
状態がずーっと続くと、従業員を解雇したり倒産したりして続けられなくなるが、
そういう退場するルールとか生存を続けるための痛みが無いと、現実離れした
霞を食って生きているような戦略が可能になってしまって参考にはならないかも
しれないな。

しっぺ返しの戦略というのを入れてゲームに参加するのがいろいろなゲームに
とって良いらしいのだが、つまり相手が自分にとって不利な戦略を選んでくると
こちらも相手に不利になる手をとるというもの。1回限りのゲームだと囚人の
ジレンマになっている場合には、両者が不幸に落ちてしまうパターンが最適
戦略だったりするが、多数回ゲームをする場合には、しっぺ返しで、協調すれば
得になる戦略を選び、相手が裏切りをしたら次に自分も裏切るが、相手が協力
的な手を取ってきたらすぐに自分も協力的な手を打つというのをやっていると
次第に両者が得をする戦略が選ばれるようになっていくしそれが最適解である
というぐあいに協調路線に落ち着くそうだ。　だから言葉をかわさなくても
相手の行動に対する行動の姿勢を示すことを通じて次第に談合に落ち着くという。

**ニュースソース検討中＠自治議論スレ** · 2019/02/24(日) 06:38:10.18

アマゾンの中で談合はじめたら、楽天の方が安くていいやん？みたいなことになるかもしれんな

**ニュースソース検討中＠自治議論スレ** · 2019/02/24(日) 15:44:31.82

>>9
俺もそう思った、この記事は別に何も目新しい事を言ってない。

**ニュースソース検討中＠自治議論スレ** · 2019/03/26(火) 21:03:33.16

談合のアルゴリズムを学習させればいい

**ニュースソース検討中＠自治議論スレ** · 2019/03/26(火) 22:23:33.75

>>3
まあ検索面倒だから手に取ったもの買うな
重さとか

**ニュースソース検討中＠自治議論スレ** · 2019/03/27(水) 21:39:11.64

>>14
コンピュータで解く前から分かってる話
暗か明かに関わらず供給側に価格の決定権があるならば談合がした方が供給側には利益が高いのはすでに分かっていた事実

**ニュースソース検討中＠自治議論スレ** · 2019/03/27(水) 21:40:09.51

>>16
それは価格の決定権が顧客側にある場合だな

**ニュースソース検討中＠自治議論スレ** · 2019/03/28(木) 13:04:36.42

機械の判断だから独占禁止法に引っかからないってなるんだろうな。

証券取引で同じ取引でも人間がやったら違法、機械がやったら無罪って扱いあったよな

**ニュースソース検討中＠自治議論スレ** · 2019/03/28(木) 13:43:36.99

アマゾンのスピーカーは盗聴器として、家庭の中職場の中で行われている
会話や物音を聞き耳を立てて聞いていて、特定のパターンや話者を認識して
その位置や内容を知らせるようになっているNSAのための世界規模の盗聴
ネットワークだろう。あなたがスピーカーに話すと、その声紋をそれと
いわずに登録しておけば、あなたが別の場所で誰かと話をしているのが
それが携帯電話であろうと公衆電話であろうと誰かのスピーカであろうと
高い確率で話者を特定し、位置を追跡して、その話をしている内容を
捕らえ、記録し、要約することが可能になっているのだろう。
狙いをつけた政治家、官僚、企業のVIPなどの会話だけをインターネットから
抜き取り、集めたり、いまどこで話をしているかをリアルタイムで知る
ことが潜在的にはできるのだ。

**ニュースソース検討中＠自治議論スレ** · 2019/03/29(金) 15:39:30.63

>>72
> アマゾンのスピーカーは盗聴器として、家庭の中職場の中で行われている
> 会話や物音を聞き耳を立てて聞いていて、特定のパターンや話者を認識して
> その位置や内容を知らせるようになっているNSAのための世界規模の盗聴

GoogleのスピーカーもそうだしiphoneのSiriも同様だな
これらはNSAによる全世界盗聴監視システムのセンサーネットワークを構成している

**ニュースソース検討中＠自治議論スレ** · 2019/04/21(日) 20:26:36.50

そうしてある日、乗っている飛行機が原因不明の墜落事故を起こしたり、
公園のベンチでコーラを飲みながら携帯で新聞記事を読んでいると
ドローンがやって来て爆殺されたりするんだよ。