GPT-4以上のAIの開発停止を求める公開書簡、日本では「イーロンマスク偉い、賛成」みたいな話になってるけど、ちょっと待て、と思う。その「オープンレター」を発表したFuture of Life Instituteはカルト同然の組織で、「恐怖を煽る」ことで利益を得ている。危険を啓蒙する研究者も多く名乗り出ていて、記事も多く書かれている。このコンテクストを知らないまま、なんとなく「AIの危険性」について、その「ハイプ」に乗っかったまま議論するのは、あまりにも軽率だ。

Future of Life Instituteが「信仰」する「ロングターミズム」がなぜ「世界で最も危険」と言われるのか。"地球を起源とする知的生命体という種としての私たちの可能性を実現すること以上に、倫理的に重要なことはない、というのが長期主義の中心的ドグマである。
ロングターミズムのイデオロギーは、その信奉者が気候変動に対して無関心な態度をとるように傾倒している。さらに心配なのは、人類存続の圧倒的なリスクはこれらの技術に由来するという合意があるにもかかわらず、より強力な技術を創造しなければならないというロングターミストの要求である"

"ロングターミズムとは、人工知能が制御不能な超知能になることで、人類の未来に長期的または存続的なリスクをもたらすとする考え方。この書簡は、人工知能の法整備を急ぐよう求めるが、結局は現在人工知能の研究を推進している少数の企業が有利になるよう仕向けかねない"

「この見解は、AIまたは人間のエラーによって人類を滅ぼすための力を持つことになるかもしれないと警告。 遠い終末を心配することは、政府や民間企業が現在使用しているAIシステムからすでに発生しているバイアスや誤情報など、より直接的な害から注意を遠ざけることになる」

「AIの専門家は、この書簡が現存する害を列挙したり、具体的な行動を求めず、「AIの誇大広告」サイクルを促進するものだと批判。超富裕層を評価し、道徳的に疑わしい行為を許容するため、有害で反民主的であると批判されてきた世界観であるロングターミズムを促進するとも」

危険を啓蒙している研究者たちのスレッドはここから。

AIが人間の仕事を奪うとか、地球を乗っ取るとか、恐怖をあえて煽るのは利益が生まれるからであって、「AIはすごいし恐ろしい」という強迫観念を社会に植え付けることによって「ハイプ」が人為的に生成される。現時点ではまだまだ未発達の技術なのに、その人為的ハイプに乗っかることは愚行だ。そして、AIやテックの専門家でもないのに、知ったかぶりしてAIハイプを撒き散らす人はまず信用できない。