- ChatGPTは｢高価なサーバー｣を使っているため、OpenAIがそれを稼働させるのに1日最大70万ドルのコストがかかっているようだと、あるアナリストがThe Informationに語っている。
- ChatGPTは、クエリに答えるために高価なサーバー上で大量の計算をしなくてはならない。
- マイクロソフトは、密かにコストを削減するためのAIチップを製造しているとThe Informationが報じている。
国内最大級の品揃え【DMMブックス】
ロリポップ！
ファッション雑誌No.1 宝島社公式通販サイト『宝島チャンネル』
ユーザーがChatGPTを使ってカバーレターを書いたり、レッスンプランを生成したり、デートアプリのプロフィールを書き直したりすることで、運営元のOpenAIには1日に最大70万ドル（約9400万円）ものコストがかかっているようだと、半導体調査会社SemiAnalysisのチーフアナリスト、ディラン・パテル（Dylan Patel）がThe Informationに語っている。AIが稼働するには高価なインフラが必要だからだ。
ChatGPTは、ユーザーのプロンプトに対する回答を計算する際に、膨大な量のコンピューティングパワーを必要とする。
｢このコストのほとんどは、稼働に必要となる高価なサーバーで発生する｣とパテルは述べている。
彼は大規模言語モデル（LLM）であるGPT-3を使用した場合のコスト試算を行っているが、現在はさらに運用コストの高い最新のGPT-4が用いられているため、コストは増大しているだろうと、パテルはInsiderの電話取材に答えた。
Insiderは、記事の公開前にOpenAIにコメントを求めたが、返答は得られていない。
ChatGPTのLLMをトレーニングするには多額のコストがかかるとされているが、運用費用（推論コスト）の方が｢適切な規模でモデルを展開する際には、トレーニングコストをはるかに上回る｣と、パテルとSemiAnalysisのアナリスト、アフザル・アーマッド（Afzal Ahmad）はフォーブスに語っている。
｢実際、ChatGPTの推論にかかるコストは、週単位ではトレーニングコストを上回っている｣
OpenAIのLLMを利用する企業は、何年も前から高額な料金を支払ってきた。プロンプトからストーリーを生成するAIダンジョンゲームを手がけるスタートアップ、Latitudeのニック・ウォルトン（Nick Walton）CEOがCNBCに語ったところによると、2021年にはこのLLMを運用するために、アマゾン・ウェブ・サービス（AWS）サーバーへの支払いに加え、数百万人のユーザーからのクエリに答えるためのAIに毎月20万ドル（約2700万円）を支払ったという。
あまりにも高額であるため、ウォルトンはイスラエルのAI企業、AI21 Labsが開発したLLMに乗り換えた。するとAIコストが半分の月10万ドル（約1300万円）に抑えられたという。
｢うちには人間の従業員とAIの従業員がいて、それぞれ同じくらいのコストがかかると冗談を言っていた｣とウォルトンはCNBCに語っている。
｢大規模なスタートアップではないので、AIへの多額のコストは大きな負担になっていた｣
マイクロソフトは密かにAIチップを開発中
生成AIモデルの運用費用を削減するために、マイクロソフト（Microsoft）はコードネーム｢Athena｣というプロジェクトでAIチップを開発しているとThe Informationが報じている。このプロジェクトは、2019年にマイクロソフトがOpenAIのLLMをAzureクラウドサーバー上で独占的に使用するという契約を10億ドルで締結してから始まった。
The Informationによると、このチップ開発の背後には2つの側面があった。まずマイクロソフトの幹部は、自社でチップを製造する取り組みにおいて、グーグル（Google）やアマゾン（Amazon）に遅れをとっていることに気づいていたと関係者が述べている。また、マイクロソフトのAIモデルはエヌビディア（Nvidia）のGPUで稼働しているため、より安価な代替品を探していると見られる。そのため、低コストのチップ開発を始めることになったのだ。
プロジェクトの開始からおよそ4年が経ち、現在では300人以上のマイクロソフト社員がこのチップの開発に取り組んでいるという。このチップは、早ければ来年にもマイクロソフトとOpenAIの社内用にリリースされる可能性があると、2人の関係者がThe Informationに語っている。
Insiderはマイクロソフトにコメントを要請したが返答は得られていない。
