DeepSeekのファイルサイズ

DeepSeekをオンラインで使おうとすると中国のサーバーにつながるので警戒されていますが、すべてダウンロードして自分のパソコンで使うこともできるそうです。
これがopen sourceのいいところですね。下記にやり方が書いてあります。14.8Bとか7.6Bとかは学習済みのパラメータの数(billion=10億単位)だと思われます。ファイルサイズは数十GBだそうです。
https://zenn.dev/serada/articles/20250130-deepseek-r1-ollama
去年のノーベル賞のタンパク質結晶構造の予測(AlphaFold)は2TB以上なので、だいぶ小さいです。タンパク質の構造予測は定量性と正確さが求められるので必要な情報が多いのでしょう。
DeepSeek-R1はちょっと時間がなくて今週はインストールまでは手が出せませんが、あとでやってみようと思います。
サイズが小さいのは「量子化」といって、学習後にパラメータのビット数を減らす(有効数字を四捨五入で丸めるような感じ)をやった後だからでしょう。
報道を見ると、NVIDIAなどのハードウェア需要は大丈夫だが、AIソフトウェアは先行した米国の優位性が失われて、big techは巨額投資が回収できない可能性がありたいへん、これまで米国製はブラックボックスだったchat型AIの中身がわかるので欧州や日本は追いつくチャンス、という論調です。下記参照。

英語は https://www.bbc.com/future/article/20250131-what-does-deepseeks-new-app-mean-for-the-future-of-ai
”Tumbling stock market values and wild claims have accompanied the release of a new AI chatbot by a small Chinese company. ”
tumble 躓く(つまづく)、ころぶ
”What has surprised many people is how quickly DeepSeek appeared on the scene with such a competitive large language model – the company was only founded by Liang Wenfeng in 2023, who is now being hailed in China as something of an “AI hero”.”
hail ヘイる  1.雹(ひょう)、霰(あられ) 2.歓呼して迎える  3. 呼び止める hail a taxi タクシーを呼ぶ
“It is likely that, working within these constraints, DeepSeek has been forced to find innovative ways to make the most effective use of the resources it has at its disposal.”
the resources it has at its disposal 自由に使える資源
”The latest DeepSeek model also stands out because its “weights” – the numerical parameters of the model obtained from the training process – have been openly released, along with a technical paper describing the model’s development process. This enables other groups to run the model on their own equipment and adapt it to other tasks.”
adapt 適用する
”It seems likely that smaller companies such as DeepSeek will have a growing role to play in creating AI tools that have the potential to make our lives easier. It would be a mistake to underestimate that.”
underestimate 過小評価する

Leave a Comment

Comments

No comments yet. Why don’t you start the discussion?

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

CAPTCHA