似たような話が続いて恐縮ですが、今週は先週各方面に激震が走ったDeepseek問題をとりあげます。Deepseekは中国の人工知能研究所「杭州深度求索人工智能基础技术研究有限公司」の英語名です。そこが先々週の1月20日に発表したDeepSeek-R1がオープンソースの大規模言語モデルAI(large language model; LLM)で、通常の言語プロンプトによる既存の商用LLMと同性能の応答のほかに数学的推論に長けているということで大騒ぎになりました。同社の社員は下記によると200人だそうです。
https://ja.wikipedia.org/wiki/DeepSeek
https://jbpress.ismedia.jp/articles/-/86390
LLMはOpenAI社、Google, Meta, Softbank関連, NTT関連等多くの会社が手掛けていますがオープンソースではなくそれなりの使用料をとろうとしています。その収益性を期待して大規模投資が行われると共に米国のbig techやハードウェアのNVIDIA等のAI関連株が大きく上昇してきましたが、DeepSeekが格安（開発費1/20）で使える可能性が出てきたので株価の下落や政治的対応など様々な情報がとびかっています。私は数人でAIの化学への応用の本を書こうと本腰を入れ始めたところですが、LLM関連の進展が速く情報に追いつくのに苦労します。DeepSeekでオープンソースが出てきたのでソースコードを勉強して実際に使ってみたいと思います。CUDAより低レベルの言語を使って輸出制限されない遅い半導体を使いこなしているといううわさもあるので興味深いです。
英語は https://www.reddit.com/r/singularity/comments/1icwl73/notes_on_deepseek_r1_just_how_good_it_is_compared/?rdt=55391 から。
“Finally, there is a model worthy of the hype it has been getting.” ついに、うけている過剰な評判に値するモデルが出た。
hype ハイプ 誇大広告、過剰宣伝
“the general public seems excited about this, while the big AI labs are probably scrambling. It feels like things are about to speed up in the AI world. And it’s all thanks to this new DeepSeek-R1 model and how they trained it. ”
the general public 大衆
scrambling 混乱している > scramble 1.這い上がる 2.緊急発進（スクランブル）する 3.盗聴されないように暗号化する、4.乱雑に集める、5.混乱させる、6.スクランブルエッグにする
”The model uses “Aha moments” as pivot tokens to reflect and reevaluate answers during CoT.”
Aha moments は「アハ体験」で一時期有名になりました。これを使っているとすると、AIの自我の目覚めにあと一歩のような気がしてしまいます。
pivot 支点
token トークン LLMの分野では意味単位という意味で使っているようです。
CoT ＝ Chain-of-Thought だそうです。AI分野でいわゆるプロンプトエンジニアリングで問題を小さい論理的ステップに分解すること。
”So, for this, I tested (DeepSeekの) r1 and （OpenAIの GPT4の）o1 side by side on complex reasoning, math, coding, and creative writing problems. These are the questions that o1 solved only or by none before. It is better than o1-preview but a notch below o1.”
complex reasoning 複雑な推論
creative writing problem 創造的作文問題
a notch below o1 目盛り一つ分GPT4-o1より性能が低い
“Writing: This is where R1 takes the lead. It gives the same vibes as early Opus. It’s free, less censored, has much more personality, is easy to steer, and is very creative compared to the rest, even o1-pro.”
vibes = a person’s emotional state or the atmosphere of a place as communicated to and felt by others.
Opus 作曲家の作品10番=Opus 10 のように使う単語ですが、Opus.aiという会社があり、作文や作曲のAIサービスを提供しています。
“Distillation works, small models like Qwen and Llama trained over r1 generated data show significant improvements. ”
distillation 蒸留 ですが、AI分野における内容は明日以降解説します。
Qwenは中国アリババ社のLLM-AI。 LlamaはLLMのインターフェースとして標準のソフト。