Posted inコンピュータ 技術・工学・物理・数学

超伝導量子ビットの方式

超伝導量子ビットの方式は2つに収斂しています。「トランズモン(transmon)」と「磁束量子ビット（fluxonium）」です。説明は基礎知識が必要なので難しいですが、やってみましょう。わかりやすくする努力をした専門家による解説記事がいくつかあります。 Googleや理研が手掛けているトランズモンは https://www.jstage.jst.go.jp/article/jjspe/85/12/85_1048/_pdf https://www.jstage.jst.go.jp/article/oubutsu/90/4/90_209/_pdf Dwave社が手掛けている磁束量子ビットにつなが…
Posted inコンピュータ 技術・工学・物理・数学

Wait, wait. Wait. That’s an aha moment I can flag here.

DeepSeekやOpenAIのような大規模言語モデル(large language model; LLM)を使った生成AIは、少なくともスマホの登場と同じくらいのインパクトを与えると予想しています。私のような日曜プログラマとしても面白そうな題材がいくらでもあります。 DeepSeekの話題の論文は下記です。 https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf わかりやすい解説が下記です。 https://zenn.dev/asap/articles/34237ad87f8511 私はコンピュータ学者と一緒に…
Posted inコンピュータ 技術・工学・物理・数学

アハの瞬間

DeepSeekの技術にはいくつかポイントがありますが、AIにおける”aha moment”の観察を多くの人が取り上げています。DeepSeekの論文は、このような現象を最初に報告したものになるのではないかと思います。特に”aha moment”を学習に使ったわけではなく、学習後のAIの動作です。 ”aha moment” は「なるほど、わかった！」ということで、アルキメデスにちなんで”Eureka effect”という別名もあるようです。 https://en.wikipedia.org/wiki/Eurek…
Posted inコンピュータ 技術・工学・物理・数学

DeepSeekのファイルサイズ

DeepSeekをオンラインで使おうとすると中国のサーバーにつながるので警戒されていますが、すべてダウンロードして自分のパソコンで使うこともできるそうです。 これがopen sourceのいいところですね。下記にやり方が書いてあります。14.8Bとか7.6Bとかは学習済みのパラメータの数（billion=10億単位）だと思われます。ファイルサイズは数十GBだそうです。 https://zenn.dev/serada/articles/20250130-deepseek-r1-ollama 去年のノーベル賞のタンパク質結晶構造の予測(AlphaFold)は2TB以上なので、だいぶ小さいです。タン…
Posted inコンピュータ 技術・工学・物理・数学

生成AIの現在の到達点、光インターコネクト、ミュンヘン大学の論考

動画系生成AIの現在の到達点は下記に紹介されています。 https://ascii.jp/elem/000/004/242/4242421/4/ 静止画を与えて好きな動作をする動画を作ることができるようです。これはパッと見せられたら本物と思うかもしれません。 https://www.youtube.com/watch?v=CjcTdaYEKLc 文献検索をすると、上記記事の通り、確かに中国勢が色々出しています。 結局、生成AIは「潜在記憶」を機械の中に作るやり方が分かったということなので、人間固有の働きと思われていたものに機械が関与するようになるはずです。 絵画、音楽、ロボットの制御、おそらく…
Posted inコンピュータ 技術・工学・物理・数学

アンナ・カレーニナの法則 → ノイズと幸福の類似性

Stable Diffusionの仕組みを大学1年生に講義することは可能だと思います。実際にプログラムの各部を触りながら２コマ（３時間）といったところでしょうか。背景知識も足すとあと１～２コマ必要、ちゃんとやると半年くらいで機械学習やデータ科学のかなりの部分を伝授できそうです。朝のメールではその余裕はないので、面白そうな概念を拾ってみましょう。 画像に少しノイズを足してできたボケた画像を与えて、そのノイズを除去するニューラルネットワーク（画素ごとにパラメータを１つずつ持つ非線形並列演算をまとめながら多層に組んだもの）のパラメータを学習させます。ここで学習というのは、できるだけうまくノイズを除去…
Posted inコンピュータ 技術・工学・物理・数学

公開されている生成AIプログラム Stable Diffusion

Stability AI社（もとはミュンヘン大学）のプログラム Stable Diffusionを見てみましょう。ソースコードと基礎訓練データを公開しているのが大学らしいと言えます。我々が勉強するのに助けになります。 https://github.com/Stability-AI/generative-models 展開したファイルの大きさは2022年の段階では最初は5-6GBで、訓練でだんだん大きくなるそうです。パラメータは最初は10億個で、20億の画像とテキストのペアを学習して得られているそうです。 もともとは、ノイズが入ったりピンボケしたりした画像を修復するためのソフトを開発していました…
Posted inコンピュータ 世界の研究所 技術・工学・物理・数学

世界の研究所：ドイツ・ミュンヘン大学の成果を使った　Stability AI 社

最近AIツールが使いやすくなってきて、かなり長い日本語→英語や、自分で書いた英語の冠詞のチェックなどは一発で満足のいくものが出てくるようになっています。論文など長い文章の要約を自在にできるツールも出てきているようです。すなわち、論文を読ませてこちらで質問をするといろいろ答えてくれるというもので、頭が疲れないのと時間が短縮される効果があります。また、「プロンプト」を入れると絵や音楽が出てくるツールも進化しています。講義のスライドの図の著作権の問題がたいへん面倒になったので（クラウドにアップする場合はすべての図の出典を「どの本の何ページ」まで申告する必要あり）、生成AIに作らせたいと思っています。…
Posted inコンピュータ 技術・工学・物理・数学

「後工程」で使う３次元微細配線をもつシリコン

半導体でいま一番伸びているのが生成AIのための大規模並列計算チップです。米NVIDIA社（エヌヴィディア）が画像処理用の桁数の小さい超並列計算チップ(graphic processing unit; GPU)を作っていましたが、NVIDIAはそれを科学技術計算に使うためのCuda(クーダ)という言語を開発し、爆発的に人気が出ました。 https://ja.wikipedia.org/wiki/CUDA 私もCudaの使い方は勉強したことがあります。並列計算はメモリの共有、同期の取り方など普通のプログラミングからもう一段複雑な（より電子回路に近いレベルの）ことを考えないといけません。GPUを一般…
Posted inコンピュータ 技術・工学・物理・数学

インテルとコンパイラ

なぜかわかりませんが、私は追いかけられて負けそうな先駆者を応援したくなります。インテルはその条件にピッタリ当てはまります。インテルは、FortranやCなど高級言語のコンパイラも社内で作っていて、私も世代が変わるたびに何セットも購入しました（1つ10万円以上）。いかにオープンソースが充実していてもハードウェアに一番近いところはメーカーが作る必要があるでしょう。AMDは設計をインテルに寄せた（？）2017年のZen Architectureで、ほぼ同等の性能をインテルの半額で実現したため、シェアを大きく伸ばしました。そのためかどうかわかりませんが、インテルのコンパイラは無料になりました。インテル…