Sakana AI、まさかな展開

AI考察はお休みして、そろそろまたSaaS企業の話を書くか〜と考えていたところに、Sakana AIが2月20日に発表した論文が炎上しているという話題が飛び込んできた。Nate Silverの「話題性のある話はリアルタイムで追え」というアドバイスもあるが、何よりSakana AIは東京発AIスタートアップの期待の星であり、個人的にも気になったというのが正直なところである。また、先行して書かれている文章たちがどれも煽りがちで、どう考えてもバイアスが否めない立場にある発言も散見され、もう少しフラットな視点で整理し直す必要性も感じたと付け加えておく。

Sakana AIは、元Google BrainのDavid Ha氏と、同じくGoogle出身で生成AIブームの火付け役となった論文Attention Is All You Needの共著者Llion Jones氏が東京で共同創業したAIスタートアップである。2023年7月創業、翌年1月には約$37.5M（≒55億円）をシードラウンドで調達した。その後、Stability AI社の元COOでDavid Ha氏の元同僚であった伊藤錬氏が共同創業者として入社、評価額$1.5B（≒2,250億円）で$200M（≒300億円）の資金調達に成功し、話題となった。この巨大なシリーズAには、シード投資家のフォローオン投資に加え、錚々たる日本の金融機関が参加、AI武器商人ことNvidiaもキャップテーブルに名を連ねることとなった。

そんなSakana AIは、創業から一貫して、GAFAMやOpenAIと対極的な作戦を取ってきた。後者がGPU火力勝負を繰り広げる中、生物学にヒントを得た進化アルゴリズムなどを駆使したユニークな研究を通じて、GPU長者でなくても使えるAIの発見を標榜してきている。たとえば2024年3月に発表した進化的モデルマージ論文では、既存のモデルを組み合わせることで効率よくモデルの性能を高めるテクニックを発表しており、これもGPUをぶん回して大規模言語モデルを一から作る手法に対するアンチテーゼ的な側面を持つ取り組みであった。

こうした背景を考えると、今回同社が発表したAI CUDA Engineer論文も、取り組みとしては自然かつタイムリーなものだったように思う。まずやろうとしていることは、既存大規模言語モデルを活かしたCUDAコードの最適化を通して、PyTorchのパフォーマンス向上を図るというものだ。ということで先ずCUDAとPyTorchが何か説明する。