はてなブックマーク

*1) 特定のシナリオに対するモデルの振る舞いを検証するテスト。一般的にOpen loopとClosed loopの2種類が存在。 2. なぜ”提供形態”が問題になったのか これらのサービスをMLエンジニアに提供するとき、例えば、ライブラリやSDKとして提供する、webアプリケーション（webUI/GUI）として提供する、といった選択肢があると思います。実際、APIでの提供を行う前は、多くの機能はこれらの形式で提供されていました。ただ、これらの方法にはいくつかの問題点がありました。 2.1 SDK/ライブラリ提供の限界 ライブラリやSDKとして提供した際の問題点としては、計算リソースをオフロードするのが難しい、という点があります。 例えば、データセット作成は、数時間分のデータであれば、エンジニアのローカルPCや、大きめのEC2インスタンスを使えば作成できますが、数百時間を超えるようなデータ

はじめに チューリングのVLAチームでエンジニアをしている横井です。 2025年にKaggleで開催された自動運転とVLM (Vision-Language Model) のドメインである2COOOLコンペに社内のKaggler ( Kento Sasaki, ymg_aq, colum2131, Hidehisa Arai, Hotaka Ueda) で参加しました。幸運にも2位を獲得し、ICCVに参加するなどの貴重な経験ができたので参加記録を残します。 これはKaggle Advent Calendar 2025の3日目の記事です。 表彰してもらえました 本記事では以下の内容を紹介します。 コンペの概要と課題設定 上位入賞につながった工夫やアプローチ トップカンファレンスに現地参加して見た自動運転分野の最新潮流 Kaggle・VLM・自動運転に興味のある方の参考になれば嬉しいです。 2

はじめに チューリングで自動運転第一グループのマネージャをやっている棚橋です。 今週、チューリングは無事にシリーズA 1st closeの資金調達を発表することができました。 E2E自動運転の開発においても、ようやく都内を30分ほど走行できるレベルに到達しつつあります。しかし、ここに至るまでの道のりは決して平坦ではなく、多くの失敗や試行錯誤を積み重ねてきました。実際にチューリングでは今まで累計約30万kmもの走行データを取ってきました。この記事ではこれまでの開発の道のり、そして今後について書きたいと思います。 E2E自動運転開発は簡単？ E2E自動運転のタスクは極めてシンプルです。過去のカメラ映像をもとにして未来の運転アクション（軌跡または加速度とステア舵角）を予測するだけです。タスクとしてはわかりやすいので、一見すると簡単に見えますが、実際に作ってみると大変なことばかりでした。 E2E開

はじめに Turing CTO室に所属している東京科学大学(Institute of Science Tokyo)の藤井です。 本記事では、OpenAIから2025年8月にリリースされたgpt-ossをNVIDIA NeMoフレームワークにて学習するための方法について解説します。 2025年11月4日時点では、NVIDIA公式からは、LoRA finetunigを行う方法についてのみ解説されており、Long Context継続事前学習(Continual Pre-Training)など本格的な学習を行うにはハードルが多数あります。 本記事では、学習を行うために解決する必要があるすべての問題に関して、詳細な解決方法を記しました。gpt-ossを利用したモデル学習にお役立てください。 gpt-oss About gpt-ossとは、OpenAIよりリリースされたLLMであり、gpt-oss-2

はじめに Turing CTO室に所属している東京科学大学(Institute of Science Tokyo)の藤井です。 本記事は、LLM, VLM開発の裏で行われるリアルなデバッグ作業の様子を紹介します。 LLM, VLMの開発の裏には本記事で紹介するような地道なデバッグ作業が多数あるのですが、なかなかその実態が伝わっていないように思います。できるだけ詳細にデバッグ作業の様子を記しましたので、実際の現場で行われている作業を追体験いただけますと幸いです。 Background まず、デバッグ作業を行う前の背景と経緯について説明します。 学習に使用している依存関係の継続的なupdateのために、学習ライブラリが新しいversionのPyTorch、CUDA Toolkitで動作するかどうか常に検証しています。 本記事では、その作業を行う中で問題に直面し、何が問題なのか突き止めるまでの過

はじめに 完全自動運転の実現を目指すスタートアップ「チューリング」でエンジニアをしています、鈴木勝博です。私が所属しているDrivingSystemチームでは、自動運転向けのシステム開発を担当しています。 Linuxを用いたシステム開発を行っていると、カーネルの挙動、周辺デバイスとの組み合わせ等によって、思いがけない問題に遭遇することが少なくありません。この記事では、実際にシステム開発中に遭遇した「再現が難しく、原因の切り分けに時間を要した問題」について深堀りしてご紹介します。 概要編はこちらのテックブログにてご紹介しています。 本テックブログでは「kswapdが動作するとCPUの動作が止まる理由」の深堀を行います。具体的には下記を説明します。 Linuxのメモリシステムの仕組み 問題発生した瞬間に何が起きたか？ Linuxのややマニアックな話となりますが、Linuxや自動運転ソフトウェア

はじめに 完全自動運転の実現を目指すスタートアップ「チューリング」でエンジニアをしています、坂本です。私が所属しているDrivingSystemチームでは、組み込みLinuxをベースに、自動運転システムと、自動運転モデル学習用データ収集システムを開発しています。 組み込みLinuxの開発を行っていると、カーネルの挙動、周辺デバイスとの組み合わせ等によって、思いがけない不具合に遭遇することが少なくありません。この記事では、実際にシステム開発中に遭遇した再現が難しく、原因の切り分けに時間を要した不具合について紹介していきます。同じように組込みLinuxや自動運転ソフトウェアの開発に携わっている方の参考になれば幸いです。 なお、本記事は「全プロセスが一秒止まる不具合解析」の概要編です。調査で得られた技術的な詳細やカーネル内部のメカニズムについては、別途記事で掘り下げて紹介する予定です。 チューリ

はじめに End-to-End自動運転開発チーム (以降E2Eチーム) の塩塚です。本記事では、画像認識結果とベクターマップをマッチングすることで自己位置推定を行う手法について紹介します。 アイディアとしては 高架下などGNSSが不安定な場所では自己位置がズレる。 その結果、本来は適切に車線中央を走行しているのに、自己位置上は白線の上を走行しているような状態になる。 車両にとりつけられたカメラの画像を見れば車線中央を走行していることは明らかなので、その情報を使って自己位置を修正する。 といった感じです。 結果はこちらです。以下の場面ではGNSSによる自己位置が車線一本分もずれていますが、それを補正できています。 左上（補正前）と右上（補正後）の画像を見ると、画像認識結果（赤）とベクターマップ（青）が合うように自己位置が補正されていることが分かります。 左下はマッチングの様子です。（パッと目

Turingには「MLOpsチーム」と呼ばれるチームがあります。このチームはもともと、自動運転を実現するMLモデルを開発する「E2Eチーム」から、2025年3月頃に独立して誕生しました。 今回の記事では、MLOpsチーム誕生に至る経緯と、その役割について紹介できればと思います。 自動運転MLモデル開発に必要なドメインは多い TuringのE2Eチームは、自動運転用の機械学習(ML)モデルを開発するチームです。チーム名の「E2E」はEnd to Endの意味で、このチームが開発するモデルの特徴を表しています。 このチームには、自動運転MLモデルを開発するエンジニアが多くいますが、そのカバーする領域は多岐に渡ります。 機械学習システムを構築するには、ML学習以外にも重要な要素がたくさんある、という話をすると、よく「Hidden Technical Debt in Machine Learnin

チューリングのMLOpsエンジニアの岩政です。 先日ポストした内容が思いのほか拡散されたので、個人的な再現性が保ちやすい PyTorchの環境構築の流れ についてまとめた記事です。 本記事の主な対象は、Linux OSでNVIDIA GPUが搭載されているマシンでPyTorchをインストールする方です。他のOSやWSL2などで同様の操作が可能かは保証しません。 1. 結論 本記事で紹介したい流れを具体的なコマンドをもとに先に紹介します。 1.1 NVIDIA Driverのインストール NVIDIA Driverをインストールしておく必要があります。 Ubuntuであれば、Ubuntu Server documentation - NVIDIA drivers installationなどに従ってインストールします。本記事では、NVIDIA Driverのインストール方法について説明をしま

1. はじめに 完全自動運転の実現を目指すスタートアップ「チューリング」でリサーチエンジニアをしています、佐々木です。現在、Vision-Language-Action (VLA) モデルの研究開発に取り組んでいます。 本記事では、自動運転VLAモデルの概要と最新の研究動向を整理し、今後の取り組みについて掘り下げていきます。 1.1 自動運転システムの概要 まずは、本題に入るまえに自動運転システムのパラダイムについて確認していきましょう。 Modular-based System モジュラーベースシステムは、3P (Perception → Prediction → Planning)のパイプラインを個別のモジュールとして設計し、統合することで動作します。モジュラーベースシステムの利点は、各モジュールを独立に開発、改善できる点です。しかし、モジュールごとに最適化目的が異なるため、システム全

はじめに Turingの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。本記事では、PyTorch Lightningを利用してマルチノード(=2インスタンス以上の環境)で学習を行う際のTipsと、PyTorch Lightningと Lightningの併用により生じる問題の解決策について紹介を行います。 普段はSwallow Projectや横田研究室にて大規模モデルの分散並列学習や低精度学習について研究を行っていますので、そちらもご覧いただけますと幸いです。 2ノード以上で発生する問題 PyTorch Lightningを利用した学習を行う際に、後述する環境変数が正しく設定されていないと、以下のように、2ノードで学習するときにGLOBAL_RANKが重複して設定されてしまう問題が発生します。 このような問題が発

はじめに Turingの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。 本記事では、PyTorchをsource buildした後に利用する際にCUDA Toolkitをmodule loadしておく必要があることの背景について解説を行います。 また、pip installによりbuild済みのbinaryをインストールしたときのPyTorchとsource buildした場合の違いについても解説を行います。 普段はSwallow Projectや横田研究室にて大規模モデルの分散並列学習や低精度学習について研究を行っていますので、そちらもご覧いただけますと幸いです。 本記事の概要を図にすると以下の通りになります。 pip install時の挙動 まず、source buildしたときとの比較のために、多くの方がよく

はじめに チューリング基盤AIチームの @stu3dio_graph です。 チューリングでは視覚と言語を統合的に理解できるAIを自動運転に応用するため，LLMを視覚モーダルに拡張したVision-Language モデル（VLM）「Heron」の開発に取り組んでいます。 チューリングは経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト GENIAC第2期 に採択されました。GENIACでは，完全自動運転を見すえた「身体性」を持つマルチモーダル基盤モデルの開発に取り組みました。日本語環境で高性能なマルチモーダル基盤モデルを作るためには，品質のいい日本語画像およびテキストデータを大量に収集することが不可欠です。 このたび，日本語環境で高性能なVLM; Heron-NVILA-Lite に加えて，Heron-NVILA-Lite の学習のために作成したデータセット

完全自動運転の実現を目指すTuringでは、Webスケールのデータセットで学習した大規模視覚言語モデル（VLM）の持つ「常識」を利用することで、幅広い状況に対応できる自動運転モデルの開発を実現できると考えています。 この目標のもと、基盤AIチームでは2023年から視覚言語モデル「Heron」の開発に取り組んできました。 VLMを自動運転に活用していく上で重要な要件の一つが「軽量」であることです。Turingでは経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト「GENIAC」第2期の支援のもと、2Bパラメタと比較的軽量なVLMの学習に取り組み、モデルサイズに対して非常に高性能な「Heron-NVILA-Lite-2B」の開発に成功しました。 Heron-NVILA-Lite-2Bは軽量であるため、iPhoneのようなモバイル端末のローカル環境でも十分に動作しま

はじめに チューリングの横井です。チューリングでは視覚と言語を統合的に理解できるAIを自動運転に応用するため、Vision Language モデル（VLM）「Heron」の開発に取り組んでいます。このたび、経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト「GENIAC」第2期の支援のもと開発したVLM「Heron-NVILA」15B, 2B, 1B, 33Bを公開しました。 この記事では開発したHeron-NVILAのアーキテクチャ、学習内容、ベンチマーク評価を紹介します。 モデルアーキテクチャ Heron-NVILAのアーキテクチャは名前の通りNVIDIAが提案したVLMであるNVILAを用いています。 NVILAは 「Vision Encoder → Projector（2 層 MLP）→ LLM」 という 3 段構成を取りつつ Scale ─ 画像を

Turingの基盤AIチームの三輪です。 Turingで研究・開発した結果をまとめた「One-D-Piece: Image Tokenizer Meets Quality-Controllable Compression」という論文を公開したので、紹介します。 これは何？ 「One-D-Piece」という新たな「画像トークナイザ」を提案しました。これによって256段階の可変品質で画像を圧縮し、Transformerベースのモデルと相性のいいトークン列での表現に変換することができます。 背景 テキストトークナイザと画像トークナイザ Transformer型のモデルは、「トークン」の列を入力に取ります。そのため、Transformer型のモデルを用いるためには、データを何らかの方法でトークンにする「トークナイザ」が必要です。 トークナイザといって一般に想起されるのはテキストトークナイザ、つまり

こんにちは！チューリングでソフトウェアエンジニアをしている太田です。 自動運転システムの開発を手がけるチューリングでは、大規模な GPU クラスタでトレーニングされたモデルが日々リリースされ、実車環境でのテストが行われています。 自動運転と聞くと、ハードウェア寄りの技術を連想するかもしれませんが、チューリングの自動運転開発においてWeb系の技術もさまざまな場面で活用されています。 近年、UI開発においてWebブラウザが利用される場面が広がっています。チューリングの自動運転システムにおいても例外でなく、Webフロントエンドの技術を用いてUI開発が進められています。この記事では、チューリングの自動運転システムのUIに焦点を当てて、その背景や構成をコードとともに解説します。 1. E2Eモデル チューリングでは「E2E(End-to-End)」と呼ばれる自動運転モデルを開発しています。カメラ画像

はじめに こんにちは、チューリング株式会社でソフトウェアエンジニアをしている矢部（和）です。 今回は、弊社内で最近よく利用されている便利な可視化ツール Rerun を紹介します。 前半はRerunの説明を、後半は実際に簡単なコードを書いてRerunを使ってみたいと思います。 この記事は、社内合宿のテックブログ作成チャレンジで弊社の嶋谷が執筆したRerun解説編を元に、矢部（和）が実践編を追記したものです。 解説編 Rerunとは Rerunはマルチモーダルデータの管理と視覚化を簡便かつ高性能にするためのツールで、複数の種類のデータを処理、保存、可視化できます。 記録、可視化、データ保存は下記のような流れで行います。 Rerun SDKを使ってデータをログとして保存または読み込み ビューアでリアルタイムや記録済みデータを確認 UIやSDKで視覚化のカスタマイズ クエリ機能でデータをPanda

はじめに こんにちは。チューリングのDriving Softwareチームのマネージャーを務めている渡邉（@sangotaro）です。Driving Softwareチームは、チューリングの自動運転システムの開発を担当するチームで、自動運転AI以外の領域、例えばシステム制御やソフトウェアインフラの構築などを手掛けています。 先日、チームで栃木県の那須に開発合宿に行き、「約3時間でテックブログを書き上げる」というユニークな企画に挑戦しました。いくつかのチームに分かれ、それぞれが記事のテーマを決めて執筆した結果、公開までこぎつけることができた記事がなんと5本も完成しました！今回お届けするこの記事は、その中の1本であり、同じチームだった徳弘（@res_circuit）と共同で執筆しました。 この記事に先立ち、すでに2本のテックブログが公開されていますので、ぜひそちらもご覧ください。そして残りの2

この記事はuvのバージョンがv0.5.3の時に書かれました。 uvの開発は活発であり、ここで紹介したコマンドやベストプラクティスが大きく違う可能性があります。 最新のuvの使い方を参照するには公式ドキュメントを参照してください。 Python Advent Calendar 2024の7日目です。 この記事ではuvについて、v0.5.3までのアップデートで個人的に便利だった機能を依存関係に焦点を当ててまとめました。 uvは高速なPythonパッケージとプロジェクト管理ツールです。2024年8月20日にuvのバージョンがv0.3.0にアップデートされて以来、広く使われるようになりました。 以前に以下の記事をまとめています。これからuvを使いたい方などに参考になれば嬉しいです！また、公式のドキュメントがしっかりと整備されているのでhttps://docs.astral.sh/uv/gettin

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。 そこで、本記事では、公式ドキュメントには書かれていない内容も含めて、独自のマルチモーダルモデルをvLLMに組み込む具体的な方法を丁寧に解説します。特に、動画生成モデルを例に、Hugging Face Transform

この記事はuvのバージョンがv0.3.0の時に書かれました。 uvの開発は活発であり、ここで紹介したコマンドやベストプラクティスが大きく違う可能性があります。 最新のuvの使い方を参照するには公式ドキュメントを参照してください。 チューリングのE2E自動運転チームの岩政(@colum2131)です。 2024年8月20日にuvのマイナーバージョンが0.3.0にアップデートされました。元々、pipの代替として設計されていたuvが、Pythonのバージョン管理からパッケージ管理まで行えると発表されました。 以前の2024年7月にまとめた記事では、 将来的には、uvがRyeに代替されるよう と書きましたが、実際、RyeやPoetryなどの代替としてuvのみでPythonのプロジェクト管理が可能になりました。Ryeで行っていた操作同様にuvで実行できるようになった印象もあります。 チューリングのメ

1.　はじめに Turing生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し予測する動画生成AI、「世界モデル」の開発に取り組んできました。前回の私の記事では、その取り組みの中で調査したGAIA-1の紹介を行いました。今回は、Turingが開発した世界モデル"Terra"で利用している技術や課題・展望などについて紹介をしたいと思います。 この記事で解説している内容 世界モデルTerraは何ができるのか 世界モデルTerraはどのような仕組みで動いているのか どのような課題が残されているか Terraで生成した動画。Terraは運転環境に特化しており、車載カメラの一人称視点動画の生成を行うことができる 2.　世界モデルTerraは何ができるのか？ Turingの世界モデルは大きく分けて二つのことができます。一つ目は短い動画を与えるとその続

はじめに Turing の End-to-End(E2E) 自動運転チームでチームマネージャをやっている棚橋です。今回はE2E自動運転チームでブログの連載企画を行います。本連載企画ではEnd-to-End(E2E)自動運転の最新技術やTuringの取り組みを紹介します。第一回はTuringで取り組んでいるE2E自動運転の概要と課題について取り上げます。 End-to-end自動運転とは？ Turing が取り組んでいる自動運転の方式はE2E方式と呼ばれるもので、従来の自動運転の仕組みとは大きく異なっています。従来のシステムでは、緻密に設計された無数のソフトウェアモジュールが複雑に連動して動く仕組みですが、E2E方式では全ての判断をMLモデルに委ねるため、MLモデルの開発とそのデータ作りが主戦場です。 技術が違うということは必要な技術も人材も大きく異なります。MLエンジニアだけでなく、大規模

チューリングのE2E自動運転チームの岩政(@colum2131)です。 最近、チーム内でPythonを使った開発はRyeとuvを使うことが多くなり、特に機械学習環境もRyeとuvで問題なく開発できるようになりました。社内でのオンボーディング資料としてRyeとuvの操作を整備しようと思い、このテックブログで紹介します。 [2024-08-25追記] 2024年8月20日にuvのマイナーバージョンがアップデートされました。変更点もいくつかあり、以下のページにまとめました。 1. Rye × uvとは？ RyeはPythonの包括的なプロジェクトおよびパッケージ管理のツールです。これまでもPoetryなど管理ツールはありましたが、pyenvなどPythonのバージョン管理ツールが必要でした。Ryeは、Pythonのバージョン管理からパッケージ管理を行えて、Poetry同様にpyproject.t

はじめに Turing 生成AIチームの佐々木 (kento_sasaki1)です。生成AIチームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。 先日、6月17日から6月21日にシアトルで開催されたコンピュータビジョン・機械学習系のトップカンファレンスCVPR 2024に参加し、Vision Language Model (VLM)のワークショップThe 3rd Workshop on Computer Vision in the Wildにて日本語VLM評価ベンチマークHeron-Benchの発表を行いました。 Heron-Benchについては、以前テックブログを公開していますのでぜひご覧ください。 CVPR 2024では、End-to-Endの自動運転やLLM (Large Language Model), VLM (Vision Language

1. はじめに Turing 生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し未来を予測するAI、「世界モデル」の開発に取り組んでいます。世界モデルは、生成AIによって様々な交通状況や歩行者の行動をシミュレーションすることを可能にし、安全かつ効率的な自動運転を実現するための重要な鍵となると私たちは考えています。 この記事で解説している内容: 世界モデルとは何か 世界モデルの開発はなぜ自動運転に重要なのか 世界モデルGAIA-1について 2. 世界モデルとは 世界モデルとは、現実世界の物理法則や因果関係、物体間の相互作用などの「世界の仕組み」を表現するモデルのことです。人間は、生まれながらにして備わっている身体感覚や運動能力を通じて身の回りの世界に関するメンタルモデルを構築し、それを基に予測や計画、行動をおこなっています。例えば、ボールを