LLM

vLLM Sleep Modeよるモデルのゼロリロード切り替え機能の検証

こんにちは。NTTドコモビジネスの露崎です。本ブログではvLLMの本家コミュニティのブログで紹介されたvLLMのモデルのゼロリロード切り替え機能の概要に加えて本機能をContainerベースで検証した結果について紹介します。

NVIDIA Dynamoについて調べてみた

こんにちは。NTTコミュニケーションズの露崎です。本ブログでは2025年3月のGTCで紹介されたNVIDIA社のOSS Dynamoについて紹介します。 はじめに 特徴 インストールと基本動作 Dynamo Run Dynamo Serve 推論グラフとコンポーネント dynamo serveの起動の流れ …

生成AI向けのドキュメント変換技術 rokadoc 〜高い精度をどのように実現しているのか〜

こんにちは。イノベーションセンター Generative AI チームの安川です。 今回は私の所属するチームで開発しているrokadocというプロダクトの内部で利用している技術要素に重点を置いて紹介します。 本記事では「ドキュメント変換技術」であるrokadocについて…

生成 AI をもっと気軽に、安全に使うための「chakoshi」をリリースした話

chakoshi とは なぜ生成 AI の安全性が求められるのか 生成 AI の安全性の現状 生成 AI の安全性対策案 日本語に特化した入出力チェックができる chakoshi chakoshi の特徴について 日本語の性能が高い カスタマイズ性が高い 終わりに 初めまして。イノベー…

生成AI向けのドキュメント変換技術 rokadoc の使い方

こんにちは。イノベーションセンター Generative AI チームの安川です。今回はrokadocのパブリックベータ版( https://rokadoc.ntt.com/ )が公開されたため、その紹介と解説をします。 本記事では「ドキュメント変換技術」であるrokadocの概要を説明した上…