ワークアウト

AI コーディングエージェントの API コストを、開発体験を変えずに削減する。 背景：AI コーディング常用で見えてきた「文脈コスト」 社内では日常的に AI コーディングエージェント（Claude Code）を開発に組み込んでいる。 生産性は確実に上がる一方で、エージェントが ツール実行結果・ビルドログ・会話履歴 を 繰り返し LLM へ送り込む構造上、入力トークンが膨らみやすい。 実装そのものより「文脈の運搬コスト」が積み上がっていく――これが今回の最適化の出発点である。 Headroom とは Headroom は、LLM へリクエストを送る前にコンテキストを圧縮するローカルプロキシ。 エージェントと API エンドポイントの間に挟むだけで、ツール出力やログといった 「冗長だが意味は保てる」テキストを縮めてから上流へ渡す。 動作位置：http://127.0.0.1:8787 でローカル待受。/v1/messages を Anthropic、/v1/chat/completions 系を OpenAI へ中継。 圧縮エンジン：ONNX..

はじめに 前回の記事では、UGREEN DXP6800 Pro に eGPU(RTX 2000 Ada)を載せて、Docker から --gpus all で叩ける状態まで持っていった話を書きました。今回はその続編、というか「続きを動かそうとしたら、また別のところで派手に詰まった」記録です。 結論から書くと、最終的にはこんな構成で安定運用に入れました。 UGREEN DXP6800 Pro UGOS Pro Kernel: 6.12.74+deb12-amd64 NVIDIA Driver: 535.261.03 GPU: NVIDIA RTX 2000 Ada Generation (VRAM 16GB) Docker Compose: Ollama + Open-WebUI モデル領域: 14.5TB HDD (RAID6) の上に手動 LV + ext4 SSD 領域: コンテナ実行ベースとして温存 ただ、ここに辿り着くまでに「Open-WebUI からモデルが見えない」という一見シンプルな症状を入口に、Docker のネットワーク、SSD

はじめに 正直に言うと、最初は「NASにeGPUを繋いでDockerからGPUを使う」って、もう少し簡単に終わると思ってたんです。 でも実際にやってみたら、ブートが飛んだり、ドライバーのバージョンが噛み合わなかったり、/boot が256MBしかなくて initrd の更新で詰んだり……正直、何度か「もう諦めて素直にWindowsマシンに刺すか」と心が折れかけました。 それでも最終的には、UGREEN DXP6800 Pro 上で eGPU 接続の RTX 2000 Ada を Docker から --gpus all で叩ける状態まで持っていけたので、ハマりどころを含めて記録として残しておきます。同じ構成で詰まっている方の参考になれば嬉しいです。 最終的に到達したのはこんな環境です。 UGREEN DXP6800 Pro UGOS Pro Kernel: 6.12.74+deb12-amd64 (Debian backports) NVIDIA Driver: 535.261.03 GPU: NVIDIA RTX 2000 Ada Genera

背景 OPSNOTE（当社開発中の手順書 SaaS）の AI 機能は標準で Anthropic Claude API を使う。一方で「顧客データを外部 API へ送れない」テナント要件が発生する可能性を考慮し、自社 Azure サブスクリプション内で完結する LLM 経路を SKU として用意したい。Azure Japan East の T4 GPU 上で Qwen2.5:14B-Q4 を動かし、Claude Haiku 4.5 / Sonnet 4.6 と横並びで評価した。 評価は 2 段階で実施した。 機械計測 PoC（性能・コスト・5 シナリオ × 単発比較） 人手運用テスト（実テナント上で 21 件の業務シナリオを実施・本番経路で tool calling 含む） 結論を先に書くと、機械計測 PoC では Haiku 比 106% で「採用可」、人手運用テストでは 42% で「不合格」という逆転が起きた。ここではその差がどこから来たかをまとめる。 １．機械計測 PoC（先行） 検証構成 インフラ: ACA Serverless GPU..

何にAIを使っているのか 当社は様々なSaaSを使っています。特に利用頻度が高いものは以下の６つです。 見積、請求、入金を管理するboard プロジェクト管理や進捗管理、課題管理などを行うwrike 社内の脱Excel化のためのkintone 会計、勤怠などを管理するfreee 社内やお客様との情報連携をするMicrosoft TeamsやSlack 様々ファイルベースのデータを管理するbox こういったSaaSは、横の連携があまり得意ではありません。そのため、業務として見るとツール間のデータ連携は人の手を介す必要がありました。例えば、以下のようなイメージです。 旧来の方法（例１） wrikeで取得した保守タスクや案件ごとの工数をAzure Automationで月初にCSV出力 kintone上のアプリに手動でCSVインポート 旧来の方法（例２） boardで取得した計上案件の情報をAzure Automationで月初にCSV出力 kintone上のアプリに手動でCSVインポート 旧来の方法（例３） 販売代理店からもらった見積もりをPDFでも

当社が利用しているfreeeやboardから必要なデータを取得し、会社の傾向を掴むためのデータを抽出しようとコンテナでアプリを作りました。 アプリは、チームみらいさんのGithubレポジトリ（https://github.com/team-mirai/marumie）をベースにして一分必要な昨日や図表を表示するように、コードを書いています。 データ解析だけを目的としたSaaSは徐々に衰退し、基幹業務に必要となるSaaSはデータプラットフォーム（単なるデータ置き場）となる可能性はあると思っています。その場合、API利用料は徐々に上がっていくんでしょうね。 今回作成したアプリはコンテナ化していることもあり、社内のみで運用を想定していましたが、fly.ioを利用したのは、安いコンテナサービスを利用して見たいという好奇心です。 月に数百円で利用できるか、を試してみたいと思います。 前提条件 Dockerfileはローカルテスト済みのものを使用する アプリはEntra ID認証を行い、社外の人がアクセスできないようにする githubレポジトリをローカルに

M365 Agent Toolkitを使ったTeams アプリを作ったので、記事にしました。 前提条件 処理のメインとなるJSONファイルをフラット化し、Excel形式に変換する部分は事前に作成済み。 アプリアイコンもAIに機能名とサイズを指定して、作ってもらいました。...

Azure Automation上のスクリプトをローカル環境でリモート実行するときに、少し時間が経つといつもつまずくことを備忘として記載します。 以下のURLにある通り、環境変数で設定しろ、書いてあるんですが、これが曲者。。。...

目的 前回「Azure Container InstancesでAP-DB構成を組んでみる」で、ACIを使ったコンテナ構成を組んでみましたが、Dockerよりの機能がためか、スポット的な利用であればいいのですが、絶えず動かしておくには少しコストが掛かりすぎる印象です。...

目的 Azure上のコンテナサービスは複数ありますが、今回は複数のインスタンスを（恐らく）一つのホスト上にデプロイし、Web APサーバからDBサーバへのデータ追加をテストしてみたいと思います。 作業の流れ Dockerfileの作成...

MS Teamsにメッセージを送る方法を模索していましたが、意外に簡単にできたので、”表形式”で送ることにも挑戦してみました。 　私は特定の株の前日から１週間分を取得して、所有株価との差分を出すことにしました。 　Teamsへメッセージを送るのは、以下の手順が必要です。...

Azure AutomationでPython3を動かす手順をご紹介します。難しい手順ではないですが、MSサイトは初学者には敷居が高いので。 はじめに 公式サイトは、こちらです。 https://learn.microsoft.com/ja-jp/azure/automat...

写真は外ですがこれは移動中です。 最近はトレッドミルで早歩きしたり走ったり。 ジョギングペースだけど、久しぶりに身体を動かしているのでとても楽しい。 キロ11分~12分ペースで30分も歩けば気持ちの良い汗をかけます。 マシンではチェストプレスが回数がこなせるようになってきま...