AI

はじめに 前回の記事では、UGREEN DXP6800 Pro に eGPU(RTX 2000 Ada)を載せて、Docker から --gpus all で叩ける状態まで持っていった話を書きました。今回はその続編、というか「続きを動かそうとしたら、また別のところで派手に詰まった」記録です。 結論から書くと、最終的にはこんな構成で安定運用に入れました。 UGREEN DXP6800 Pro UGOS Pro Kernel: 6.12.74+deb12-amd64 NVIDIA Driver: 535.261.03 GPU: NVIDIA RTX 2000 Ada Generation (VRAM 16GB) Docker Compose: Ollama + Open-WebUI モデル領域: 14.5TB HDD (RAID6) の上に手動 LV + ext4 SSD 領域: コンテナ実行ベースとして温存 ただ、ここに辿り着くまでに「Open-WebUI からモデルが見えない」という一見シンプルな症状を入口に、Docker のネットワーク、SSD

はじめに 正直に言うと、最初は「NASにeGPUを繋いでDockerからGPUを使う」って、もう少し簡単に終わると思ってたんです。 でも実際にやってみたら、ブートが飛んだり、ドライバーのバージョンが噛み合わなかったり、/boot が256MBしかなくて initrd の更新で詰んだり……正直、何度か「もう諦めて素直にWindowsマシンに刺すか」と心が折れかけました。 それでも最終的には、UGREEN DXP6800 Pro 上で eGPU 接続の RTX 2000 Ada を Docker から --gpus all で叩ける状態まで持っていけたので、ハマりどころを含めて記録として残しておきます。同じ構成で詰まっている方の参考になれば嬉しいです。 最終的に到達したのはこんな環境です。 UGREEN DXP6800 Pro UGOS Pro Kernel: 6.12.74+deb12-amd64 (Debian backports) NVIDIA Driver: 535.261.03 GPU: NVIDIA RTX 2000 Ada Genera

目的 前回の検証では、OPSNOTE（当社開発中の手順書 SaaS）におけるAzure上の自社ホストAIモデルに対して、性能比較を行い、現時点ではqwen2.5:14bとClaude Haikuでは、勝負にならないことまではわかりました。 今回は、同じローカルLLMに対して、Macbook Pro M2 16GBのモデル上で、ollama経由での応答を比較したいと思います。 先に結論 どのモデルもClaude Haikuレベルに達していない。 ローカルLLMを使用する場合には、VRAM32GB以上を搭載したモデルが稼働できるレベルに至らないと、評価の土台に乗ってこない。 環境 動作環境：Macbook Pro M2 16GB ollamaバージョン：0.9.2 比較モデル：gemma4:4b, llama3.1:8b, qwent3.5:4b 前提：AIモデルに対する事前チューニング無し 比較する文字列 UbuntuにPostfixをインストールし、特定のIPアドレスのみを外部リレーするサーバを構築したい。手順を教えて。 あなたは IT...

背景 OPSNOTE（当社開発中の手順書 SaaS）の AI 機能は標準で Anthropic Claude API を使う。一方で「顧客データを外部 API へ送れない」テナント要件が発生する可能性を考慮し、自社 Azure サブスクリプション内で完結する LLM 経路を SKU として用意したい。Azure Japan East の T4 GPU 上で Qwen2.5:14B-Q4 を動かし、Claude Haiku 4.5 / Sonnet 4.6 と横並びで評価した。 評価は 2 段階で実施した。 機械計測 PoC（性能・コスト・5 シナリオ × 単発比較） 人手運用テスト（実テナント上で 21 件の業務シナリオを実施・本番経路で tool calling 含む） 結論を先に書くと、機械計測 PoC では Haiku 比 106% で「採用可」、人手運用テストでは 42% で「不合格」という逆転が起きた。ここではその差がどこから来たかをまとめる。 １．機械計測 PoC（先行） 検証構成 インフラ: ACA Serverless GPU..

こんにちは！最近はなぜかブログモチベが高いです。 本題ですが、ここ1、2年で私の働き方は大きく変わりました。 と言っても会社の制度が変わったり、業務時間が変わったりしたわけではありません。 そう、AIによって業務の効率が大幅に改善したのです。 分からないことが業務で生じたとき、必ず私はcopilot君（MicrosoftのAI）に 「こういう状態のときにこうなるのはなぜ？」と聞きます。 すると割と高精度な回答が返ってきて、言われたとおりに検証してみると解決するんです。 エラーが出ることもありますが、都度そのエラー内容をcopilotに問い合わせれば 修正してくれます。そうして結果的には問題が解決してしまうんです。 でもふと思います。 「あれ、これってエンジニアとして成長してるって言えるのかな。」 他人からみればちゃんと成長しているようには見えるかもしれないです。 しかし、自分自身からするとあまり成長が実感できません。 だってAIが出した回答を元に解決しているのですから。。。 入社したての頃は世間的にみても「AIって意味の分からない回答してくるよね

何にAIを使っているのか 当社は様々なSaaSを使っています。特に利用頻度が高いものは以下の６つです。 見積、請求、入金を管理するboard プロジェクト管理や進捗管理、課題管理などを行うwrike 社内の脱Excel化のためのkintone 会計、勤怠などを管理するfreee 社内やお客様との情報連携をするMicrosoft TeamsやSlack 様々ファイルベースのデータを管理するbox こういったSaaSは、横の連携があまり得意ではありません。そのため、業務として見るとツール間のデータ連携は人の手を介す必要がありました。例えば、以下のようなイメージです。 旧来の方法（例１） wrikeで取得した保守タスクや案件ごとの工数をAzure Automationで月初にCSV出力 kintone上のアプリに手動でCSVインポート 旧来の方法（例２） boardで取得した計上案件の情報をAzure Automationで月初にCSV出力 kintone上のアプリに手動でCSVインポート 旧来の方法（例３） 販売代理店からもらった見積もりをPDFでも