はてなブックマーク

先日、Mac製ZIPファイルの文字化け問題について書きましたが、その後さらに調べていたところ、根本的な解決方法につながる情報を見つけました。 その結果、前回の記事で書いた「WindowsがUTF-8に対応していない」という理解は誤りだったことが判明しました🙇実際には、WindowsはUTF-8対応した実装されていました。 文面が「Windows、まだShift_JISに依存しているのかよ～」というものになっていたかもしれません。謹んでお詫びいたします。マジスマン🙇 済まないと思うだけでは良くないので、メモとして残しておきます。 自分で調べた「Mac製Zipファイルの文字化け問題」https://t.co/X8Per9AZXd 根が深いなと思ってもう少し調べたところ以下がヒットhttps://t.co/slSYclENdr WindowsもZipファイルにフラグがあれば文字化けしないとの

前回はGoogle Map APIを使用して開発を行いましたが、今回はOpenStreetMapを使用した似たようなことにチャレンジしてみようと思います。Pythonを使ってOpenStreetMapの経路検索URLを生成する方法ことを目的とします。 参考 uepon.hatenadiary.com オープンストリートマップ（OpenStreetMap）とは？ オープンストリートマップ（英語: OpenStreetMap、OSM）は、自由に利用でき、なおかつ編集機能のある世界地図を作るオープンコラボレーションプロジェクトである。GPS機能を持った携帯機器、空中写真、衛星画像、他の地理情報システムからのデータをもとに作られていくのが基本だが、編集ツール上で道1本から手入力での追加も可能である。与えられた画像とベクトルデータセットはオープンデータベースライセンス（ODbL）1.0のもと再利用可

Google様がまた新しいAIツール出してきたじゃないですか。正直いうと、また覚えることが増えるのかという感想😅Claude CodeがProプランで使えるようになったと思ったら、今度はGemini CLIですよ...もう追いつけない💦でもやらないと時代に取り残される...😫という話となります。 Gemini CLIって何？ ターミナル上で動くGoogleのAIコーディングアシスタントです。「〜を作って」「〜を修正して」とプロンプトに依頼することで開発ができます。Claude Codeと似てるけど、GoogleのGeminiを使ってるのが特徴。個人的にはGeminiの最近の追い上げも見過ごせません。 特徴 Gemini 2.5 Proの100万トークンという巨大なコンテキストウィンドウ マルチモーダル機能（PDFやスケッチからアプリ生成） Google検索との連携でリアルタイム情報取

スマヌ15分では追いつけなかったよ…トラブルに引っかかったので60分かかった😢😢😢 ※Node.jsのインストールトラブルがなければ15分で終わるでしょう。 かなり無理を言ってる🤔わかってるでもやらないと追いつけない…😫 という話となります。さて短時間で学び直しはできるのでしょうか。 【スペック】 半世紀生きたジジイ👴 業務開発経験は基本無い（副業レベル） UbuntuとPythonはそれなりに分かる⌨️ Node.jsは初心者レベル Windows派🪟 開発はWSLかDocker🐳 Claude Codeって何？ ターミナル上で動くAIコーディングアシスタントです。プロンプトに「〜を作って」「〜を修正して」と依頼することで開発ができます。VisualStudio CodeやJetBrains IDEとも連携が可能らしい。 正直、最初は「また新しいツール🙄？」って思ったけ

前回はDoclingというドキュメントコンバートツールを紹介しました。その後、他の変換ツールを探していた所、MicrosoftさんのGitHubにMarkItDownというツールがある事がわかりました。用途はDoclingと大きく変わりませんが、対応フォーマットが特殊ものもあり、こちらも見逃せないなということでメモを取っています。 MarkItDownは、様々なファイルをMarkdownに変換するユーティリティで、インデックス作成、テキスト分析などにも対応しているようです。 github.com インデックス作成機能により、RAGでの検索への活用も期待できます。また、対応するファイルフォーマットも以下のように多様なのですが、このなかで便利そうなのがAudio、XML、ZIPファイルでしょうか。Audioファイルの箇所にspeech transcriptionと記載されているので、かなり守備

IBM watsonx.ai DojoでRAGとして様々なファイルのフォーマットを使用するための変換ツールを紹介していただきました。 それが今回紹介するDoclingです😊 Doclingとは？ Doclingは、簡単にいうならば様々なドキュメントに対応したHTML、Markdown、JSONへのコンバートツールになります。 ds4sd.github.io 【Doclingの特徴】 一般的な文書フォーマット（PDF、DOCX、PPTX、XLSX、画像、HTML、AsciiDoc、Markdown）を読み取り、HTML、Markdown、JSON（埋め込み画像や参照画像付き）にコンバート可能 ページレイアウト、読み取り順序、表構造を含む高度なPDF文書理解の能力もつ DoclingDocumentを使用することで、統一性と表現性を実現 LangChain、LlamaIndex、Crew A

これまでOllamaを使用して比較的容易にローカルLLMモデルを使用することをやってきました。ここまで来ると未対応のLLMモデルを使用したくなってきます(よね😊)。 そこで、OllamaのREADMEファイルを読んでいったところ github.com Import GGUFという項目がありました。 GGUFとは LLMモデルをllamma.cppから使用できるようにしたバイナリ形式のファイルになります。現在はこのファイル形式で使用できる処理系も増えてきています。HuggingfaceでもGGUF形式のファイルが公開されていて、それをOllamaからロードしてすることができるようになります。デフォルトで対応したLLMモデルは少ないのですが、GGUF形式まで含めると数多くのモデルが使用できます。 参考 huggingface.co 自分も話題になっていたrinna、楽天、サイバーエージェント

最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとかしてOllamaでも使用可能なGGUF形式に変換できないかという内容でチャレンジしてみたいと思います。 （2024.09.11）Ollamaに作成したGGUF形式のモデルをpullする方法のリンク

私はUbuntuを定期的にクリーンインストールするような作業を行っています。また最近、検証としてVersion23.04を入れることになりました。定期的にインストールをしているのでほぼ慣れた感じでインストールはしていますが、中には作業をど忘れすることがあり、その一つがChromeブラウザのインストールになっています。 Ubuntuのインストール時の他の作業【参考】 uepon.hatenadiary.com ブラウザならFirefoxもあるじゃんという方もいるとは思いますが、もうChromeの拡張機能なしではもう生きていけない状況です。（どちらかといえばかなり生産性が悪くなる）。あとChromiumブラウザではGoogleアカウントの設定を設定できませんので注意です。 また、ブラウザのダウンロードを行うのに別のブラウザを起動するのもちょっとどうなのって感じなので、今回はコマンドラインのみを

以前、Upscaylというアプリを使用して低解像度の画像を超解像化を試してみました。結果がわかりやすくすごい技術だったのですが、それだけで終わったらちょっともったいないなあと思い、今回はプログラミング的な感覚（比較的自動化しやすい）ものについて調べてみました。基本的な超解像化ロジックに関してはUpscaylにも使用されていますが、今回はコマンドラインツールとして使用できる点が違いになります。 【参考】 note.com www.upscayl.org 超解像の恩恵を処理化したい 超解像は解像度の低い画像を画質をあげて拡大するといったものです。前述したUpscaylはほぼ完成したアプリとして成立しているのですが、その他の処理と組み合わせて使用してみたいと思うとアプリでは連携がしにくい場面もあります。 そこで今回はReal-ESRGANを使用して、コマンドラインでも同様な処理を行えるようにして

前回のエントリではVOICEVOXをPCにインストールされたUbuntuへインストールしたという内容でしたが、今回はRaspberryPiにVOICEVOXをインストールするという内容です。ただ、RaspberryPiの運用ではモニタのないヘッドレス環境での使用の可能性もあるため、この設定ではVOICEVOXを構成する要素の1つであるVOICEVOX COREを導入し、CLIでの運用を行ってみたいと思います。 ネットで検索してもうまくいかないという話はあるのですが、成功例はなかなかないようです。自分も数日悩みましたがようやく解決できました。 【参考】 uepon.hatenadiary.com VOICEVOXの構成要素 VOICEVOXは3つのモジュール「エディター」、「エンジン」、「コア」で構成されています。VOICEVOXソフトウェアはこの3つから構成され、エディターはエンジンの機能

少し前のエントリでYouTubeから音声データをダウンロードするといった内容のことをやっていたのですが、それならその音声データをWhisperに入力し、生成された音声解析のテキストデータをYouTubeの字幕ファイルに変えてみたらどうなるかなと思っていました。Whisperのログ出力はほぼそのままでも字幕ファイルフォーマットであるSRTファイルに近い出力フォーマットになっているからです。 uepon.hatenadiary.com ただ、そのまま取り出した文字データはタイムコードのないモノになるので、後で処理を行うと面倒なことになります。今回はWhisperを使用し、ログファイルとして出力されたデータをファイル化してYouTubeでも使用可能な字幕データにしてやろうという試みです。 Whisperとは？ Whisperは```OpenAI社のは音声認識と機械翻訳のサービスになります。詳細は

Ubuntu22.04LTS（以下Ubuntu）からはデフォルトでWindowsのデスクトップ接続に対応しているようです。これまでは接続する側のWindowsPCにもVNCをインストールしていましたが、それがなくなるのであれば楽になるなと思い早速試してみました。 以下のようなPCにUbuntuをインストールして使用しています。 UbuntuのXのデスクトップの設定ツールを使用して、左側のメニューから【共有】を選択します。そして、選択するとダイアログバーの上部に有効化のスイッチが現れるのでこちらをクリックして有効化します。 すると、これでま無効化されていたダイアログ内部の操作が有効化されるので、さらに【リモートデスクトップ】をクリックします。 リモートデスクトップの設定ダイアログが開くので、この中から【リモートデスクトップ】スイッチと 【リモートコントロール】スイッチを有効化します。 リモー

以前のエントリでVisual Studio CodeがRaspberryPiでも公式対応したということを書きました。 uepon.hatenadiary.com ただ、Visual Studio CodeをRaspberry Piで使用する機会はX環境を立ち上げているときがほとんどなので、ヘッドレス環境にしている自分からするとほぼ使えないなあという気持ちではありました。 そんなときにweb経由で実行することのできるcode-serverというものの存在を知りました。web経由であればX環境がなくてもブラウザ経由でVisual Studio Codeのインターフェースを使用してのファイル編集ができるというメリットはあるのかもしれません。たとえば、iPadからアクセスして編集するとかでしょうか？ code-server 公式GitHub github.com Run VS Code on an

ゴールデンウイーク中にいろいろ考えていて（本当はやりたかったことは違うのだけど…）、できるようになったのでメモ。普段の生活でなにか便利なことできないかなと思って、調べていたところNode-REDとGoogleHomeの連携が思いの外簡単だというものでした。テキストとGoogleHomeのIPアドレスが別れば、数分でできちゃいます。 状況としては、こんな感じの想定でしょうか？ あまりにも簡単すぎて、デバッグ時に何度も自室からリビングにあるGoogle Homeを経由してTTSなどを行って、家族からかなり気持ち悪がられました。 Node‐REDの準備 まずは準備になります。準備といっても拡張ノードのインストールを行えばよいのでなれている方であれば1分程度で終わります。ブラウザからフローエディタを起動して 画面の右上にある【三】（ハンバーガーボタン）をクリックしてプルダウンメニューを展開します。

ここ最近はサイネージの関連のエントリを書いていましたが、これまではwebページをサイネージ化して行くことばかりしていました。 過去エントリー参考 uepon.hatenadiary.com uepon.hatenadiary.com サイネージを作ったら動画の再生なども行えるといいなあとは思っていたのですが、随分前にお友達のSeyaさんからScreenlyを使うと動画・画像も簡単にサイネージ化できるよというのは聞いていたので使ってみようと思います。Screenlyはプロ版もあるのですが、OSE（オープンソース版）もあります。今回使用するのはOSE版となります。 Screenly のwebページ www.screenly.io OSEバージョンのページ github.com Screenlyは2つの方法で導入することができます。基本的には大きく違いがあるわけではありませんが、個人的にはScr

以前のエントリでRaspberryPiの初期設定はまだまだ簡単にできるよという内容を書きました。 uepon.hatenadiary.com これで初期設定も簡単になったと非常に喜んでいたのです。そんな中RaspberryPiのSDカードなどにOSイメージを書き込むツールRaspberry Pi Imagerのバージョンが1.6になったよという情報を教えてもらいました。実はこのバージョンにはアドバンスオプションがついていて起動時の設定をImagerで書き込む際に設定してくれるというものでした。MAXさん情報ありがとうございます。 www.tomshardware.com うほ、こりゃやべー。初期設定かもっと簡単になるぞ。ってことで、今回はRaspberry Pi Imagerのメニューを確認してみます。 Raspberry Pi Imagerをインストールする Raspberry Pi I

以前のエントリーの続きになります。今回はAmazon Echoの音声認識を使用してNode-REDの処理を行います。 Node-REDでAmazon Echoを使用するノードは実は80番ポートでしか待機ができないようになっています（昔は別ポートでもできたみたいな感じ？）そのため、ポート80を別のプロセスで使用していると使用できないという状況のようです。そのため、もし80番ポートを使用しているプロセスが既にあるようであれば、そちらの使用ポートを変更することが妥当かと思います。（最近はhttpsでなければ公開できないことが多いですが、ローカルのプログラムでは割とhttpをつかっていることもあるのでそのための対応と思ってください。） 以下のエントリも参考にさせていただいております。 参考 AmazonEchoからRaspberryPiのコマンドを実行する(node-red-contrib-ama

いろいろ設定がうまく行かず、それに伴うRaspbianのインストールを10回程度やっていたので、その作業にも疲れたので 違うことがやりたいなあと思ってやってみたって感じのものです。 といってもOSのインストールになるのですが。 今回インストールしてみたのはWindowsfxというWindows10にかなり似せたLinuxのディストリビューションになります。 https://www.windowsfx.org/ 特徴としては以下になります。 Windows 10 ライクなデスクトップ (WXD) Windowsの .exe と .msi 実行が可能 Libre Office にはMSテーマを適応 マルチメディア、インターネット、ゲームへの対応 簡単にいうとWindowsの見た目を徹底的（？）にチューニングしたもののようです。 インストールの準備 以下からイメージファイルをダウンロードします。

【前編】に引き続いてNode-REDでCPU温度を可視化を行っていきます。 【前編】では以下の作業を行いました。 RaspberryPiのCPU温度設定を取得 Node-REDのDashboardノードのインストール 【後編】では以下のようなことを行っていきます。 Node-REDのフローを作成しDashboard化 Raspberry Pi 4Bに負荷をかけて温度変化をみる Raspberry Pi 4Bに熱対策を施してどれぐらい違いがあるかをみる 【参考】 uepon.hatenadiary.com Node-REDでDashboardを作成する 【前編】では定期的にコマンド実行して、CPU温度を取得、debugノードで表示というところまで行いました。あとはdashboardに表示する要素ノードという形で追加していきます。 今回はグラフを使用して可視化を行うので、dashboardカテ

前回、USBメモリを復活させることができるようになったのでこのUSBメモリを使用して、RaspberryPiでUbuntu 20.04 LTSをインストールしてみようと思います。 RaspberryPi 3BからはSoCが64bit対応していますが、よく使われているRaspbianは32bitOSです。今回はインストールするのはUbuntu 20.04 LTSの64bit版になります。 Ubuntuも公式でRaspberryPiに対応したリリースが行われているので、今後の選択肢としてのUbuntuの動向も気になります。以下の公式ページからもUtunbuのイメージがダウンロードでできます。ただ、今回はこちらからはダウンロードせず、最近リリースされたRaspberryPi Imagerを使用してイメージのダウンロード、メモリデバイスへの書き込みを行います。 ※若干追記しました（2020.05.

自分の中で旬になっているChromeOSネタです。 今回はChromeOSに折角入っているDebianがあるので、そこにDockerをインストールしてみたというものです。 Dockerがあれば、ある程度開発もできるかな？と。ただ、Dockerをあまり知らないのでこれからのお勉強になりますけどね。 Dockerのインストールを行う ChromeOSにインストールされているのはDebianなので、Debianのインストールの手順を参考にしていきます。 Dockerのページに既にあるのでこれを参考にしてインストールをしていきます。 $ uname -a Linux penguin 4.19.4-02480-gd44d301822f0 #1 SMP PREEMPT Thu Dec 6 17:45:27 PST 2018 x86_64 GNU/Linux $ lsb_release -a No LS

Chrome OSとはいってますけど、Chromium OSの話になります。まあ、純正のChromebookを持っている人にはあんまり関係ない話。 昨年の年末、以前までChromeOSを使用していたノートPCがある日突然電源が入らなくなり、突然のお別れということになってしまった。購入からすでにもう10年ぐらい経っているCeleronなPCなのでそろそろ動作しなくなってもおかしくないので、このときが来たかというレベルでしかなかったです。 Aspire one 753（2010年製） http://www2.acer.co.jp/catalog/1012/FIX_NBALL_0616.pdf いよいよ廃棄するにあたって、最後に電源でもいれてみるかなと思ったら突然電源が復帰。あれーって感じ。ただ、Windows10Homeは立ち上がらず、シリアルも探さなければならないという状況。結論としてクリー