はてなブックマーク

Amazon ECS デプロイツール、ecspresso v2.6.0 をリリースしました。 github.com 新機能 ECS Blue/Green デプロイ対応 これまで ECS では CodeDeploy と連携する形での Blue/Green デプロイがサポートされていましたが、先日 ECS deployment controller でのネイティブな Blue/Green がサポートされました。その対応が入っています。 aws.amazon.com 使い方としては特にこれまでと変わらず、サービス定義ファイルに B/G 用の属性を追加して ecspresso deploy するだけで使えるようになります。READMEを参照してください 実装は実は何も大変ではなかったので(ほぼSDKのバージョンを上げただけ) 即日 nightly バージョンをリリースしたところ、早速検証記事を書い

物騒な世の中です。皆様お気をつけください。 3行でまとめ 自作の OSS、fujiwara/apprun-cli のマルウェア入り偽物を作られて GitHub で公開されました 偽物には大量の新規アカウントがスターを付けていたため、検索でオリジナルのものより上位に表示される状態でした GitHub に通報したところ、偽物を作ったアカウントはbanされたようです 経緯 2024年末に、さくらのAppRun用デプロイツール apprun-cli という OSS を公開しました。 github.com 2025年2月10日 12時過ぎのこと、謎の人物が X で apprun-cli を宣伝しているのを見つけました。 どう見ても自分の物と同じ(コピー)なのですが、妙にスターが多い。リポジトリをのぞいてみると、fork ではなくコードがすべて commit 履歴を引き継がない状態でコピーされ、スター

2025年1月末に14年間勤務した 面白法人カヤック を退職し、2025年2月から さくらインターネット に入社しました。 転職の経緯 自分はここ数年、クラウドを便利に使う「隙間家具OSS」として主にCLIツールをいっぱい作ってきたわけですが、実はサーバー/デーモンっぽいものを作るのも好きなんですよね。とはいえ昨今の状況で自作のミドルウェアやサーバーをクラウド上にデプロイしても運用が大変なだけですし(自分以外に運用させるのはなおさら)、なかなかできないなと。 そんなこんなで手持ちの運用サービス(10年続いたソーシャルゲームやもろもろ)が終了することになり、やることないなどうしようかなと思っていたタイミングで 2024年夏に kazeburo さんから誘われ、tagomoris さんも入るということでこれは面白いことができるかな、というのがきっかけです。 エンジニア向けにものを作るというのを

皆様、本当にありがとうございました。これは「開催しました」ではなく「していただきました」と書くしかないやつです。 connpass.com 発端 2024年10月に開催された YAPC::Hakodate、懇親会後の Findy さん主催ビアバッシュ会場でのことです。@moznion が突然、「fujiwara tech conference というのをやりたいんですけどいいですか？」と言ってきて、なんだそれはと思いつつも面白そうなので「ど、どうぞ」と応えました。 その場に人もいっぱいいたし、Findy さんも会場を提供できそうと盛り上がってしまい、これは冗談では済まないなと思っていたら早速一週間後に連絡が来て、あれよあれよと開催が決まってしまいました。 12月に募集開始したときは、最初は50人だったのが1時間ほどで埋まってしまい、70→90人(会場の限界)までその日のうちに埋まってしまっ

2024-10-04〜05に開催された YAPC::Hakodate 2024 に参加してきました。楽しかったですね！！ 自分が応募したトークは残念ながら本編では採択されなかったのですが、前夜祭のrejectconで発表の機会を頂いたので話してきました。資料はこちらです。 speakerdeck.com とあるマイクロサービスを ECS から Lambda に(アプリケーションコードを変更せず) 乗り換えてコストが大幅削減しているグラフが見所です。あと最後、時間の関係で駆け足になってしまったのですが、LamuxというOSSを作りました。Lambdaの複数の関数/エイリアスをhost情報を元に呼び分けてくれるProxy(multiplexor)です。 LambdaでWebアプリケーションやAPIを開発するときのプレビュー環境構築にも使えますし、Lambda extensionとして動作させる

Amazon ECSデプロイツール ecspresso v2.4.0 をリリースしたのでお知らせです。 github.com 目玉機能は Jsonnet native functions と ignore.tags です。どうぞご利用下さい。 github.com 新機能 Jsonnet native functions を追加 Add Jsonnet native functions by fujiwara · Pull Request #702 · kayac/ecspresso · GitHub Jsonnet で利用できる関数として env, must_env, tfstate, ssm など、テンプレート関数と同等のものを追加しました。 これまでの以下のような設定ファイルは # ecspresso.yml region: '{{ must_env `AWS_REGION` }}'

最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio

AWS Lambda用のデプロイツール、lambroll の v1.0 を2024年2月10日にリリースしたのでお知らせです。 github.com リリースして早速ですが v1.0.0 には一部のフラグ名がv0と異なるというバグがあるので、v1.0.1 以降をご利用ください。 v0.x と v1 の変更点 リポジトリ にまとめてありますが、簡単に解説します。 非互換変更 lambroll archive zipのバイナリを、標準出力ではなくファイルに書き出します デフォルトのファイル名 function.zip(--dest オプションで指定可能) に書き出すようになりました。 --dest - を指定することで、v0と同様に標準出力に書き出すことができます。 lambroll diff コマンドは、常に短縮型の unified 形式で出力します --unified オプションは廃止され

この記事はMackerel Advent Calendar 2023 12月19日分の記事です。 Mackerelと連携する外形監視エージェント、maprobeというOSSを5年ほど前に作って、ずっと使っています。今回は maprobe v0.7.0で Otel (OpenTelemetry) metrics を送信する機能を追加したというお話です。 github.com maprobeについては以下の記事もどうぞ。 sfujiwara.hatenablog.com 3行でまとめ maprobeはMackerelに登録されているホスト情報を取得して、そのホストに対してping, TCP, HTTPによる外形監視とmackerel-pluginの実行によるメトリック取得を定期的に実行するエージェントです maprobe v0.7.0 では外形監視の結果とpluginの実行結果を、Macker

検索で引っかかるように書いておきます。 ECS Exec (ecspresso exec, ecsta exec, aws ecs execute-commandなど)を端末以外の環境 (例えばJenkinsやGitHub ActionsなどのCI/CD環境) から実行すると、session-manager-pluginが "Cannot perform start session: EOF" でエラーになります。 これは session-manager-plugin が端末(tty)を割り当てられていることを期待しているためです。 expect パッケージに含まれる unbuffer コマンドでwrapして実行して疑似端末を与えると、端末以外からも実行できるようになります。 $ unbuffer aws ecs excute-command ... ECS Execを端末じゃないところか

自分が開発しているAmazon ECSデプロイツール ecspresso のmeet upを、JAWS-UGコンテナ支部のイベントとして開催していただきました。 参加された皆様、発表して頂いた8名の皆様、企画、運営してくださったJAWS-UGコンテナ支部の皆様、本当にありがとうございました！ 皆様のecspresso愛を感じて、作者冥利に尽きるイベントでした。ecspresso共々、今後ともよろしくお願いします。 jawsug-container.connpass.com 経緯とか しかしこれだけ利用者がいるならecspresso meetupとかできるんじゃないか。話すネタがないけど(Dev Dayで話しちゃうので)— fujiwara (@fujiwara) 2023年5月25日 AWS Dev Day 2023 Tokyoの発表 でecspressoをご利用の皆様を紹介したくて名前を

最初に3行でまとめ GoでAWS Lambdaのハンドラを実装した場合に、手元から同じ処理を実行したり開発中の動作確認のため、CLIコマンドとしても実行できると便利です そのための、とてもシンプルなwrapperライブラリを書きました lamblocal といいます 環境変数を読み込めるCLI flag parserと組み合わせるといいかんじです github.com Lambdaを実装する言語 最近、自分はAWS Lambdaの関数をGoで書くことがほとんどです。 個別のランタイムがある言語で書くとランタイムのバージョンアップやEoL対応が必要になって面倒だったりしますが、Goで書いてシングルバイナリをbootstrapという名前でzipに含めてカスタムランタイム(provided.al2) で動かすとそういう煩わしさがありません。ARM対応もビルド時に環境変数を指定するだけなので極めて

blogを書くまでがYAPCということで、4年ぶりにオフライン開催されたhttps://yapcjapan.org/2023kyoto/:YAPC::Kyoto 2023に参加してきました。 YAPCは以前から年に1回の同窓会的な雰囲気があったのですが、今回は4年ぶりなので懐かしい顔がいっぱいでした。自分のようなベテランにはおなじみの顔だけではなく、初めての人も結構来ていたようで、コミュニティが世代を超えて広がっていく様子が感じられてよかったです。 自分の場合、参加したYAPCは喋ることのほうが多かったのですが、なんとなく若手に遠慮して(最近やったPerlネタもないし…)プロポーザルを出さなかったのはちょっと後悔しています。やっぱりカンファレンスは喋ってなんぼですからね。歳を取ってもまだまだ現役エンジニアなので、次はちゃんと出します。 カヤックブースではおみくじと絵馬を実施しました 聞いた

2022年も押し詰まって来ましたね。OSSの収入まとめがはやっているようなので、自分もまとめておきます。 最初にまとめ GitHub Sponsors ¥116,308 + Zenn ¥56,626 = ¥172,934 でした。 ただし、今年の収入のうち$550はGitHubが突然始めた Thank you to our maintainers だったので、それがなければ年間10万円以下だったと思います。 52週で割ると3,325円/週、金曜日の夜に自宅で開発しながら美味しいお酒を飲むための資金考えると、多くはないですが十分いいお酒が買えるぐらい、というところでしょうか。 GitHub Sponsorsではスポンサーの条件として何か確約していることはありません (開発のお供のビール代、と明記しています)。 なお、自分がメンテしているOSSは勤務先でも広く使っているため、業務時間中にメンテ

この記事は Perl Advent Calendar 2022 14日目の記事です。 最初に3行でまとめ Slackのrtm.start APIが廃止された AnySan+AnyEvent::SlackRTMが正常に動作しなくなった それを解決するproxyをGoで書いたよ プロダクトの開発・運用のお供に Slack bot、いると思います。とある会社で7〜8年前に作られたPerlによるWebサービス(ゲームサーバー、2タイトル)でもご多分に漏れず、Slackで動作しているbotが大変重用されています。 特にブランチごとの開発環境の立ち上げ、終了、マスターデータの操作などはSlackでのbotへのコマンドで操作するのがもっぱらになっていて、これができないと開発も運用もほぼ止まってしまうような状態です。 これらのプロジェクトではPerlで非同期に動作するbotを書くために、AnySan と

ISUCON12が大盛況のうちに無事終わって早3ヶ月が過ぎました。もうすっかり冬ですね。 この記事はISUCONアドベントカレンダー 2日目の記事です。 私はISUCON12の予選作問チーム(兼ポータル運用係)だったので、この記事ではISUCON12の予選作問に当たってチームでどのような出題を考えていたのか、没ネタ、やらなかったこと、やれなかったことを含めてざっくばらんに公開してしまいたいと思います。 予選に参加されたかたは、実際にどの要素が採用されていたのかなどを問題を思い出しつつ、ご笑覧ください。 アイディア出し まず最初に、予選作問チーム全員で問題の要素ネタを出しました。 箱庭諸島(CGIゲーム)みたいなやつ データベースがファイルデータベース - 初期実装がRDBじゃない - ファイルロックが必要 ユーザーアクセスのタイミングでターン進行処理がある(定期実行バッチの代わり) これを

Amazon ECSデプロイツールのecspressoについて、もうすぐv2.0をリリースする予定ですのでお知らせします。先行してバージョン v1.99.x をプレリリースしていますので、利用できる方はお試し頂ければと思います。 (2022-12-15追記: v2.0.0をリリースしました！) もし不具合や不審な挙動を見つけた場合、GitHub issue や作者の Twitter (@fujiwara) へのメンションで教えていただけると嬉しいです。 github.com CircleCI Orb をご利用の方に大事なお知らせ まず最初に大事なお知らせです。CircleCI Orbを利用していて次の条件に両方合致している場合、v2が正式リリースされるとv2がインストールされるため、ワークフローが期待通り動かなくなる恐れがあります。 CircleCI Orb fujiwara/ecspre

「達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践」という本を6名の共著で執筆しました。技術評論社さんから、2022年6月4日発売予定です。電子版もでます。 gihyo.jp Amazon はこちら。 達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践 作者:藤原 俊一郎,馬場 俊彰,中西 建登,長野 雅広,金子 達哉,草野 翔技術評論社Amazon タイトルの通り、ISUCON で出題されるようなWebサービスを例にして、Webサービスのサーバーサイドパフォーマンスチューニングを指南する内容です。通称「ISUCON本」と呼んでください。 2020年の末に、技術評論社さんからWebサービス高速化 × ISUCONに関する書籍を執筆しませんか、と藤原までお誘いをいただいたのが発端でした。 書きたい気持ちはあったものの、内容的にとて

メリークリスマス！(フライング) AWS Containers Advent Calendar 2021 6日目の記事です。 先日、github.com/fujiwara/tracer という結構便利なやつを作りました。Amazon ECS タスクに関連するイベントとログを一括で出してくれる、シンプルな CLI です。 github.com 解説記事はこちら(会社のアドベントカレンダー)に書きましたのであわせてご覧下さい。 techblog.kayac.com tracer は単体の CLI で動作するのでどのような手段で管理している ECS タスクにも使えるのですが、これを ecspresso からも呼び出せると便利では? と思い立ったのでそうしました、というのがこの記事です。 ecspresso tasks --trace tracer は ECS クラスタ名とタスクIDを指定して動作

勝った！！引退！！！ 取り乱しました。 ずっと参加してきているWebアプリケーションパフォーマンスチューニングコンテスト ISUCON、ISUCON11本選にチーム「fujiwara組」で参加して、優勝しました。 ISUCON11 まとめ : ISUCON公式Blog fujiwara組は初回のISUCONから参加している老舗チームで、自分(fujiwara)以外のメンバーは都度入れ替わっているのですが、今回はISUCON10の時と同様に会社(面白法人カヤック)の同僚である acidlemon と macopy とのチームです。 チーム紹介スライド 過去に ISUCON1, 2, 5 で優勝しているので、6年ぶり4度目の優勝になりました。もう引退していいよね！(というか941さんに出禁って言われた気がする…) やったこと リポジトリはこちらです。 github.com アプリケーションの変

今年もやってきました ISUCON の季節です。 ISUCON は 8 までは(出題を含めて)予選本選の全てに参加できていたのですが、9, 10 では連続で予選落ちしていました。10は予選であと1チーム上回れば、というところで及ばずでしたが、本選には並行参加チームというオープン参加扱いで参加させてもらい、ひっそり全体の3位相当のスコアを出していたんですよね。なのでチームのポテンシャルとしてはまだまだいけるはず！ということで ISUCON 11 にも10と同様、同僚の @acidlemon と @mackee_w (macopy) と参戦しました。 結果、全体の4位のスコアで予選を通過できました！ isucon.net やったこととか 使用したのは Go 実装です。ミドルウェアは特に変更せず、最後まで nginx + MariaDB のままでした。 3台のうち1台を MySQL(MariaD

このブログはすっかり ecspresso のリリースノートとなっている昨今ですが、今回もリリースのお知らせです。 Amazon ECS デプロイツール ecspresso の v1.6.0 をリリースしました。 github.com 非互換変更 これまで GitHub で配布しているリリースバイナリのパッケージが .zip 形式でしたが、リリースを GoReleaser で行うようにした関係で、tar.gz 形式に変更になっています。 (追記: GoReleaserでもzipにはできるのですが、パッケージ内部のファイル名を揃えることが難しかったため、どのみちインストーラーなどの対応が必要になるためtar.gzに変更しました) 手動でインストールしている場合は、zip ではなく tar で展開してください。 CircleCI Orb の場合は、 fujiwara/ecspresso@0.0.

Amazon ECS のデプロイツール、ecspresso の v1.5.0 をリリースしたのでお知らせです。 github.com 今回は Amazon ECS Exec という新機能対応が目玉です。ほかにもお送りいただいたPRを取りこんだ各種修正が入ったリリースになります。どうぞご利用ください。 PRをお送りいただいた皆様、ありがとうございました！ 新機能 ECS Exec への対応を追加しました ホストから docker exec するように、Fargate に対しても起動しているコンテナに入ってコマンドを実行できる ECS Exec 機能がリリースされています。 aws.amazon.com ecspresso v1.5 では exec コマンドを追加して、AWS CLI なしで exec できるようにしました。session-manager-plugin は必要です。 exec

Amazon ECS のデプロイツール、ecspresso の v1.4.0 をリリースしたのでお知らせです。 github.com 今回はそこまで大きな機能追加はないのですが、地味に嬉しい機能が入っております。どうぞご利用ください。 run コマンドに --overrides-file が追加 単体タスクを実行する run コマンドに、--overrides-file オプションが追加されました。 タスク実行時に上書きするコマンドや環境変数は、これまで --overrides オプションでJSON文字列として渡す必要がありましたが、これが結構複雑な構造をしているので組み立てが面倒でした。 { "containerOverrides": [ { "name": "foo", "command": ["my-command"] } ] } こんな構造なので、CLI で渡すのはだいぶ煩雑です。

あけましておめでとうございます。Amazon ECS デプロイツール ecspresso の v1.3.0 をリリースしたのでお知らせです。 [2021-01-16 追記] v1.3.0 は init コマンドでクラッシュする問題があります。v1.3.1 をご利用ください。 今回は機能追加が盛り盛りなので、まとめて紹介します。 Release v1.3.0 · kayac/ecspresso · GitHub 【新機能】 cloudformation プラグインを追加 これまで ecspresso は Terraform tfstate を読み込んでそのリソース名から属性値を解決できる機能を持っていましたが、CloudFormation でも同様の処理ができるようになりました。 README に例がありますが、次のように Output と Export を定義したテンプレートで構築された、

激動の2020年もいよいよ押し詰まってきましたが、皆様いかがお過ごしでしょうか。 今年は ecspresso advent calendar 2020 というひとりアドベントカレンダーを唐突に思いついて始めてしまったのですが、なんとか完走することができました。 拙作の OSS である Amazon ECS 用のデプロイツール ecspresso の基本的な使い方から応用編、コマンドリファレンス、設計思想までを一通り書ききることができたので、せっかくなので Zenn で本としてまとめることにしました。 zenn.dev 9万字弱とそこそこのボリュームになり、書くのも大変だったしなあということで、500円の有料本としています。 内容自体はアドベントカレンダーに書いたものを再編集(章立ての変更と校正など)したものなので、特に新しい情報が入っているわけではないですが、もしよろしかったらお買い求め頂

Mackerel Advent Calendar 2020 8日目の参加記事です。 2020年11月に、Amazon Lightsail Container というサービスがリリースされました。 dev.classmethod.jp 最低月額 $7 で、コンテナを気軽に(ロードバランサー込みで！) Amazon Lightsail 上にデプロイできるというものです。普通に AWS で Fargate のコンテナとロードバランサー(ALB)を動かすと最低でも$25/月程度はかかってしまうので、これはお手軽でよさそうですよね。 ということで、この Lightsail Container を Mackerel で監視してみましょう。 Lightsail Container の実体は? なにはともあれ、Ligtsail Container に環境変数を出力する Web アプリケーションをデプロイし

Amazon ECS でタスクの構成定義に使う task definition をリポジトリで管理する場合、JSON 形式で取り扱うことが多いと思います。 ECS デプロイツールである ecspresso でも、task definition は環境変数等を展開できる記法があるものの、基本的には JSON ファイルとして扱っています。 これは AWS コンソールで作成した task definition を aws describe-task-definition や ecspresso init コマンドでファイルとして取り出して利用することを前提としているためで、これを YAML や別の形式で扱うことは考えていません。 ところで、実際に ECS でそれなりのサービスを運用すると、task definition JSON の管理で悩むことが増えてきました。 JSON は人間が編集するのに