はてなブックマーク

はじめに こんにちは。ucchi- です。普段は広告のデータを整えつつ、全社横断のデータ整備も行っています。 この記事では、以下 3 つのテーマについて紹介します。 データ分析を自律的に行う「LLM Agent」 LLM Agent の能力を最大限に引き出す「LLM-Ready なデータ基盤」 LLM-Ready なデータ基盤を高速に構築するための「FlyWheel（改善サイクル）」 LLM Agent は対話を通じてデータ分析を行う まず、この記事における「LLM Agent」を定義します。これはデータ分析を自律的に行う大規模言語モデルであり、以下のように動作します。 LLM Agent に問いを投げかける LLM Agent は問いを解釈し、SQLクエリの生成、実行、結果の可視化、解釈を行う そこから自律的に分析を深掘りしたり、追加のフィードバックを求めたりする 参考）Google C

こんにちは。lyluckです。 複数の似たようなJobやCronJobを記述するとほとんどの設定がコピペになり、管理が非効率になる問題を解決するOSSを作りました。 github.com 背景 オンプレミスで稼働しているバッチ処理をKubernetes(以下、k8s)へ移行する場合、シンプルに実現する場合はJob(以下、bJob)やCronJob(以下、bCronJob)をクラスター上に作成することになります。 移行対象のバッチ処理は一つや二つではなく、大量にありました。大部分は同じ内容なのですが、コマンドの引数など細かい差異がありました。 マニフェスト管理には基本的にkustomizeを使っています。環境ごとの差分は簡単に書けますが、元(base)となるマニフェストはバッチ処理ごとに必要でした。 シェル芸でなんとかする方法(テンプレートのyamlファイルの特定の箇所を引数によって別の値に

2024年夏、あるアニメーション制作会社から「武者修行」としてエンジニア出向受け入れを行いました。業界的に類似点はあるとはいえ、事業内容も組織文化も異なる環境で1年間挑戦いただきました。 この取り組みは、受け入れたピクシブに、そして武者修行に挑んだエンジニアに何をもたらしたのでしょうか。 本企画のピクシブ側仕掛け人であるプロダクト開発ギルド長のbashから、武者修行を終えたエンジニアのmamaguroさんとアサイン先決定の判断や受け入れ期間中の対応を担当したVPoEのkonyaさんに、1年間のふりかえりインタビューを行いました。異文化交流から見えてきた、それぞれの組織の強みと、アニメーション制作業界・テック業界をまたぐこれからのエンジニアリングの可能性に迫ります。 自己紹介 mamaguro: 2019年に新卒でアニメーション制作会社に入社。制作進行業務に携わる傍ら、社内業務の自動化を目的

クリエイター事業部の丸山（@alitaso）です。ピクシブは2021年〜2024年に渡って中高生Rubyプログラミングコンテスト（旧 中高生国際Rubyプログラミングコンテスト in Mitaka）に協賛してきました。 協賛を通してさまざまな学生と交流が広がる中、新しい仲間との出会いにつながった事例もあります。2025年4月にピクシブに新卒エンジニアとして入社した木島さん（@kijiharu）は、2022年大会でピクシブの企業賞に選出された経歴の持ち主です。（当時 松江工業高等専門学校 3年生）本記事では木島さんに当時の協賛担当だった私からお話を伺い、受賞から入社に至った経緯を掘り下げます。 inside.pixiv.blog 本日はよろしくお願いします！早速ですが、木島さんが中高生Rubyプログラミングコンテストに参加された背景を教えてください はい、当時は学校でC言語に触れる機会はあり

なぜLLMレビューを導入しようと考えたか きっかけはSlackでの雑談から やってみた：GitLab CI/CD と Vertex AI で実現するLLMレビュー 全体像 レビューの精度を高める「コンテキスト」の渡し方 ルールファイルの具体例 プロンプトの例 結果：LLMレビューがもたらした2つの大きなメリット 1. リポジトリのルール指摘がしやすくなった 2. メンバーへの知見共有が進んだ 課題と今後の展望 まとめ こんにちは、ピクシブのデータ基盤チームのkashiraです。 データ分析基盤の開発は、プロダクト開発と比較して優先度が低く、限られたリソースで進めなければならない場面が少なくありません。各部署やプロダクトが個別にデータ開発環境を構築するのは非常に非効率です。 そこで私たちは、全社共通のデータ基盤を一つのプラットフォームとして整備し、dbtのプロジェクトを1つのリポジトリに集約

こんにちは、lyluckです。 ピクシブではオンプレミスKubernetes(以下、k8s)クラスターを運用しています。 既存アプリケーションのk8s移行は依然として進行中で、クラスターの規模は以前と比べて倍の20台程度になっています。 アプリケーションをk8s移行するには、アプリケーションログの転送機能も一緒にk8sへ移行する必要があります。 今回はk8sにおけるログ転送時のログ欠損を抑えるために取り組んだことを紹介します。 背景 k8s移行対象のアプリケーションには転送が必要なログを生み出すものがあります。 次の図のように、Fluentdがログをアプリケーションがあるサーバーとは別のサーバーへ転送しています。 左側のサーバーの中身すべてをk8sクラスター上で動かすにはFluentdもk8sクラスターへ移行する必要があります。 ログ転送のためのFluentd DaemonSetがあったの

FANBOX Sectionの丸山(alitaso)です。 ピクシブは2025年度もRubyアソシエーションのPlatinumスポンサーとして協賛を継続いたします。 Ruby Associationとは Ruby Associationは、プログラミング言語Rubyの普及と発展のための非営利団体です。Ruby関連のプロジェクトやコミュニティ、ビジネスの関係を強化し、Rubyの利用に関する諸問題の解決に取り組んでいます。 www.ruby.or.jp 皆さんは、Ruby Associationの協賛金がどのように活用されているかご存知でしょうか？ Rubyの開発において協賛企業がどのような役割を果たしているのか、Ruby Association事務局長の前田様にお話しを伺いました！ 協賛金の使途について 本日はよろしくお願いします！ 早速ですが、協賛金の活用について教えてください。 財団の協

はじめに Baseline削減したいよね やったこと 1. PHPStanが出している警告の分析 2. Rectorについて学ぶ 3. Rectorを使ってReturnTypeにvoidがついていない場所にvoidをつける 4. 返り値の型を特定できる関数・メソッドに返り値の型をつける修正 5. private static arrayをconstへ変更する 6. 継承されていないクラスにfinalフラグをつける 7. Class.notFoundの修正 どうなった まとめ はじめに こんにちは。pixivでアルバイトをしているmalsukeです。2024年11月下旬にピクシブに参加し、現在は主にプロジェクトのリファクタリングを担当しています。この記事ではRectorを用いて、入社10日目までにpixivをはじめ、社内のPHP製のサービスのソースコードを持つpixiv.git内のPHPSt

クリエイター事業部FANBOX部の丸山(@alitaso)です。 本記事の要点 ピクシブは2025年4月16日（水）〜4月18日（金）に愛媛県松山市にて開催されるRubyKaigi 2025に参加したい学生向けの招待企画を実施いたします。 RubyKaigi 2025一般参加チケット/公式懇親会チケット/RubyKaigi会期中の宿泊費/往復交通費をピクシブが負担しますので、招待学生は格安でRubyKaigi 2025に参加可能です。 参加希望の学生さんは2月9日（日）23時59分までにこちらのフォームからご応募ください。 RubyKaigi 2025とは RubyKaigiはプログラミング言語Rubyに関する世界最大級の国際カンファレンスです。 今年は4月16日（水）〜18日（金）の3日間にわたって、愛媛県松山市にある愛媛県県民文化会館にて開催されます。Rubyの作者まつもとゆきひろ氏を

PIXIV DEV MEETUP 2024当日の夕方にAquaステージ側におられた方は、「枕詞」についての語りから突然ボルテージ高くコールアンドレスポンスがはじまり、早口トークののちコールアンドレスポンスとともにドラが鳴るという発表を見た方も多くいらっしゃると思います。きっと言葉では言い表せないLT体験みたいなものを感じたのではないでしょうか。 申し遅れました。経営企画本部 経営企画補佐を務めております*1エンジニア職bashと申します。 ぜひこちらのじっくりとスライドを再読いただき、ポップな話に隠されたテック業界への問題提起とその解決について読み取っていただけるとうれしいです。 スライド この発表の経緯 世の中一般として「セキュリティチェックリスト」については大変だとか、記入を自動化できないかとか、そういう話題が多くあることにひっそりと心を痛めていました。 そこで私がセキュリティチェック

初めまして。プラットフォーム開発部で全社横断データインフラやデータマネジメントを担当していますkashiraです。 この記事では、先日のPIXIV DEV MEETUP 2024のLTで発表した「AirflowのKubernetes移行 ~ Kubernetesで運用するのは思ったより難しくない ~」について登壇内容を元に大幅に加筆修正を行い、文章にしたものです。 先日の発表では、時間の都合上話せなかったことが多くありました。そのため、この記事で移行についての補足を多めに入れています。 この記事がAirflowの運用に困っている管理者の方にとって少しでもお役に立てれば幸いです。 スライドは下記で公開しています。 speakerdeck.com はじめに ピクシブではデータパイプラインの基盤として、全社共通のAirflowをデータ基盤チームで運用しています。 個人的に特徴的だなと思っている点

こんにちは。pixivのnamazuです。 先日開催されたPIXIV DEV MEETUP 2024にて、『pixivというシステムはどんな形をしているのか、それはなぜか。』というテーマで発表をさせていただきました。当日、セッションにご参加いただいた皆さま、そしてフィードバックをいただいた方々に、改めて感謝申し上げます。 Webサービス開発において面白い点の一つは、どのサービスもその要件や状況に応じて異なる選択がなされることです。結果として、類似点がある場合もありますが、細部において同じものはなく、すべてがユニークです。弊社内でもさまざまな違いが見られますが、業界全体を見渡すとさらに多様性が広がっていることでしょう。 今回の発表では、pixivのシステムに関する重要な要件や状況をいくつか取り上げ、現時点でどのような構造になっているかを、インフラストラクチャ、バックエンドアプリケーション、開

みなさまこんにちは、プロダクト開発ギルド長 bashです。この組織ではプロダクト開発運用を中心に「猛者が猛者を呼ぶ・猛者が猛者を磨き上げる"しくみ"をつくる」をテーマに、もっぱら開発を担う職や役割(プロダクトマネージャー、プロダクトデザイナー、コミュニティーマネージャー、エンジニア)の事業横断職能組織、開発サイクル改善活動、Developer Relationsの各部署を管轄しています。お見知りおきのほどよろしくお願いします。 さて、ピクシブ株式会社では社員のコミュニティ活動を推奨しています。各種技術ごとのテックコミュニティーをはじめ、様々なドメインで有志がコミュニティという形で勉強会やカンファレンスを開催して会社や組織をまたいで知の交流が行われており、その上に業務活動が成り立っているといっても過言ではありません。 以前こちらの記事で制度を紹介しましたが、よりシンプルな仕組みへとアップデー

はじめに こんにちは、インフラ部のsue445です。 ピクシブでは2023年末に自社のデータセンターとAWSとをDirect Connect Gatewayで、データセンターとGoogle CloudとをCloud Interconnectで、それぞれインターコネクト（閉域網接続）を開通しました。 現在PastelaではDirect Connect Gatewayを、pixivcobanではCloud Interconnectをそれぞれ利用してオンプレミスのデータセンターと閉域網接続を行っています。 皆さんの会社でもデータセンターと各クラウドとを専用線などで閉域網接続は行っているかもしれません。しかし複数クラウドでの開通というのはあまり無い事例だと思います。 このエントリでは複数クラウドでの閉域網接続を通して得られた知見や、AWSとGoogle Cloudの微妙な仕様の違いを紹介させていた

まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全

こんにちは、プラットフォーム開発部で認証認可基盤の開発を担当しているabcangです。 先日pixivでパスキーが利用できるようになりました。パスキーはパスワードに代わる認証方法で、顔認証・指紋認証・PINなどのデバイスの認証機能を使ってpixivや関連サービスにログインすることができます。 パスキーはデバイスやクラウドサービス(iCloudやGoogleなど)ごとに作成する必要があるため、1アカウントで複数のパスキーを作成することは一般的です。そのため、パスキーを削除するときなどに判別しやすくするには、パスキーに適切な名前をつけることが重要になります。しかし、ユーザーに適切な名前をつけてもらうのは大変なので、pixivでパスキーを作成した場合はそれらしい名前をデフォルトで設定しています。今回はそれらしい名前をどうやって設定しているかご紹介します。 AAGUIDを使用する AAGUID(A

こんにちは！ピクシブでバックエンドエンジニアとして働いているこのぴーです。 今回はpixivコミックストアの作品検索機能をMySQLの全文検索からElasticsearchに移行したときの手順と移行後の効果についてお話していこうと思います。 背景 pixivコミックストアのバックエンドはRuby on Railsで作成していて、今回Elasticsearchへ移行する作品検索機能はMySQLの全文検索を使用して実装されていました。 作品数が少なかった実装当時は問題なく動いていたのですが、取り扱う作品数が数十万作品となった現在、スロークエリの大部分を検索クエリが占めるほど性能が劣化してしまう事態となっていました。 さらに、インクリメンタルサーチによりクエリが大量に発行されたことが引き金となる障害が発生したため今回Elasticsearchへと移行することとなりました。 Elasticsear

こんにちは。プラットフォーム開発部兼財務データ企画部のshigeniiと申します。 普段はデータ基盤の運用保守、および、全社的なデータ活用やデータ駆動推進を担当しています。 今回は、財務に関する情報の収集からその可視化までの過程をシステム化することで、事業計画や予算策定のプロセス改善に結び付けた我々の取り組みについて、システム化に焦点を当てながら書き綴りたいと思います。 この記事がバックオフィス業務において、同じような課題を抱えている方に少しでもご参考になれば幸いです。 経緯 財務レポート可視化プロジェクト システム化にあたっての具体的な取り組み Before After システム化にあたっての課題 今回の対応 全体的なシステム構成 財務レポートを作るまでのながれ 説明1．各業務システムのデータを取得 説明2．マスタ情報の取得・作成 説明3．データの加工・突合機能 説明4．データに対するセ