OpenAI масштабирует Git с помощью собственной системы Pando

04.11.2026, 18:58 expert.com.ua

Компания OpenAI представила Pando – новую бэкенд-систему для Git-репозиториев, разработанную для обеспечения масштабируемости и эффективности в работе с огромным монорепозиторием компании. Решение было внедрено без перерывов в работе инженеров и без смены привычных для команды инструментов Git.

За последний год объем и требования к монорепозиторию OpenAI выросли экспоненциально, в частности, благодаря возможностям, которые предоставляет инструмент Codex. Это привело к увеличению количества параллельных рабочих процессов, что потребовало оптимизации системы управления версиями. Сбои в работе, медленные операции fetch и push, а также неудачные слияния стали распространенными проблемами, снижая надежность до менее 90%.

Pando был создан с двумя ключевыми целями: обеспечить горизонтально масштабируемые операции записи, оптимизированные для одновременных пушей ко многим ветвям, и максимизировать пропускную способность чтения, чтобы клиенты могли быстро загружать данные, полностью используя свою сетевую пропускную способность. Система сохраняет совместимость с протоколом и клиентом Git, позволяя инженерам и агентам беспрепятственно использовать Pando.

Новое решение снизило медианную задержку пуша почти в 5 раз и сейчас обрабатывает почти петабайт Git-данных в день. Архитектура Pando отказывается от некоторых традиционных ограничений, таких как полная согласованность репозитория в любой момент времени и уникальные пакеты для каждого клиента. Pando предлагает ослабленную модель согласованности (причинная согласованность) для масштабирования операций записи и повторное использование пак-файлов для масштабирования операций чтения.

Pando оптимизирует работу с Git по двум направлениям:

Система также использует каузальную согласованность, обеспечивая сериализированность для обновления отдельных ветвей. Это позволяет масштабировать операции записи и обслуживать чтение из кэшей.

Разработка Pando стимулировала OpenAI к идентификации и исправлению багов, а также к совершенствованию самого Git. Компания уже внесла вклад в исправление проблем, связанных с параллельной загрузкой, восстановлением прерванных передач и использованием `packfile-uri`. Отдельные улучшения, например механизм «явных haves» для клиентов, уже интегрированы в исходный код Git, а также доступны в публичной репозитории OpenAI.

Pando позволил OpenAI масштабировать свой монорепозиторий без необходимости изменять рабочие процессы Git. Компания планирует дальше исследовать использование Pando, в частности для сценариев, где большое количество агентов совместно работает над общим Git-репозиторием. OpenAI также изучает возможность поделиться этой технологией со своими пользователями.

джерело: OpenAI

Читать полностью…