[Перевод] Обрабатываем строки в 109 раз быстрее, чем Nvidia на H100

info@vsetut.pro

Стать автором

Вернуться

24.09.2025 07:36:48 | Хабр

Хабы: Алгоритмы, Open source, Базы данных, Биология

Недавно я выпустил StringZilla v4 — первый релиз с поддержкой CUDA моей библиотеки для обработки строк. нацеленной в первую очередь на SIMD. Это означает, что теперь она стала быстрой не только на CPU, но и на GPU!

• Я хотел добавить ускорение ROCm для GPU AMD

• Я хотел добавить параллельный мультипаттерновый алгоритм поиска

• Я хотел опубликовать всё это ещё в декабре 2024 года

Итак, не всё пошло по плану, но StringZilla 4 CUDA наконец-то здесь, и она добавляет 500 с лишним GigaCUPS вычислений редакторского расстояния; при этом пакет можно установить через pip install. Также в ней есть некоторые другие трюки, предназначенные для крупномасштабных систем извлечения данных, баз данных и озёр данных, а также биоинформационных задач. И всё это под разрешительной опенсорсной лицензией Apache 2.0, позволяющей свободно использовать библиотеку в коммерческих целях. В этом посте я рассмотрю самые интересные части релиза, и в том числе:

• Быструю оценку алгоритмов динамического программирования на GPU,

• Хэширование CRC32, MurMurHash, xxHash, aHash и не только, а также

• Фингерпринтинг биологических последовательностей 52-битными целыми числами

Подробнее