Как нейросеть помогла познакомитсья с пернатыми соседями по даче

info@vsetut.pro

О проекте

Вернуться

03.07.2024 07:46:55 | Хабр

Хабы: Монетизация мобильных приложений, Аналитика мобильных приложений, Научно-популярное

Одна птица с восходом солнца и часов до 10 утра заливается пением рядом с нашим подмосковным домиком в Нара-Фоминском районе Подмосковья. Мы садимся завтракать всей семьей, и наш пернатый сосед (или соседка) тоже созывает свою семью на завтрак. Впрочем, может, к 10 утра у нее уже обед. Птичка похожа на обычного городского воробья, но немного крупнее. Поет красиво, но все же... ну, не соловей. У того гамма звуков, если так можно выразиться (поправьте, музыканты, если термин неправильный) - гораздо шире.

И еще мы из года в год наблюдаем примерно с десяток птиц, которые мирно уживаются рядом и заливают пространство какофонией приятных слуху звуков. Некоторые, кстати, вьют гнезда и растят потомство прямо под крышей нашего дома, где нашли защиту от непогоды и хищников. В этом году наш дом «приютил» две семьи. Я решил положить конец спорам и сомнениям и найти приложение, которое точно распознает птицу по звуку - «чириканию», то есть.

В плеймаркете искал те, что были бы сделаны командой с участием профессиональных орнитологов, ученых. И мой выбор пал на BirdNet.
Приложение разработано Центром сохранения биоакустики Корнельского университета (США), а IT часть - кафедрой медиаинформатики Технологического университете в Хемнице (Германия). Таким образом, это совместный проект двух научных учреждений. Приложение имеет русскоязычную версию, загружается и работает в России без проблем.

Как это работает?

BirdNet классифицирует птичьи звуки с помощью машинного обучения. Как рассказали создатели сервиса, «рабочий процесс обучения Deep neural network (глубокой нейронной сети) состоял из сбора больших объемов аудиоданных, предварительной обработки этих данных для создания визуальных представлений звука, дополнения этих визуализаций и, наконец, обучения сложной модели. Архитектура с около 27 миллионами обучаемых параметров».
Подробнее можно почитать тут: https://www.sciencedirect.com/science/article/pii/S1574954121000273
А вот сылочка на GitHub, куда создатели сервиса выложили коды:
https://github.com/kahst/BirdNET-Analyzer

Подробнее