Машинное обучение справляется с огромными наборами данных: алгоритм преодолевает эксабайтный барьер

Алгоритм машинного обучения продемонстрировал способность обрабатывать данные, объем которых превышает доступную память компьютера, путем определения ключевых характеристик огромного набора данных и разделения их на управляемые пакеты, которые не перегружают компьютерное оборудование. Алгоритм, разработанный в Национальной лаборатории Лос-Аламоса, установил мировой рекорд по факторизации огромных наборов данных во время тестового запуска на саммите Национальной лаборатории Ок-Ридж, пятом по скорости суперкомпьютере в мире. Одинаково эффективный на ноутбуках и суперкомпьютерах, высокомасштабируемый алгоритм устраняет узкие места оборудования, которые не позволяют обрабатывать информацию из приложений с большим объемом данных в области исследований рака , спутниковых изображений , социальных сетей, науки о национальной безопасности и исследованиях землетрясений, и это лишь некоторые из них. «Мы разработали реализацию метода факторизации неотрицательной матрицы без использования памяти, которая позволяет факторизовать большие наборы данных , чем это было возможно ранее на данном оборудовании», — сказал Исмаэль Бурейма, физик-вычислитель из Национальной лаборатории Лос-Аламоса. Бурейма — первый автор статьи в « Журнале суперкомпьютеров» о рекордном алгоритме. «Наша реализация просто разбивает большие данные на более мелкие единицы, которые можно обрабатывать с использованием доступных ресурсов. Следовательно, это полезный инструмент для работы с экспоненциально растущими наборами данных». «Традиционный анализ данных требует, чтобы данные укладывались в ограничения памяти. Наш подход бросает вызов этому понятию», — сказал Маниш Бхаттараи, ученый в области машинного обучения из Лос-Аламоса и соавтор статьи. «Мы представили решение, связанное с нехваткой памяти. Когда объем данных превышает доступную память, наш алгоритм разбивает его на более мелкие сегменты. Он обрабатывает эти сегменты по одному, циклически перемещая их в память и из нее. Этот метод дает нам уникальную возможность эффективно управлять и анализировать чрезвычайно большие наборы данных». Распределенный алгоритм для современных и гетерогенных высокопроизводительных компьютерных систем может быть полезен на аппаратном обеспечении, таком маленьком, как настольный компьютер, или на таком большом и сложном оборудовании, как Chicoma, Summit или будущие суперкомпьютеры Venado, сказал Бурейма. «Вопрос больше не в том, можно ли факторизовать большую матрицу, а в том, сколько времени займет факторизация», — сказал Бурейма. Реализация в Лос-Аламосе использует преимущества аппаратных функций, таких как графические процессоры, для ускорения вычислений и быстрого соединения для эффективного перемещения данных между компьютерами. В то же время алгоритм эффективно выполняет несколько задач одновременно. Факторизация неотрицательной матрицы — это еще одна версия высокопроизводительных алгоритмов, разработанных в рамках проекта SmartTensors в Лос-Аламосе. По словам Буреймы, в машинном обучении факториза...

Сообщает android-robot.com

Опубликовано: 06:00, 21.09.2023

Новость из рубрики: Технологии и Hi-Tech

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ новости часа

15:00, 20 Окт Машинное обучение ускоряет разработку передовых производственных технологий Несмотря на замечательные технологические достижения, которые наполняют нашу жизнь сегодня, способы работы с металлами, лежащие в основе этих разрабо...

11:00, 31 Янв Машинное обучение может помочь лучше прогнозировать джентрификацию города Модель машинного обучения, разработанная и протестированная исследователями из Исследовательского центра будущего города Университета Нового Южного У...

16:00, 02 Окт Алгоритм. После похудения лицо осунулось — что делать? Алгоритм. После похудения лицо осунулось — что делать? Косметологи предупреждают: избавление от лишних килограммов может сильно сказаться на лице. За...

02:00, 10 Авг Открыт алгоритм для увеличения скорости обучения искусственного интеллекта Ученые из Tinkoff Research открыли алгоритм для увеличения скорости обучения искусственного интеллекта в 20 раз. Ученые из лаборатории исследований и...

19:00, 02 Янв Обучение ставкам на freetips.top Игры на ставках обманчиво считаются легким и быстрым заработком. Новички надеются на ту самую удачу и мечтают сорвать крупный куш с единственно верно...

23:05, 25 Сен Алгоритм. Как вылечить прыщи, которые остались на спине и плечах после лета Алгоритм. Как вылечить прыщи, которые остались на спине и плечах после лета Прыщи на спине и плечах, которые "остались в наследство" после лета, в лу...

05:00, 04 Авг Ученые из Tinkoff открыли алгоритм для увеличения скорости обучения искусственного интеллекта в 20 раз Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research открыли новый алгоритм для обучения ИИ. Новый метод, названный SAC...

18:00, 02 Мар Лучшее музыкальное обучение в Минске по хорошим ценам Постепенно, по неведомой причине, в СНГ становится все меньше музыкальных школ, люди все меньше интересуются музыкальными инструментами и все реже от...

20:00, 13 Дек Военного летчика из США арестовали за обучение китайских пилотов посадке на авианосец Военного летчика морской пехоты США в отставке арестовали в Австралии по обвинению в подготовке китайских пилотов к посадке на палубу авианосца в лет...

01:00, 20 Июн Голикова: студенты из числа участников спецоперации смогут перейти на бесплатное обучение в вузах Вице-премьер России Татьяна Голикова сообщила, что участники военной операции на Украине будут поступать в высшие учебные заведения по отдельной квот...

08:00, 30 Янв Зависимость времени выполнения инструкций от данных на CPU ARM и Intel Эрик Биггерс (Eric Biggers), один из разработчиков шифра Adiantum и мэйнтейнер подсистемы ядра Linux fscrypt, предложил набор патчей для блокирования...

05:00, 08 Мар Квантовые центры обработки данных произведут революцию в IT Квантовые вычисления имеют большой потенциал для приложений с высокими вычислительными возможностями. Но технология все еще находится на ранних стади...

03:00, 16 Дек У Level.Travel произошла утечка данных пользователей Ни дня без новой утечки. ИБ-специалисты заметили, что хакеры опубликовали в свободном доступе данные сервиса по поиску и покупке туров онлайн Level.T...

01:00, 30 Авг OneDrive ограничил безлимитный тариф хранения данных Облачное хранилище Microsoft OneDrive ввело ограничение на безлимитный корпоративный тариф OneDrive — теперь пользователи смогут хранить не более 1 Т...

10:00, 02 Июл EUR/USD прорывается выше 1,0880 после данных PCE в США, так как доллар снижается Годовой показатель базового PCE в США замедлился с 4,7% до 4,6% в мае. После выхода отчета доллар США немного ослаб. Курс EUR/USD стал положительным ...

04:00, 31 Дек Бастрыкин поручил сформировать локальную базу ДНК-данных по жителям Мариуполя Она будет способствовать идентификации личностей 3000 мирных граждан, чьи тела нашли на позициях украинских националистов и установлению дополнительн...

10:00, 16 Июн РБК: Роскомнадзор вынес первые запреты на передачу персональных данных россиян за рубеж Роскомнадзор (РКН) вынес первые запреты компаниям в России на трансграничную передачу персональных данных. Об этом сообщает издание РБК со ссылкой на...

21:00, 28 Июн Двукратного олимпийского призёра Лугелина Сантоса отстранили за подделку данных в паспорте Доминиканский легкоатлет Лугелин Сантос отстранён от соревнований из-за подделки данных в паспорте. По словам спортсмена, он сделал это, будучи несов...

00:00, 08 Июл Мишустин предоставил ФСБ круглосуточный удаленный доступ к базам данных агрегаторов такси С 1 сентября 2023 года ФСБ получит круглосуточный удаленный доступ к информационным системам и базам данных служб заказов такси, включенных в реестр ...

22:00, 13 Апр Срочно: Золото поднимается выше $2,040 до максимума с марта 2022 года после данных из США Цена на золото выросла более чем на $10 после выхода мартовского индекса цен на сырьевые товары в США, который оказался ниже ожиданий, и увеличения п...

23:00, 23 Ноя Lenovo хочет стать мировым лидером по производству серверов и систем хранения данных В настоящее время китайская компания является крупнейшим производителем персональных компьютеров с долей на рынке более 20%. Крупнейший в мире произв...

13:00, 20 Окт Создана база данных изображений с открытым исходным кодом, которая раскрывает возможности ИИ для исследования океана Новая совместная работа MBARI и других исследовательских институтов заключается в использовании возможностей искусственного интеллекта и машинного об...

04:00, 01 Мар Что изменится в России с 1 марта 2023 года: поправки в ПДД, дистанционная продажа рецептурных лекарств, дополнительная защита персональных данных В числе поправок также – повышение акцизов на сигареты, обновление порядка освидетельствования водителей на состояние алкогольного опьянения, установ...

10:00, 06 Авг «Лаборатория Касперского» выявила серию целевых кибератак на промышленные предприятия с применением более 15 вредоносных имплантов для кражи данных В ходе атак злоумышленники стремились обойти защитные решения и использовали более 15 имплантов, чтобы получить доступ к данным организаций, в том чи...

18:00, 16 Май Мнения респондентов по вопросу введения административной ответственности за размещение биометрических данных в информационных системах с нарушением требований закона разделились Большинство читателей ГАРАНТ.РУ (84%) согласны с необходимостью введения ответственности за данное нарушение. Однако только 52% опрошенных согласны с...