«Марш девяток» Карпати: как инженерные ошибки подрывают надёжность ИИ-систем

В современной индустрии искусственного интеллекта часто звучит утверждение, что 90% надёжности системы — это высокий показатель. Однако, как подчёркивает Андрей Карпати, даже уровень 99% пригоден лишь для прототипов и демонстраций, но не для критически важных рабочих процессов. Причина — в так называемом «марше девяток»: каждая дополнительная девятка в процентах успешных операций требует сопоставимых инженерных усилий, а итоговая надёжность сложного процесса быстро падает из-за накопления ошибок на каждом этапе. В типичном рабочем процессе с ИИ, включающем несколько последовательных шагов (например, парсинг, планирование, вызовы инструментов, валидация, логирование), итоговая вероятность успеха равна произведению вероятностей каждого шага. Если каждый из 10 этапов выполняется с вероятностью 90%, общий успех — лишь около 35%. Даже при 99% надёжности каждого шага итоговый показатель — 90%, что всё ещё приводит к частым сбоям в реальной эксплуатации. Для достижения уровня, соответствующего промышленным стандартам, требуется не только улучшать сами модели, но и внедрять строгие инженерные практики. Карпати выделяет девять ключевых подходов: ограничение автономии через явные графы рабочих процессов, жёсткое соблюдение контрактов на всех границах системы, многоуровневая валидация (синтаксис, семантика, правила), маршрутизация по уровню риска, инженерия вызовов инструментов как распределённых систем, предсказуемость и наблюдаемость извлечения данных, постоянная оценка в продакшене, развитая система мониторинга и быстрой реакции, а также наличие «ползунка автономии» с безопасными откатами и ручным контролем. Иллюстрация: Grok Особое внимание уделяется измеримым целям надёжности (SLO) и строгой валидации всех входных и выходных данных. Для каждого рабочего процесса устанавливаются отдельные целевые показатели, а ошибки и инциденты превращаются в тесты для предотвращения повторных сбоев. Такой подход позволяет не только повысить надёжность, но и сделать систему управляемой и прозрачной для бизнеса. Практическая реализация этих принципов включает ограничение числа попыток, тайм-ауты, строгую типизацию данных, версионирование схем, автоматическое переключение на более безопасные режимы при ошибках и обязательное участие человека в критических ситуациях. Всё это превращает ИИ из экспериментального инструмента в надёжный компонент корпоративных решений. По данным опроса McKinsey за 2025 год, более половины компаний, использующих ИИ, столкнулись с негативными последствиями из-за недостаточной надёжности, а треть — с ошибками, связанными с неточностью моделей. Поэтому переход от «первых девяток» к промышленной надёжности становится ключевым фактором для массового внедрения ИИ в бизнес-процессы....

Сообщает www.ixbt.com

Новость из рубрики: Технологии, Наука

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ новости часа

12:57, 29 Авг В Киеве радикалы пытались помешать феминисткам провести Марш женщин В столице Украины произошла небольшая потасовка, которая благодаря полицейским не переросла в конфликт с пострадавшими. В Киеве радикалы пытались помешать феминисткам провести Марш женщин. Сегодня радикально настроенным представителям «традиционных ...

16:57, 28 Сен Марш в Буэнос-Айресе собрал тысячи человек из-за пыток и убийства трех девушек В центре Буэнос-Айреса прошла многотысячная акция, участники которой требовали справедливости после пыток и убийства трех девушек, совершенных, по версии следствия, наркоторговцами. Несколько тысяч человек приняли участие в марше в Буэнос-Айресе, тр...

15:44, 19 Авг Ландшафтный дизайн от L.BURO: когда природа становится частью дома Сад, парк, двор — это больше, чем просто территория. Это продолжение вашего пространства, место, где можно остановиться, вдохнуть свежий воздух и почувствовать ритм природы. Ландшафтный дизайн делает эту среду осмысленной, красивой и удобной. В сту...

16:57, 16 Дек «Марш Сатаны двигался по улицам. Ряженые бесы издавали нечеловеческие вопли. Антисвятость. Европа как никогда близка к Апокалипсису». Анна Семак о шествии Крампусов в Мюнхене Анна Семак, жена тренера «Зенита» Сергея Семака, поделилась впечатлениями от шествия Крампусов в Мюнхене. Крампус – персонаж из фольклора альпийского региона, «рождественский черт», спутник и антипод Николая Чудотворца. Обычно его изображают как рог...

17:57, 13 Мар Михайловский ГОК повышает надёжность обжигового оборудования Михайловский ГОК им. А.В. Варичева (входит в компанию «Металлоинвест») завершил плановый ремонт обжиговой машины №2 (ОМ-2). Специалисты полностью выполнили намеченный объем работ и запустили агрегат с опережением графика. Обжиговая машин...

13:57, 02 Янв Falcon 900LX: надежность и комфорт для международных перелетов Falcon 900lx является ярким представителем популярной серии дальнемагистральных самолетов деловой авиации. Реактивный бизнес-джет достигает высоты эшелона за 20 минут и без посадки преодолевает трансконтинентальные расстояния. Использование в констр...

13:57, 26 Окт Мобильность без компромиссов: что определяет надёжность ручных перевозчиков грузов Мобильность и надёжность ручных перевозчиков грузов остаются критически важными для эффективной работы складов и торговых точек, где каждая операция требует точного расчёта усилий и времени. Правильный выбор оборудования позволяет ускорить процесс п...

17:57, 25 Авг Билайн повысил надежность 4G для тысяч селян Пензенской области Билайн повысил надежность 4G для тысяч селян Пензенской области Билайн укрепил сеть 4G* в жилых комплексах, общественных пространствах и на социальных объектах Пензы, а также расширил покрытие на трассах и более чем в 20 малонаселенных пунктах облас...

21:57, 20 Авг Процессор vs Надёжность: Honor 9X тонет гораздо быстрее Galaxy A50 Лишь фирменный процессор делает новый китайский смартфон уникальным. В продажу поступил ожидаемый многими смартфон Honor 9X, главной фишкой котрого стал фирменный процессор Kirin 810, который китайцы из Huawei надеятся сделать достойной (если не пре...

08:57, 08 Авг Типичные ошибки при оформлении микрозаймов в МФО В связи с непростой финансовой ситуацией в мире люди всё чаще прибегают к услугам микрокредитования. Зачастую это становится единственным средством для решения финансовых проблем, так как банки предъявляют достаточно жёсткие требования к заёмщикам. ...

13:57, 04 Апр Телекоммуникационные решения N3COM: инновации, надежность и эффективность для современного бизнеса В условиях стремительной цифровизации и роста требований к скорости передачи данных, телекоммуникационные решения становятся ключевым элементом успешной деятельности компаний. Современные организации нуждаются в надежной, масштабируемой и безопасной...

05:57, 18 Окт «Надежность и возможность масштабирования хранилища данных без ограничений — критичные требования» Организации во всем мире сегодня сталкиваются с острой необходимостью в управлении и хранении своих неструктурированных данных. Многие из них для работы с данными петабайтного масштаба обращаются за помощью к компании Scality, которая занимает лидир...

18:57, 25 Сен Эталонная надежность, практичность и динамичность: Почему Skoda Octavia «победит» Mazda 3 Чешский лифтбек во многих отношениях лучше многих конкурентов и даже прославленные японские седаны не сравнятся с таким авто. На сегодняшний день одним из наиболее популярных автомобилей на российском рынке считается Skoda Octavia, которая побила вс...

09:57, 28 Авг Цена ошибки: Apple заплатит $1 млн хакерам за взлом iPhone После проблем с безопасностью «яблокотелефонов» проблему решают проверенным способом. Конфиденциальность данных пользователей iPhone не раз обсуждалась конкурентами и критиками Apple. В скандальные истории «яблочная компания»...

10:57, 11 Окт Россиянин расстрелял мужчину на глазах семьи из-за ошибки в переводе Житель города Пушкин Ленинградской области вломился в квартиру к 39-летнему петербуржцу, на чей счёт ошибочно перевел деньги. Он несколько раз выстрелил в жертву на глазах детей и жены. Пострадавший сейчас находится в больнице, его состояние оценива...

13:57, 14 Апр Алгоритм против граждан: как ошибки в коде ЕНС лишают россиян ликвидности Цифровизация налогового администрирования в России столкнулась с системным багом, превращающим право на возврат средств в долговое обязательство. Единый налоговый счет (ЕНС), задуманный как инструмент упрощения расчетов, начал генерировать фиктивные...

23:57, 14 Авг Почему банки не дают кредит? Названы три главные ошибки заемщиков Эксперты указали на основные причины отказа в выдаче кредита. В связи с трудной экономической ситуацией российские банки стали более осторожно подходить к выдаче кредитов населению. Об этом на пресс-конференции Центробанка заявила глава регулятора Э...

05:57, 30 Мар Scheduled Tasks Claude исправляют ошибки ChatGPT и Gemini в автоматизации Как работают Scheduled Tasks в Claude Основная проблема предыдущих попыток автоматизации — зависимость от ограниченных функций напоминаний или интеграции с собственными экосистемами. OpenAI в 2025 году выпустила Tasks, который оказался обычным списк...

20:38, 21 Фев Пластиковые крышки оптом — это стратегически важный элемент упаковки, обеспечивающий надежность, удобство и привлекательность товара Пластиковая крышка — маленькая деталь с большой ролью. Несмотря на скромные размеры, именно она обеспечивает герметичность упаковки, защищает продукт от внешних воздействий и сохраняет его свойства на протяжении всего срока хранения. От качества кры...

20:39, 20 Фев LED экраны представляют собой эффективный инструмент визуальной коммуникации, сочетающий технологичность, надежность и экономическую целесообразность LED экраны стали неотъемлемой частью городской среды, рекламных кампаний и оформления мероприятий. Их используют на фасадах зданий, в торговых центрах, на концертных площадках и спортивных аренах. Благодаря высокой яркости и четкости изображения так...

21:57, 04 Ноя Не называйте так кошек: они станут неуправляемыми - ошибки, о которых хозяева жалеют годами Не называйте так кошек: они станут неуправляемыми - ошибки, о которых хозяева жалеют годамиПредставьте: вы десять лет зовёте своего солидного кота, дожившего до почтенного возраста, «Пельмень». Стоя у подъезда и смущая соседей. Или с трудом объясняя...

09:57, 21 Сен Не будь жадиной! Психолог Карпачёв назвал 2 главные ошибки в воспитании ребёнка Неумение «делать деньги» родом из детства, когда малыша заставляли делиться игрушками. В детстве родители воспитывают в чаде спокойного и не жадного интеллигента, решающего вопросы полюбовно. В итоге, он вырастает не инициативным и безво...

10:00, 06 Сен Фрезерный кондуктор — это не просто инструмент, а важнейший элемент производственного процесса, обеспечивающий точность, надежность и долговечность мебели Современные технологии деревообработки и мебельного производства позволяют мастерам выполнять сложнейшие операции с высокой точностью. Важнейшую роль в этом процессе играет специальный инструмент, обеспечивающий стабильность, надежность и повторяемо...

16:57, 19 Сен Энтузиасты докопались до причин лагов и статтеров на ноутбуках Asus ROG — виноваты ошибки в BIOS Игровые ноутбуки серии Asus ROG изобилуют ошибками в BIOS, которые приводят к сбоям в работе системы: подтормаживаниям при просмотре YouTube, зависаниям во время звонков Discord, подвисаниям при движении мыши и другим раздражающим явлениям. Таковы р...

15:57, 22 Окт Справки: Как хранить свеклу зимой: частые ошибки и способы в погребе, в холодильнике и в песке Правильно заложенный на хранение урожай свеклы – это возможность готовить любимые блюда всю зиму. Этот корнеплод при грамотном подходе может оставаться свежим, сочным и полным витаминов долгие месяцы. Как избежать распространенных ошибок и какие мет...

06:57, 31 Дек Вот что я больше никогда не буду делать в Петербурге: мои твердые "нет" в этом городе - четно про мои разочарования и ошибки pxhere.com Петербург — город контрастов. Здесь возвышенное соседствует с бытовым, а восторг от архитектуры может вмиг смениться досадой от промаченных ног. Со временем каждый вырабатывает свой набор правил выживания и комфорта. Свой личный кодекс, ч...

04:57, 29 Янв Крушение самолета в Вашингтоне, при котором погибли фигуристы, произошло из-за ошибки авиадиспетчера (Washington Post) Крушение пассажирского самолета в аэропорту Вашингтона в январе 2025 года произошло из-за ошибки диспетчера. Об этом заявила глава Национального совета по безопасности на транспорте США (NTSB) Дженнифер Хоменди. Ее слова приводит Washington Post. Са...

15:12, 14 Окт Фрезерный кондуктор позволяет мастеру исключить вероятность ошибки при сверлении и ускоряет процесс работы Современные технологии деревообработки и мебельного производства позволяют мастерам выполнять сложнейшие операции с высокой точностью. Важнейшую роль в этом процессе играет специальный инструмент, обеспечивающий стабильность, надежность и повторяемо...

23:57, 04 Сен Надежность, проходимость и экономичность в одном «японце»: Почему за 650 тысяч лучше купить б/у Nissan Terrano вместо новой LADA Vesta Японский кроссовер заставил «рыдать» ведущую модель «АвтоВАЗа». Россияне, располагающие бюджетом в 650 000 рублей, обычно думают, что за такие деньги нужно сразу покупать LADA Vesta, так как более стоящих предложений нет. Но ...

21:57, 08 Авг Вот что мешает покраснеть помидорам в августе: агрономы советуют - 3 ошибки, которые совершаю даже бывалые дачники Вот что мешает покраснеть помидорам в августе: агрономы советуют - 3 ошибки, которые совершаю даже бывалые дачники Три мифа о созревании томатов. Ошибки дачников, из-за которых помидоры не краснеют. Советы агрономов. Помидоры налились, но упорно не ...

15:57, 31 Авг Зимой кошек кормить таким кормом запрещено: бывалый ветеринар указал на мои ошибки - кота как подменили Зимой кошек кормить таким кормом запрещено: бывалый ветеринар указал на мои ошибки - кота как подменили Опытным ветеринаром был вынесен суровый вердикт: подход к зимнему кормлению кота признан неверным и едва не приведшим к трагедии. В прошлом году ...

10:57, 26 Сен Японская надежность за доступную цену: Почему стоит покупать Suzuki Grand Vitara второго поколения на «вторичке», несмотря на слабые места Японский кроссовер с пробегом не донимает недостатками, если их вовремя устранять. Большинство россиян всегда мечтали приобрести кроссовер, который мог бы преодолевать препятствия как внедорожник. Многие компании также рассматривали подобные пожелан...

05:57, 17 Фев Козлов о 0:4 от СКА: «Мы допускали ошибки, за которые нас наказали, удалялись. Не наш день, много брака, особенно в движении и контроле шайбы» Главный тренер «Салавата Юлаева» Виктор Козлов подвел итоги матча Фонбет Чемпионата КХЛ против СКА (0:4). У «Салавата Юлаева» прервалась 6-матчевая победная серия. Клуб занимает 5-е место в таблице Востока с 60 баллами в 55 играх. – Не самый лучший ...

05:57, 30 Янв Надежность — синоним Honda? Старенький Honda Accord шестого поколения с пробегом 1 млн километров успешно прошёл 24-часовой тест на выносливость Компания GAC Honda объявила о завершении уникального испытания: Accord шестого поколения успешно прошёл первый в отрасли 24-часовой тест на выносливость для машины, пробег которой составляет 1 млн километров (в GAC Honda уточнили, что фактический пр...

06:57, 25 Авг «Меня арестовали из-за ошибки французской полиции». Спустя год после скандального задержания Дуров вынужден каждые 14 дней возвращаться во Францию Основатель Telegram Павел Дуров напомнил, что года назад его арестовали во Франции и уточнил детали. Год назад французская полиция задержала меня на 4 дня за то, что какие-то люди, о которых я никогда не слышал, использовали Telegram для координации...

03:57, 20 Янв Хартли о нападении «Локомотива»: «Голов недостаточно, это оказывает давление при игре в обороне. В матче с «Торпедо» мы не справились в защите, допустили грубые ошибки» Главный тренер «Локомотива» Боб Хартли поделился мыслями после поражения от «Торпедо» со счетом 1:3. – Третье поражение в четырех матчах с «Торпедо» в этом сезоне. Есть ли что-то общее в этих неудачах? – «Торпедо» – очень организованная команда, хор...

06:57, 08 Фев Кондаков о «Зените» и воспитанниках: «Это сильнейший клуб, цена ошибки большая. Ничья – уже отрицательный результат. У Семака нет возможности ждать, когда мы станем меньше ошибаться» Даниил Кондаков объяснил, почему за « Зенит » играет меньше воспитанников, чем некоторым хотелось бы. – Да, в Санкт-Петербурге все ждут, чтобы в главной команде заиграли свои воспитанники. Поэтому, кстати, к Вадику Шилову было столько симпатий со ст...