Валидация и верификация

Коллеги
стандарт как раз говорит несколько другое валидация процессов производится тогда когда не провести верификацию продукции...
см...
п.7.5.2 валидация процессов -
п.7.1 верификация и валидация продукции
п.7.3.6 верификация проектирования и разработки
п.7.3.7 валидация проектирования и разработки
п.7.4.3 верификация закупленной продукци

Коллеги вопрос звучал так:

Daria писал(а):

Так в чем же все-таки различие между валидацией и верификацией? Что-то я совсем запуталась

А мы скоро подеремся доказывая что "валидация процессов производится тогда когда не провести верификацию продукции... "

Целиком согласен с Г.Жуковым! Все именно так: некоторые процессы нужно валидировать, доказывая их стабильность и возможность достигать запланированных результатов. Это нужно, т.к. контроль готовой продукции - выборочный, и всегда есть риск "пропуска" потребителю несоответствующей продукции. 7.5.2 ИСО 9001 именно об этом и говорит!
Скоро еду сдавать экзамен по ISTO, там и попробую найти истинную правду Smile

Доброго всем времени суток!
Уважаемая Daria, попытаюсь конкретно ответить на Ваш вопрос. Сразу предупреждаю - я предлагаю упрощенную модель, в реальных ситуациях неизбежны отличия! Но, для предварительного понимания, считаю что можно принять следующее:
1) верификация - это проверки любых видов (испытания, исследования, тестирование, рецензирование и прочее и прочее...);
2) валидация - это решение (утверждение, подтверждение и т.д.); то есть - никто ничего не проверяет, а основываясь на каких-то ранее полученных данных принимает решение о пригодности к использованию (продукции или процесса - не имеет значения);
3) валидация обычно делается на основе результатов верификации;
4) в некоторых случаях, когда исследуемый объект невозможно верифицировать, используется только валидация (классический пример - резолюция С.П. Королева "Считать поверхность Луны твердой").

В качестве иллюстрации конкретный пример из моей любимой области производства ПО Smile

:
В качестве деятельности по верификации мы рассматриваем все проверки, которым подвергается ПО и документация (тестирование, автонономные, комплексные и приемо-сдаточные испытания).
Под валидацией мы понимаем две вещи:
1) разрешение соответствующего руководителя организации-разработчика (санкция) на поставку продукции Заказчику;
2) акт приемки ПО, подписанный Заказчиком и удостоверяющий, что продукция соответствует его требованиям.

То есть, верификация - это ПРОВЕРКИ, а валидация - это РЕШЕНИЕ.
Ну, вкратце вот так. Послушаем мнение уважаемых коллег.

kalipsa писал(а):

Что касается проектной документации, то я могу сказать следующее
ВАЛИДАЦИЯ – это указание в проектно-сметной документации на те проектные решения, качество которых должно быть проверено в процессе строительства или эксплуатации объекта, а также контроль правильности проверки
! Если ВАЛИДАЦИЯ не требуется, то запись в проектных материалах рекомендуется следующая:
"Все проектные решения работоспособны в реальных условиях строительства и эксплуатации объекта"
Валидация
СНиП 12-01-2004 "Организация строительства" (п. 4.4) дает следующее значение ВАЛИДАЦИИ:
"…Это программы необходимых исследований, испытаний и режимных наблюдений, включая организацию станций, полигонов, измерительных постов и т.п."

В "Федеральном законе о техническом регулировании" от 27.12.2002 № 184-ФЗ дается следующее представление о ВАЛИДАЦИИ;
"Это перечень работ и конструкций, показатели качества которых влияют на безопасность объекта и в процессе строительства подлежат оценке соответствия требованиям нормативных документов и стандартов, являющихся доказательной базой соблюдения требований технических регламентов"
Испытания также могут рассматриваться как часть валидации
Испытательный центр строительных материалов и продукции строительства - ИЦ «ЦНИИС-ТЕСТ», Испытательный центр охраны труда - «ИЦОТ-ЦНИИС», Испытательный центр конструкций и узлов устройств электроснабжения железнодорожного транспорта - «ЦНИИС-ЭлЖТ
Анализ, проверка, валидация

Анализ – в отдельных случаях может НЕ БЫТЬ (простые проекты)
Проверка – должна быть ВСЕГДА
Валидация – в отдельных случаях МОЖЕТ НЕ БЫТЬ (когда применяются старые, многократно проверенные проектные решения)
Утверждение
Разрешение к применению, т.е. санкционирование отправки проектной документации заказчику.

Validation - можно превести так же как и утверждение от слова Valid - действительный (см. загранпаспорт).
А вообще, например в германии воппос валидации решают так: на проектной документации на титульном листе ставят красный маленький штампик Valid.
но вообще разные консультанты дают разные уточнения определения валидации, так что надо находить нечто среднее

2 kalipsa
ВАЛИДАЦИЯ в строительном проектировании п. 7.3.6
ВАЛИДАЦИЯ в строительстве п.7.1, 7.4.2 стандарта

СНиП 12-1-2004 писал(а):

4.4 Проект организации строительства с целью обеспечения соблюдения обязательных требований по безопасности обычно содержит:
- мероприятия по обеспечению в процессе строительства прочности и устойчивости возводимых и существующих зданий и сооружений;
- для сложных и уникальных объектов - программы необходимых исследований, испытаний и режимных наблюдений, включая рганизацию станций, полигонов, измерительных постов и т.п.;
- решения по организации транспорта, водоснабжения, канализации, энергоснабжения, связи, решения по возведению конструкций, осуществлению строительства в сложных природно-климатических условиях, а также стесненных условиях;
- мероприятия по временному ограничению движения транспорта, изменению маршрутов транспорта;
- ситуационный план строительства с расположением мест примыкания к железнодорожным путям, речных и морских причалов, временных поселений и т.п.;
- порядок и условия использования и восстановления территорий, расположенных вне земельного участка, принадлежащего застройщику (заказчику), в соответствии с установленными сервитутами;
- календарный план строительства с учетом сроков действия сервитутов на временное использование чужих территорий;
- перечень работ и конструкций, показатели качества которых влияют на безопасность объекта и в процессе строительства подлежат оценке соответствия требованиям нормативных документов и стандартов, являющихся доказательной базой соблюдения требований технических регламентов [3];
- сроки выполнения незавершенных (сезонных) работ, порядок их приемки;
- методы и средства выполнения контроля и испытаний (в том числе путем ссылок на соответствующие нормативные документы).

ИМХО то что предлагаете -- это можно отнести к возможным меропритяиям по планированию ВАЛИДАЦИИ строительства на стадии его проектирования...

Существенно следующее "Проект организации строительства" (ПОС) не являвтеся результатом проектирования и разработки с точки
зрения стандарта 9001 -- это документ уровня планирования организации строительного производства. да он входит в в комплект проектно-сметной документации, но под раздел 7.3 не попадает т.к. не связан определением требований к объекту стргоительства.

Существенно отличие валидации в проектировании и разработке и валидаци продукции особенно в строительстве...

необходимость утверждения проектно-сметной документации определябется стадийностью проектирования и требованиями ст.49 Градостроительного кодекса...

ВАЛИДАЦИЯ в строительстве -- в общем случап приемка законченного строительством обекта, которое включет в себя и утверждение проектно-сметной документации, надзор технический и авторский, ВАЛИДАЦИЮ закупленной продукци и ВАЛИДАЦИЮ скрытых работ и т.д.и.т.п.

ИМХО ВАЛИДАЦИЯ в строительном проектирование -- утверждение проектно-сметной документации органами госэкспертизы как пригодной для строительства, так и пригодной в качестве типового проекта.

Цитата:

ВАЛИДАЦИЯ в строительном проектирование -- утверждение проектно-сметной документации органами госэкспертизы как пригодной для строительства, так и пригодной в качестве типового проекта.

экспертиза проверяет проект на соответствие заданию на проектировани, ТУ, нормам и.т.д, а так как это входные данные, то экспертиза проводит проверку с целью удостовериться что выходные данные соответствуют входным, а это значит... ВЕРИФИКАЦИЯ

kalipsa писал(а):

Цитата:

ВАЛИДАЦИЯ в строительном проектирование -- утверждение проектно-сметной документации органами госэкспертизы как пригодной для строительства, так и пригодной в качестве типового проекта.

экспертиза проверяет проект на соответствие заданию на проектировани, ТУ, нормам и.т.д, а так как это входные данные, то экспертиза проводит проверку с целью удостовериться что выходные данные соответствуют входным, а это значит... ВЕРИФИКАЦИЯ

экспериза провдится с несколько иной целью...

Градостроительный кодекс РФ Ст.49.п.5 писал(а):

Предметом государственной экспертизы являются оценка соответствия проектной документации требованиям технических регламентов, в том числе санитарно-эпидемиологическим, экологическим требованиям, требованиям государственной охраны объектов культурного наследия, требованиям пожарной, промышленной, ядерной, радиационной и иной безопасности, а также результатам инженерных изысканий, и оценка соответствия результатов инженерных изысканий требованиям технических регламентов.

Заключеине экспертизы

РДС 11-201-95 писал(а):

Общие выводы о целесообразности строительства объекта и условиях его реализации.

С учетом оценки качества проекта строительства в целом и внесенных в процессе экспертизы изменений и дополнений, проект рекомендуется к утверждению (приводятся рекомендуемые к утверждению технико-экономические показатели, состав которых определяется в зависимости от функционального назначения объекта), отклоняется или возвращается на доработку.

и ISO и IAF.Группа Аудиторской Практики по ISO 9001. Руководящие указания: Аудит процесса проектирования и разработки

AGP Design&Development писал(а):

Другой пример трудной ситуации - это когда утверждение проектирования проводится клиентом или какой-либо другой внешней организацией (например, для подтверждения архитектурного проектирования).

мы о каком пункте говорим, о 7.3.6?

kalipsa писал(а):

мы о каком пункте говорим, о 7.3.6?

последний пост о нем
кстати, если считать, что экспертиза верифицирует проект, то тогда валидирует проект его заказчик (инвестор) визой "в строительство"

Alex9994 писал(а):

кстати, если считать, что экспертиза верифицирует проект, то тогда валидирует проект его заказчик (инвестор) визой "в строительство"

Попытаюсь подтвердить это примером. Скажем, заказчик поручил разработку проекта хижины из пальмовых листьев. Задача валидации - убедиться, что эта хижина годится для житья на Багамах, а отнюдь не на Чукотке. Но это может сделать не только заказчик... Иначе не включали бы это требование в стандарт.
Потом, здесь в некоторых сообщениях были ссылки на п. 7.5.2, касающийся валидации результатов ПРОЦЕССОВ ПРОИЗВОДСТВА. Наверное, это несколько иное, чем валидация проектирования и разработки. Примерами таких процессов могут быть все процессы обучения, сварочные технологии, когда требуется аттестация и самой технологии, и сварщиков, которые будут по ней работать (в особенности в тех случаях, когда единственный метод контроля - разрушающий Smile

)

а мы не о проекте говорим, а о некоторых проектных решениях, требующих валидации. ну например сваи (классический пример) тут валидация ВСЕГДА нужна. а заключается она в том что производится пробная забивка савай, по результатам которой данные в проектной документации корректируются, или высотные здания например, их конструкции тоже должны быть валидированы, например испытаны в аэродинамической трубе( правда говорят, что условия не соответствуют реальным, но это уже другой вопрос) к тому же в определнии валидации говорится
ИСО 9000 3.8.5 Валидация: Подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения выполнены.
а далее примечания: условия могут быть реальными или смоделированными.
таким образом возникает вопрос: как экспертные органы будут моделировать ситуацию?

Цитата:

Попытаюсь подтвердить это примером. Скажем, заказчик поручил разработку проекта хижины из пальмовых листьев. Задача валидации - убедиться, что эта хижина годится для житья на Багамах, а отнюдь не на Чукотке. Но это может сделать не только заказчик... Иначе не включали бы это требование в стандарт.

лабортория поможет смоделировать условия, или заказчик смотается на Багамы и построит вариант в миниатюре.
короче гооря, если заказчик поставил подпись на проекте, это еще не значит, что проектные решения работоспособны в конкретныхусловиях. хотя в принципе это может быть частью валидации

kalipsa писал(а):

а мы не о проекте говорим, а о некоторых проектных решениях, требующих валидации. ну например сваи (классический пример) тут валидация ВСЕГДА нужна. а заключается она в том что производится пробная забивка савай, по результатам которой данные в проектной документации корректируются, или высотные здания например, их конструкции тоже должны быть валидированы, например испытаны в аэродинамической трубе( правда говорят, что условия не соответствуют реальным, но это уже другой вопрос) к тому же в определнии валидации говорится
ИСО 9000 3.8.5 Валидация: Подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения выполнены.
а далее примечания: условия могут быть реальными или смоделированными.
таким образом возникает вопрос: как экспертные органы будут моделировать ситуацию?

даваете не смешивать валидация проекного решения и валидацию процесса.
то чтоы приводие в качестве привера относится в анализу и проверке проектирования и разработки... тименно здесь производится и валидация конекрентных проектных решений.
см. все теже руководящие указания по аудиту проектирования и разработки, кстати их автор -- автор стандарта ISO 9001.

Цитата:

5. Аудит процесса проектирования и разработки и анализа проекта.

Аудиторы должны подтвердить тот факт, что контроль над общим процессом проектирования и разработки осуществляется в соответствии с рассматриваемым первоначальным планом организации, и что на соответствующих панируемых стадиях проводятся оценки проекта.

При рассмотрении процесса анализа аудиторам следует учитывать следующие моменты:

- проводится ли анализ на планируемых стадиях в течение процесса проектирования?
- Проводится ли анализ систематически с участием представителей заинтересованных служб по этапу (этапам)?
- Приняты ли во внимание все первоначальные и новые входные данные?
- Действительны ли еще первоначальные результаты или они были пересмотрены?
- Был ли поведен анализ пересмотренных и исправленных входных и выходных данных и утверждены ли они ответственными и уполномоченными лицами (так же и потребителем, где это целесообразно)
- Достигаются ли соответствующие цели проекта?
- Ведутся ли подробные записи анализа?

7. Аудит проверки проектирования и разработки.

Цель проверки проектирования и разработки – обеспечить соответствие выходных данных проектирования и разработки требованиям соотвествующих входных данных, как показано на рисунке 2.

Проверка может включать в себя следующую деятельность:

- выполнение альтернативных расчетов;
- сравнение спецификации нового проекта со спецификацией аналогичного испытанного проекта;
- выполнение демонстраций, включая прототипы, симуляции или тесты; и
- анализ документов до их выпуска.

Относительно деятельности по проверке проектирования и разработки аудиторы должны определить следующее:

- требуемые проверки были спланированы, проверка проводилась соответствующим образом в течение процесса проектирования и разработки;
- Завершенные проектирование или разработка приемлемы, их результаты согласуются с первоначальными требованиями и вытекают из них.
- Завершенный проект или разработка являются результатом надлежащей последовательности событий, входных и выходных данных, взаимодействий, логики выполнения, распределения по времени, и т.д.;
- Проектирование или разработка обеспечивает безопасность, надежность и соответствие другим требованиям и входным данным проектирования;
- Есть наглядное доказательство того, что результаты проверки и любые другие действия после их выполнения были задокументированы и подтверждены.

Аудиторы должны определить, что только проверенные выходные данные проектирования и разработки были переданы на следующую стадию, где это целесообразно.

8. Аудит утверждения проектирования и разработки.

Утверждение проектирования и разработки - это подтверждение в результате проверки и предоставление доказательств выполнения определенных требования согласно применения по назначению. Другими словами, может ли процесс утверждения проверить соответствие или не соответствие конечного продукта и/или обслуживания потребностям клиента во время его применения?

Методы утверждения должны определяться как часть процесса планирования проектирования и разработки, хотя они могут быть изменены во время реализации проектирования и разработки.

Для многих продуктов и/или видов обслуживания утверждение является относительно простым процессом. Примером может служить новый дизайн офисной мебели, которая может быть утверждена при помощи тестирования прототипов, с последующим тестированием исходных образцов конечного продукта.

Однако во многих других ситуациях утверждение проектирования может быть более сложным. Например, может потребоваться соответствие продуктов или компонентов, используемых в электрических или электронных системах, с требованиями к рабочим характеристикам, установленными организациями с другой системой проектирования. В такой ситуации утверждение проекта может быть завершено только путем получения информации о рабочих характеристиках продуктов или компонентов (предпочтительно в виде официальных результатов тестов) от организаций с такой системой проектирования или при помощи пользователей таких продуктов или компонентов.

Другой пример трудной ситуации - это когда утверждение проектирования проводится клиентом или какой-либо другой внешней организацией (например, для подтверждения архитектурного проектирования).

В таких сложных ситуациях организации придется искать договоренности с соответствующими внешними сторонами по способу проведения утверждения проектирования и доведения до них результатов. В такой ситуации для завершения утверждения проектирования в планирование проектирования и разработки необходимо включить снабжение.

Аудиторы должны обеспечить следующее:

• наличие подтверждающих записей о проведении утверждения
• утверждение проводилось в соответствии с планируемыми мероприятиями по утверждению;
• утверждение свидетельствует о том, что конечный продукт способен отвечать требованиям спецификации;
• где это применимо, утверждение проводилось до поставки или внедрения; и что
• есть записи каждого действия, необходимого для корректировки несоответствий с входными данными проектирования и разработки, а также причины подобных изменений.
В случаях, когда утверждение невозможно провести до осуществления поставки или внедрения, аудиторы должны принять меры к тому, чтобы оно было проведено при первой возможности, например, при вводе в эксплуатацию комплексного завода или фабрики, и довести это до сведения клиента. Аудиторы должны определить тот факт, что потребителю в пользование были предоставлены только утвержденные выходные данные проекта и разработки.

я говорю ТОЛЬКО о валидации проекта и разработки пункт 7.3.6, если вы могли заметить и ничего я не путаю. мои выводы подкреплены реальной практикой

--------------------------------------------------------------------------------

kalipsa писал(а):

я говорю ТОЛЬКО о валидации проекта и разработки пункт 7.3.6, если вы могли заметить и ничего я не путаю. мои выводы подкреплены реальной практикой

kalipsa писал(а):

а мы не о проекте говорим, а о некоторых проектных решениях, требующих валидации...

kalipsa писал(а):

Что касается проектной документации, то я могу сказать следующее
ВАЛИДАЦИЯ – это указание в проектно-сметной документации на те проектные решения, качество которых должно быть проверено в процессе строительства или эксплуатации объекта, а также контроль правильности проверки
! Если ВАЛИДАЦИЯ не требуется, то запись в проектных материалах рекомендуется следующая:
"Все проектные решения работоспособны в реальных условиях строительства и эксплуатации объекта"
...

2 kalipsa
извините, но ИМХО проектно-сметная документация тем более проектное решение не тождественны проекту
вынужден несколько повториться

kalipsa писал(а):

ВАЛИДАЦИЯ – это указание в проектно-сметной документации на те проектные решения, качество которых должно быть проверено в процессе строительства или эксплуатации объекта, а также контроль правильности проверки
! Если ВАЛИДАЦИЯ не требуется, то запись в проектных материалах рекомендуется следующая:
"Все проектные решения работоспособны в реальных условиях строительства и эксплуатации объекта"

ИМХО данная запись скорее является реализацией требований п. 7.3.3 с) и d) и к п.7.3.6 отношения не имеет…т.к. ничего не подтверждает…
ИМХО ВАЛИДАЦИЯ (по определению) должна что-то «подтверждать», или «утверждать» и т.п.

Alex9994 писал(а):

см. все теже руководящие указания по аудиту проектирования и разработки...

А ссылочку на сей полезный документ получить можно?

тогда, уважаемый Alex9994, приведите пример валидации проектирования и разработки (кроме экспертизы)

kiav писал(а):

Alex9994 писал(а):

см. все теже руководящие указания по аудиту проектирования и разработки...

А ссылочку на сей полезный документ получить можно?

в числе других указний по аудиту
http://isotc.iso.org/livelink/livelink/ ... ;sort=name

kiav писал(а):

Alex9994 писал(а):

см. все теже руководящие указания по аудиту проектирования и разработки...

А ссылочку на сей полезный документ получить можно?

пробуйте смотреть здесь РДС-11-201-95, снип 11-01-95, сп 11-111-99, временное положение об оценке технического уровня и качества проектов..., Порядок разработки, согласования и утверждения проектной документации для дорожных работ, финансируемых из федерального дорожного фонда и др.

kalipsa писал(а):

тогда, уважаемый Alex9994, приведите пример валидации проектирования и разработки (кроме экспертизы)

в строительном проктировании -- утверждение инвестором соответсвтующей стадии для последующей (ТЭО для ПРОЕКТ, ПРОЕКТ для РАБОЧИЙ ПРОЕКТ)
ув любом случае ВАЛИДАЦИЯ идет после всех ВЕРИФИКАЦИЙ....
и тут очень важно, что являтся продукцией в проектной организации...