알고리즘을 설계 하는 과정에서 생길 수 있는 편향을 말한다. 문화적,개인적인 편향이 변수나 가중치 설정의 반영 되는 경우, 데이터를 잘못 라벨링 하는 경우, 목표하는 관련성이 없거나 적은 변수를 포함하거나 높은 가중치를부여 했을 경우, 가나다 순서, 알파벳 순서대로 결과를 나열 하는 경우 등에서 편향이 발생할 수 있다. 예를 들어 컴퍼스가 흑인이나 빈민촌 거주자들의 재범률을 더 높게 판정 된다고 조사 되었는데 성격, 가족, 대인관계, 생활 양식 등에 대한 정보를 사용하는 점이 밝혀졌다. 데이터의 수집, 처리, 분석, 사용 과정에서 개발자, 인공지능 서비스를 운영,관리 하는 기업, 사용자의 윤리의식이 중요하다. 주요 원칙을 공개하고 실제로 작동을 하였을 경우를 다양한 시뮬레이션으로 제시해 사용자들도 확인할 수 있는 권리를 보장 해야 한다