PolitiFact는 편향되어 있습니까? 이 콘텐츠 분석은 아니오라고 말합니다

라는 비판이다. 폴리티팩트 오랫동안 듣는 것에 익숙해졌습니다.

'PolitiFact는 많은 선택 편향에 관여하고 있습니다.'라고 Weekly Standard는 2011년에 쓴 . ''팩트 체커'는 우익 정치인과 전문가를 압도적으로 노린다' 2017년 4월 헤드라인 '자유 매체 편견'을 폭로하고 퇴치하는 것을 목표로 하는 사이트인 NewsBusters의 기사입니다. 전체 블로그도 있습니다 PolitiFact가 편향된 방식을 보여주는 데 전념합니다.

Pointer가 소유한 사실 확인 프로젝트는 이러한 비난을 부인했으며, 방법론 그리고 자금 조달 (또한 국제 사실 확인 네트워크의 회원 자격도 포함) 정치적 설득력이 없다는 증거입니다. 그리고 이제 PolitiFact는 이를 뒷받침하는 학문적 연구를 진행하고 있습니다.

보고서, 연구자들이 발표한 3월에 워싱턴 대학과 카네기 멜론 대학에서 PolitiFact가 민주당원과 공화당원에 대해 발표한 언어를 분석하여 조직이 양당의 연사를 어떻게 구성했는지 확인했습니다. 여기에는 PolitiFact가 문제를 구성하는 방식과 미디어 전반에 걸친 방식을 비교하는 외부 분석도 포함됩니다.

폴리티팩트가 처음 포인터에게 보낸 보고서는 2007년으로 거슬러 올라가는 약 10,000개의 기사에 대한 자동화된 텍스트 분석을 사용했으며 대부분이 2010년에서 2017년 사이였습니다. 정당별로 나누어 보면 공화당에 대한 기사가 민주당원보다 약 1.4배 많습니다. 버락 오바마 전 대통령은 약 600개의 기사로 표본에서 가장 많이 다루어진 연사였습니다.

'True'에서 'Pants on Fire!'에 이르는 PolitiFact의 6점 척도를 고려하면 평점 분포가 상당히 고르게 분포되어 있습니다. 정당별로 나누어 팩트체킹 프로젝트는 일반적으로 각 그룹에 대해 게시된 기사 수의 차이를 조정할 때 민주당원에 더 많은 참 등급을 할당하고 공화당에 더 많은 거짓 등급을 할당합니다.

(스크린샷)

보고서에 따르면 특정 정치인의 경우 오바마에 대해 가장 일반적으로 사용되는 평가는 '대부분 참'이고 도널드 트럼프는 '거짓'이다. 그러나 각 기사의 상위 주제 태그로 더 세분화하면 PolitiFact의 적용 범위가 상대적으로 균형 잡힌 것처럼 보입니다.

(스크린샷)

PolitiFact에서 가장 많이 다루는 3가지 주제는 경제, 의료 및 세금입니다. 이 모든 주제는 공화당과 민주당 연사 사이에 고르게 분배되어 있습니다. 보고서에 따르면 이민 및 총기류와 같은 특이 사항은 PolitiFact가 프레임을 지정하는 방식보다 각 당사자가 해당 문제에 대해 얼마나 많이 이야기하는지와 더 관련이 있을 수 있습니다.

“주제 내 분할은 전체 당사자 간의 분할과 유사합니다.”라고 읽습니다. '따라서 우리는 두 당사자 사이에서 발견한 언어의 차이가 기사의 내용에 강하게 기반할 것이라고 기대하지 않습니다.'

그래서 연구원들은 공화당이나 민주당에 관한 이야기를 가장 정확하게 예측할 가능성이 가장 높은 단어로 각 기사를 더 세분화했습니다. 이를 위해 통계 기법과 자연어 처리 모델을 사용하여 작가가 작성하지 않은 인용문이나 기타 텍스트를 제거했습니다.

보고서의 이전 분석을 감안할 때, 그들이 발견한 것은 상당히 놀라운 것이 아닙니다. 공화당에 관한 기사는 '공화당' 및 '거짓'과 같은 단어와 연관되어 있는 반면 민주당원에 대한 기사는 '민주당' 및 '진실'과 연관되어 있습니다.

(스크린샷)

연구자들이 어느 정당과 분명히 관련이 있는 단어를 제거했을 때 민주당 연사에 대한 이야기는 일반적으로 '도움' 및 '생각'과 같은 단어로 예측되는 반면 공화당에 대한 이야기는 '폭스' 및 '따라서'로 예측된다는 것을 발견했습니다.

(스크린샷)

그렇다면 이것이 PolitiFact의 주장된 편견에 대해 무엇을 말합니까? 연구원에 따르면 많지 않습니다.

'우리 분석의 이 부분은 편견이나 차별적 대우의 징후를 보여주는 방식으로 각 당사자의 개인을 설명하는 데 사용되는 언어에서 명백한 차이점을 발견하지 못했습니다.'라고 그들은 적었습니다.

외부 분석에서 연구원들은 다른 결론에 도달하지 못했습니다. 그들은 긍정 및 부정 용어의 사전 정의된 목록을 기반으로 감정 분류를 실행했으며 PolitiFact가 평균적으로 더 긴 경향이 있는 공화당원에 대해 더 많은 부정 및 긍정 단어를 모두 사용한다는 것을 발견했습니다.

(스크린샷)

'이 간단한 분석에서 우리는 민주당원과 공화당원의 PolitiFact 분석 사이에 전달되는 감정의 차이가 있다면 미묘하게 또는 영역별 방식으로 표현된다는 결론을 내립니다.'라고 보고서는 읽습니다.

몇 가지 제한 사항이 있습니다. 공화당과 민주당에 대한 기사의 불균형 때문에 텍스트 분류는 단어 세트에서 정당을 58%의 정확도로만 예측할 수 있었습니다. 연구원들은 또한 PolitiFact의 콘텐츠에 대해 보다 심층적인 감정 분석을 실행하지 않았습니다. 부분적으로는 높은 비용과 부분적으로는 인간 애노테이터가 팩트 체크 등급에 주관적으로 반응할 가능성이 있기 때문입니다.

그러나 PolitiFact는 보고서의 내용에 대해 기분이 좋습니다.

“그것은 우리가 행동하고 스스로를 수행하려는 방법을 확실히 강화합니다. 물론 위험 신호가 없는 것을 기쁘게 생각합니다.”라고 전무 이사인 Aaron Sharockman이 메시지에서 말했습니다. “그러나 많은 연구를 면밀히 조사한 사실 확인자로서 우리는 이 연구에 가치보다 더 많은 비중을 두어서도 안 됩니다. 이것은 우리가 사실 확인을 작성하는 데 사용하는 언어와 단어를 한 번 살펴보는 것입니다.”

'우리는 모든 청중을 위해 우리의 신뢰성을 향상시키는 방법에 대한 생각을 멈출 수 없습니다.'

보고서는 일부 $50,000 교부금 Knight Foundation은 팩트체킹에 대한 신뢰를 높이고 회의적인 청중에게 다가가기 위해 지난 6월 PolitiFact에 수여했습니다. 지난 가을, 팩트체킹 조직의 구성원들은 보수 유권자가 지배하는 3개 주를 여행하고 포럼, 일대일 회의 및 커뮤니티 행사를 개최하여 질문에 답하고 답했습니다. PolitiFact는 또한 두 명의 전직 정치인(각 정당에서 한 명)을 고용하여 작업을 비판했습니다.

이러한 노력은 부분적으로 영감을 받았습니다. Rasmussen 리포터 설문조사 트럼프 지지자의 88%가 미디어 팩트체킹을 신뢰하지 않는 것으로 나타났습니다. 그리고 PolitiFact의 언어 분석은 이러한 발견에 대한 좋은 반박처럼 보입니다.

'우리의 분석은 PolitiFact의 기사에서 민주당원과 공화당원에 대한 대우에서 체계적인 차이점을 발견할 수 없었습니다.'라고 연구 결론이 나와 있습니다.

그러나 보고서의 공동 저자 중 한 명인 Noah Smith는 Pointer에게 보낸 후속 이메일에서 결과에 경고를 추가했습니다.

'찾을 것이 전혀 없거나 우리 도구가 거기에 있는 것을 찾을 만큼 강력하지 않기 때문일 수 있습니다.'라고 그는 말했습니다.