조디악 표지판에 대한 보상
변신성 C 유명인

조디악 표시로 호환성을 찾으십시오

분석: Twitter의 크라우드소싱 팩트체킹 실험에서 문제가 드러났습니다.

분석

포인터 분석에 따르면 Birdwatch 사용자의 절반 미만이 출처를 포함하고 많은 사실 확인 메모에 당파적 수사학이 포함되어 있습니다.

2월 14일 버전의 Twitter Birdwatch 알고리즘은 오해의 소지가 있는 정보로 일부 메모를 증폭했습니다.

2월 5일 트위터에 플래그가 지정되었습니다. 논란이 되고 있는 유튜버 팀 풀의 글 2020년 미국 대선이 조작됐다고 주장했다. 플랫폼은 주장이 이의를 제기하고 '폭력의 위험 때문에' 참여를 중단했다고 언급했습니다.

하지만, 에 버드워치 , 소셜 미디어 플랫폼의 크라우드소싱 팩트체킹 실험 , 2월 14일 트위터 데이터 분석에 따르면 사용자들은 트윗이 오해의 소지가 없다고 압도적으로 말했습니다. 그리고 대부분의 Birdwatch 사용자는 이 도구에서 잘못된 주장을 뒷받침하는 이러한 메모가 유용하고 유익하다고 밝혔습니다.

'TIME의 (원문 그대로) 출처에 따르면 Joe Biden에게 유리하게 선거를 흔들기 위해 함께 일한 도당처럼 들리는 그림자 조직에 잘 조직된 비밀 참가자 그룹이 있었습니다.'라고 한 쪽지는 읽습니다. 사용자가 다음 링크를 포함하는 동안 타임지 기사 실제로 '도당' 및 '음모'와 같은 단어를 사용하는 경우, 강력한 그룹이 선거 무결성을 보호하기 위해 배후에서 일하고 있었다는 내용의 맥락이 손실됩니다.

그만큼 조류 관찰 알고리즘 도움이 되는 메모를 표시하는 것을 목표로 하는 이 '팩트 체크'는 0.68의 유용성 점수를 할당했습니다. 이는 트윗의 메모 중 가장 높은 것으로, 현재 알고리즘에서 '유용한 것으로 평가된' 것으로 간주되는 메모의 상위 10%를 제외하고 있습니다. 2월 14일. 이 분석에서 유용한 평가를 받은 메모는 2,695개 중 약 7%를 차지했으며 그 중 2/3 미만이 다른 트윗이 아닌 소스 링크를 포함하고 있습니다.

2월 17일 트위터 알고리즘 변경 풀 트윗의 메모는 더 이상 도움이 되는 것으로 평가되지 않습니다. 게시물 아래에 여전히 나열되어 있습니다. . 이 변경 이전에는 새로운 0.84 컷오프에 비해 도움이 되는 것으로 간주되는 더 낮은 임계값이 0.5에 불과했으며 메모는 도움이 되는 것으로 간주되고 순서에 따라 우선 순위가 지정되고 파란색 메모로 표시되기 위해 실행되는 데 3개의 등급만 필요했습니다.

이제 해당 트윗을 Birdwatch의 새로운 '도움이 됨' 탭 . 그리고 플랫폼 데이터베이스에 있는 거의 2,700개의 메모 중 126개가 새로운 임계값을 충족했습니다. 이는 5% 미만입니다. 새로운 '도움이 되는' 메모의 4분의 3에는 Twitter 외부의 출처가 포함되어 있습니다.

이것은 Birdwatch 모델이 직면한 문제 중 하나를 시의 적절하게 설명합니다. 무작위로 보이는 그룹이 제공하는 알고리즘이 진실을 정확하게 '평가'할 수 있습니까?

1,000명이 약간 넘는 사용자가 있는 파일럿 단계에서 Birdwatch는 참가자가 트윗을 오해의 소지가 있는 것으로 표시하고 출처를 인용하고/또는 오해의 소지가 있는 컨텍스트를 설명하는 메모를 추가할 수 있습니다. 그런 다음 Birdwatch 사용자는 유용성을 기준으로 이러한 메모의 순위를 지정할 수 있습니다(그 이후에는 알고리즘이 인계됨).

결국 모든 트위터 사용자는 표면상 트윗 바로 아래에서 이러한 메모를 볼 수 있게 되지만 현재로서는 다음으로 제한됩니다. 사이트의 특정 섹션 . Birdwatch 사용자는 결국 유용성 알고리즘에 반영될 평판 점수도 구축하게 됩니다.

트위터 제품 부사장 Keith Coleman은 이메일을 통해 'Birdwatch 파일럿을 통한 우리의 목표는 누구나 기여할 수 있고 자연스럽게 사람들이 도움이 되는 정보를 높일 수 있는 시스템을 구축하는 것입니다.'라고 말했습니다. '우리는 누가 기여할 수 있는지에 대한 개방성이 중요하며 다양한 그룹의 의견을 통해 가장 유용한 메모를 높일 수 있다고 믿습니다.'

그러나 현재의 시스템을 살펴보면 사실 확인자들이 Birdwatch에 대해 제기한 문제가 드러났습니다. 사용자의 당파적 동기에 대한 질문입니다.

“소셜 미디어 플랫폼의 양극화된 특성과 플랫폼이 제공하는 이러한 문의에 대한 피드백을 제공하는 것을 주저하는 주류 사용자를 고려할 때 이러한 결과에 놀라지 않습니다. 국제 사실 확인 네트워크(International Fact-Checking Network)의 이사인 Baybars Örsek이 말했습니다.

가장 많은 버드와치 사용자가 작성한 메모의 대부분은 우파를 비판하는 트윗을 '오도하는' 트윗으로 표시하고 좌파를 비판하는 트윗을 '오도하지 않는' 것으로 표시합니다. (예를 들어 사용자가 ' 팀 바이든은 중국에 약하다 ' 상원의원 Ted Cruz와 Pool은 '오해하지 않는다'고 트윗했습니다. 동안 뉴스위크 기사 극우 극단주의자와 GameStop 무용담에 대해 트윗 도널드 트럼프 대통령을 국회 의사당 폭동에 묶는 것은 '오도하는' 및 '유해한' 것으로 표시되었습니다.) 그리고 사용자의 82개 메모 중 1/5 미만에 출처가 포함되어 있으며 그 중 일부는 다른 트윗입니다. (이 Birdwatch 사용자는 인터뷰 요청에 응답하지 않았습니다.)

Coleman은 Birdwatch가 '다양한 기여자'의 메모를 고려하도록 장려할 수 있다고 말했습니다. 또한 평가 시스템은 플랫폼의 주요 동인입니다.

Coleman은 '우리는 이것이 많은 사람들이 가치 있다고 여기는 기여에 대한 보상과 인센티브를 제공할 것이며 특정 그룹이나 이데올로기가 Birdwatch를 인수하는 위험을 해결할 것이라고 믿습니다.'라고 말했습니다. '이것은 파일럿 전반에 걸쳐 우리가 적극적으로 작업할 것입니다.'

그리고 실제로, 2월 17일 변경 이후 가장 도움이 된 것으로 평가된 알고리즘은 단 하루 전의 반복보다 더 확실한 소싱과 덜 당파적인 수사를 보여줍니다. 그러나 사용자가 1,000명이고 메모가 2,700개 미만인 파일럿 프로그램의 알고리즘을 변경하는 것과 모든 사용자가 Birdwatch를 사용할 수 있게 되면 알고리즘을 변경하는 것은 다른 문제입니다. 아마도 가장 많은 파일럿 참가자의 행동을 복제할 수 있습니다.

Coleman은 '현재로서는 가능한 한 많이 배우고 파일럿이 소규모일 때 반복하기 위해 노력하고 있기 때문에 확장에 대한 특정 일정이 없습니다.'라고 말했습니다. '우리는 안전하게 할 수 있고 학습을 개선하는 데 도움이 될 수 있을 때 확장할 계획입니다.'

그래도 Pool 트윗 아래의 메모와 마찬가지로 당파의 예 또는 오해의 소지가 있는 정보 여전히 일반 메모로 표시됩니다.

전체 메모의 10% 이상을 차지하는 가장 활동적인 사용자 5명 중 4명은 가장 많은 활동을 하는 사용자와 비슷한 활동을 합니다. 그들 중 한 명은 제프리 엡스타인의 죽음이 결코 자살로 판명되지 않았다고 주장합니다. 그러나 두 번째로 많은 Birdwatcher는 세계 보건 기구 및 FactCheck.org .

트위터 약력에 따르면 상위 10명의 사용자 중 누구도 전문 팩트 체커나 저널리스트가 아닙니다.

폴리티팩트(PolitiFact)의 앤지 홀런(Angie Holan) 편집장은 이메일에서 “팩트체킹은 정신적으로 힘든 일이라는 점에서 사실 힘든 일이다. “청구를 식별하기 위해 집중하고 정신적 관성을 통해 밀어붙인 다음 이를 폭로하거나 확인하는 방법을 브레인스토밍해야 합니다. 그런 다음 검색을 수행한 다음 결과를 작성해야 합니다. 엄밀히 말하면 해변에 있는 날이 아니다. 그리고 팩트 체커가 당파적 동기를 가지고 있다면 철저하고 공평한 노력을 훨씬 더 어렵게 만듭니다.”

문제에도 불구하고 Birdwatch는 기존 팩트 체커가 피해 가능성으로 인해 확인하지 않거나 확인하지 않기로 선택할 수 있는 잘못된 정보를 표시합니다. 이는 디지털 잘못된 정보의 일부 격차를 메우는 데 도움이 될 수 있습니다. 시 게임 스톱 사가 , 해당 회사의 주식에 대한 잘못된 정보가 플랫폼 전반에 빠르게 퍼졌습니다.

스놉 그리고 폴리티팩트 GameStop에 관한 클레임을 평가하지 않았지만, 평가된 리드 스토리 하나의 Reddit 게시물. 그러나 Birdwatch에서 가장 높은 평가를 받은 메모(1.00의 유용성 점수)는 주식에 대한 대화가 진행되고 있던 Reddit에 대한 잘못된 트윗을 표시했습니다. Reddit, GameStop 및 Robinhood 투자 앱에 대한 약 50개의 메모가 있었으며 이 달 초에 많은 거래가 이루어졌습니다.

그리고 Birdwatch 사용자는 버지니아 상원의원 Amanda Chase에 속한다고 주장하는 계정을 가짜로 올바르게 표시했습니다. 트윗 , '... 버지니아에는 마약 문제가 있으며 마리화나를 합법화하면 마리화나 과다복용과 사망이 더 많아질 것입니다 ...'

크라우드소싱은 잘못된 정보를 감지하여 전문 팩트 체커의 삶을 더 쉽게 만들 수 있다고 Örsek은 말했습니다.

Coleman은 Twitter가 이러한 분석을 가능하게 하는 투명성을 유지하고 플랫폼의 미래에 대한 전문가의 의견을 반영하기 위해 최선을 다하고 있다고 말했습니다.

“임베디드 팀 구성원과 함께 일하면서 시카고 대학교 RISC 센터 , 기자 및 연구원과의 피드백 세션을 주최하기 위해 우리는 Twitter를 넘어 존재하는 방대한 양의 전문 지식과 지식을 활용하기 위해 노력하고 있습니다.'라고 그는 말했습니다.

Holan과 Örsek은 Birdwatch 사용자를 위한 인센티브와 교육을 권장하고, 높은 순위의 메모를 확인하기 위해 전문 팩트체커를 고용할 것을 권장합니다.

'그러나 나는 사용자가 무료로 콘텐츠를 조정한다고 믿는 기술 회사에 대해 꽤 회의적입니다.'라고 Holan이 말했습니다. '대부분의 사용자는 플랫폼이 자체 비즈니스를 운영하도록 돕는 것을 자신의 일로 생각하지 않습니다.'