Numerai

Numerai Tournament
What
데이터 과학자들이 새로운 데이터에 대한 자신의 예측모델 성능에 대한 자신감 정도를 표현할 수 있게 하여 최적의 입찰을 이끌어낸다.

뉴머라이는 인공지능이 펀드를 운영하는 방식으로 이뤄지며, 인간이 모델(엔진)을 마들고 이에 기반하여 투자를 진행한다.

뉴머라이에서 사용하는 투자 모델은 21가지 수치 값을 통해 1과 0의 결과를 예측한다.

다양한 회사들에 대하여 21개의 투자 지표를 모으고, 그 지표를 분석하여 구매 여부를 결정한다. 여기서 구매하면 1을, 구매하지 않으면 0을
선택한다.

데이터 과학자들은 새로운 암호화폐인 뉴머레어를 사용하여 자신들의 예측에 대해 배탱함으로 신규 토너먼트에 참여할 수 있다.

좋은 인공지능을 만들어서 뉴머라이 네트워크에 올리면 돈을 준다. 그리고 이 인공지능에 투자하면 기본금에 이익금을 더해서 준다.

샤용자는 뉴머라이 토큰을 걸고 결과를 예측한다. 이 예측이 맞은 자신이 건 토큰을 포함해 보상을 받고, 반대로 틀리면 베팅한 토큰을 모두
잃게 된다.
How
먼저 데이터 과학자들이 뉴머라이의 데이터를 바탕으로 예측 모델을 만들면 뉴머라이 측이 이 모델을 구매하여 외부에 공개하며, 예측 시장에
참여한 금융 기관과 헤지펀드들에게 해당 모델을 확인하게끔 한 뒤 가장 정확해 보이는 예측에 돈을 거는 식으로 운영한다.

경매는 (ｃ,ｓ)의 형태를 갖는데 여기서 ｃ는 데이터 과학자가 1달러를 확득하기 위해 거는 뉴머라이 토큰의 양으로 자신이 한 예측에 대한 자신감
(confidence)의 정도를 나타낸다. 또한 ｓ는 베팅하는 뉴머라이 토큰의 양(stake)를 나타낸다.

성능을 평가하는 기준은 이원 분류 문제에 적합한 로그 손실(logloss) 을 사용한다. 로그 손실이 ―ln(0.5)보다 작으면 예측 성능이 좋은 것이며
―ln(0.5)보다 높으면 예측 성능이 나쁜 것으로 평가한다. 데이터 과학자들은 자신감 ｃ가 높은 순으로 내림차순 정렬하여 순위를 매긴다. 이
순위에 따라 데이터 과학자의 예측 성능이 좋은 경우 ｓ/ｃ를 보상을 받으며 성능이 나쁘면 베팅했던 ｓ를 잃게 된다. 이 과정은 정해진 상금이
고갈될 때까지 계속해서 진행 된다.
경매 방식
총 상금이 3,000달러이며 시간 t가 지났다고 가정하고, 다음과 같은 베팅 결과가 나왔다고 생각해보자.

WSX는 Logloss < - In(0.5)를 달성하지 못했으므로 그가 걸었던 1만 뉴머라이는 소멸된다. 그러나 XIRAX는 500 달러의 보상과 함께 베팅하는
데 사용한 뉴머라이 토큰을 돌려 받는다. PHIL_CULLITON은 2천 달러를 받고 뉴머라이 토큰을 돌려 받는다. 또한 DAENRIS의 뉴머라이
토큰은 없어진다. ABRIOSI는 상금 고갈로 인해 베팅했던 600 달러보다 적은 500 달러를 돌려받게 된다. ABRIOSI 아래의 모든 참가자들은
자신의 뉴머라이 토큰을 돌려 받고 보상은 받지 않게 된다.
참가방법
● 뉴머라이 홈페이지에 가입한다.

● 데이터 세팅을 다운 받는다.

● example_model.py 혹은 example_model.r 을 참고하여 예측값을 만든다.

● 예측값(prediction.csv)을 업로드한다. 업로드하고 기다리면 화면 좌측 상단의 Performance에 모델의 결과값이 나온다.