Data Driven Knowledgebase

AI技術の発展が目覚ましい近年、精度分析コンペティションは、自身のスキルを試す場として注目を集めています。

従来は、高度な専門知識やプログラミングスキルが必要とされていたAIコンペティションですが、近年はChatGPTのような大規模言語モデルの登場により、誰でも手軽に挑戦できる環境が整いつつあります。

今回、私は話題のChatGPTを使用して、精度分析のコンペティションに挑戦してみました。

今回私が挑戦したのは、診断データを使った糖尿病発症予測です。

このコンペティションは、患者の診断データから糖尿病を発症したかを予測になっており、初心者向けのものになっておりました。

ChatGPTを使ってコンペティションの提供データ分析の解析と理解を行います。

1:GPTsの作成

主催者から提出されているデータや評価方法などを全てGPTsに入力します。

Instructions：文字を全てここに入力して下さい

Knowledge：テストデータや訓練ファイルはこちらに添付して下さい

 

2:ファイルを作成

「コンペに提出するために提出ファイルを作成して下さい」と依頼してみて下さい。

そうするとこのような回答がファイルで生成されます。

こちらをそのまま提出するだけで、精度の確認が可能になります。

※提出時にはindexの記載など注意をして下さい

3:精度を上げる方法

ChatGPT内で処理には限界があるため、Googleコラボなど別ツールにコードを移して実行するとさらに精度が上がります。

「Googleコラボで使用するためにコードを作成して下さい」こちらを入力すると以下のようにコードが作成されます。

Googleコラボ上でファイルを作成し、提出して精度を確認後点数をChatGPTに伝えるとさらに改善策を提案してくれるため、コードに反映してみて下さい。

 

どれだけChat GPTにコンペの状況を理解してもらい、改善点を出してもらえるかが重要になっております。一般的なことですが今回は、以下のことを注意して作成を行なっております。

・データの前処理

データクリーニング：欠損値や外れ値の処理を適切に行い、データセットの品質を保持 スケーリング：特徴量のスケールを統一することで、モデルの学習効率と精度を向上

・特徴量エンジニアリング

既存の特徴量から新しい特徴量を作成し、モデルが学習できる情報量を増す。

・モデル選択とハイパーパラメータチューニング

複数のモデルやアンサンブル技術を検討し、データに最も適したモデルを選択 Optuna などのハイパーパラメータ最適化ツールを使用して、最適なモデル設定

・クロスバリデーション

モデルの汎用性を確認するために、Stratified K-Fold クロスバリデーションを適用

・パフォーマンス評価

モデルのパフォーマンスを適切に評価するために、予測精度（Accuracy）だけでなく、他の評価指標も考慮

・反復的なアプローチ

新たな特徴量の追加、ハイパーパラメータの再チューニング、新しいモデルの試行などを通じて、継続的にモデルを改善

今回運営の設定するTier変更の閾値はAccuracy=0.796となっておりますが、

0.8を超え、Tier5 昇格 することができました！

現状20位以内と健闘している状況ですが、今後も改善をしながら上位入賞を目指して行きます。