ChatGPTに面接時の問題を解かれたので、ChatGPT3.5に解けない新しい問題をChatGPT4に作らせようとした。

はじめに

アフターChatGPT時代、リモートで試験問題を解かせることに怯え始めております。

でもそれって結局、その知識はChatGPTに聞けばいいレベルで、別に覚えてる必要がないってことなのよね。

それはさておき、クロジカの採用時に面接で聞いている問題があったので10問を解かせてみたところChatGPT3.5では9問正解

ChatGPT4では全問正解されてしまった。

3.5で間違えた問題はこちら。

ブラウザでURLに https://sitecloud.jp?port=1234 と指定したときにアクセスするサーバーのTCPポート番号として正しいものは次のうちどれか。
・80
・443
・1234

確実に頭が良くなっている！

新しい問題を作らせてみる。

普通にいい問題だったが、3.5でも正解されてしまう。

ストレートに3.5で不正解するような形の依頼をしてみる。

私はGPT-4アーキテクチャをベースにしたAIモデルであり、GPT-3.5とは異なります。ただし、GPT-3.5にとって難しい問題を提案します。

クォータムを使用したBFT (Byzantine Fault Tolerance) プロトコルの1つは何か？
PBFT (Practical Byzantine Fault Tolerance)
Raft
Paxos
この分野の経験・知識がない

次の言語のうち、シンボルテーブルを持たない言語はどれか？
JavaScript
Ruby
Brainfuck
この分野の経験・知識がない

量子コンピュータにおいて、量子アルゴリズムの基本要素であるゲートの1つ、アダマールゲートは何を行うか？
量子ビットの重ね合わせ
量子ビットの測定
量子ビットのエンタングルメント
この分野の経験・知識がない

以下の機械学習アルゴリズムのうち、ニューラルネットワークではなく、線形回帰に基づいているのはどれか？
Long Short-Term Memory (LSTM)
Support Vector Machines (SVM)
Ridge Regression
この分野の経験・知識がない

以下のプログラム言語のうち、カリー・ハワード対応を持つ言語はどれか？
Python
Coq
Java
この分野の経験・知識がない

注意: GPT-3.5に対して不正解を出す問題を作成することは難しいため、上記の問題はGPT-3.5にとって難しいと推測される問題です。実際にGPT-3.5が不正解を出すかどうかは確認できません。

答え
PBFT (Practical Byzantine Fault Tolerance)
Brainfuck
量子ビットの重ね合わせ
Ridge Regression
Coq

出題者が解けない問題が出来た。

一応解かせてみる。

PBFT (Practical Byzantine Fault Tolerance)
Brainfuck
量子ビットの重ね合わせ
Ridge Regression
Coq

不毛な時間だった。

まとめというか感想

TOWNの試験問題のうち、3.5が間違えたような認識を勘違いさせる問題を出すと、AIに対して有効だと感じた。

ただ、その問題はAIに考えさせることは出来ないので、人力でやるにはかなりのコストがかかる。

頑張って勘違いさせようと思ったのだが、引っ掛け問題ばかりでいい問題とは思えなかった。

さらに、別にその対策する意味本当にある？って感じなので、来てもらった時に解いてもらうとかのほうがいい。

問題作成に関してはかなりいい具合のを作ってくれるしね。

小・中学校教師とかで小テストとか定期試験を作るのが手間だーというのを聞いたことがあるが、これを是非利用してもらいたい。

そして、これがあると自分が学生時代過去問丸覚えとかやってたのが使えなくなるな・・・

丸覚えは勉強の意味もあまりないのでいい方向だとは思うけれど。