考察: ChatGPTでの自動プログラミングの限界

2023-06-12　 AI/ChatGPT考察

様々な自動プログラミング実験や、LLMのアルゴリズムを学び直してわかったこと

自分はChatGPTの自動プログラミングでどこまで出来るかに魅力を感じて、様々なプログラミングで完全にChatGPTにまかせる実験を行いました。

それは↓のカテゴリでも記録残してます。
https://retu27.com/category/study/ai_chatgpt/chatgpt_programming

こういった実験やChatGPTのアルゴリズムを学び直していく中で、見えてきた限界があります。あくまで「現状」での話ですが、まとめてみます！

ChatGPTの限界1:「典型的なプログラム例」は出せるが、そこから外れると辛くなる

これは自分が↑の実験集でも度々言っていたことですね。ChatGPTはネット上のプログラムを吸収して学んだものなので。「テトリス」とか「ライフゲーム」とか典型的なプログラムにはものすごく強いです。全部パターン暗記してるようなもので。

しかし、そこから少し外れてしまうと、学習パターンがなくなって、突然「全てを言語で伝える」必要がでて難しくなってきます。

全ての意図を文の伝言で伝えるのは無理がある

これは↑の続きですね。「典型的な例」から外れた時に、その仕様を言葉で説明する必要があります。これってかなりの労力です。正確に自然言語で仕様をすべて伝えるのは。

それならある程度の能力があれば「プログラミング言語で仕様を伝える」＝「プログラミングする」ほうが速くなります。

「実際の表示」はChatGPTには分からない＝完全に正しいことは保証されない

これも大きな問題です。ChatGPTが拾ってきて提示したのは「見た目的に正しいから」でなく、「ネット上でこれが正しく表現するためのプログラムと掲載されていたから」です。なので、ChatGPTが目でみて正しいと判断できているわけではないです。

そのため、人間が見た目をチェックしなければいけないというタスクは絶対に残ります。もっというとChatGPTには美的センスがないので、最終的なデザイン修正は人間でしないといけないです。

↓ChatGPTが出力した街並みの景色。夕日を描画させましたが↓のように透明度などが適切でなく、おかしな表示になってしまっています。

全ての論理を理解できているわけでない

これは上記の事項とかぶってますが、見た目以外でも、「全てのプログラムロジックを追えてるわけではない」という事実があると思います。実際、ChatGPTは「部分的にプログラム修正行って、全体の矛盾をきたす」ようなことを良くします。このあたりはChatGPTの進化＆既存のプログラミング支援によって改善していくと思いますが、、、今のところはまだ一部の論理しか追えていないという印象です。

結論、「完成のために、人間のサポートが必要」＝「ChatGPTが作成したプログラムを改変する能力が重要」な時代がしばらく続く予感

上記のような状態を考えると、ChatGPTが全て自動でプログラムを作成するのはかなり先の話かなと思います。全ての論理を理解して、デザインセンスをもちあわせて、前提となる背景まで理解して、人間と最適なコミュニケーションをして、完璧なものを仕上げる、、、こういった事が全て出来るようになるのは、もっと先になると思います。

それまでは「ChatGPT等のAIがある程度までプログラムを作ってくれるから、それを理解して人間がプログラムを仕上げる」という状態がしばらく続くかと思います。
そのような状態になった時に、重要なのは「１からプログラムを作る能力」でなく、「ChatGPTが生成したプログラムを瞬時に理解して、修正して仕上げる能力」になるかと思います。今までとはちょっと違った能力が重要になってくるのではないかなと考察しております。

また、このあたりは日々状況変わりそうですが、「ChatGPTが支援に徹する状態」or「ChatGPTがベースをつくり、人間サポートする状態」が長く続くと思っております。

■AI/ChatGPT考察 関連記事

考察: 現状のChatGPTが「出来ないこと(苦手なこと)」を考えてみる

考察: ChatGPTがどれぐらい活躍出来るかは、「Main Pilot」になれるかどうかによる！？