LLMs are bad at vibing specifications

LLMが生成する形式的仕様書は、実際に検証を行うべき「微妙な」性質を捉えるのが苦手であり、自明な性質しか書けない傾向がある。初心者がAIを使って形式的仕様を書こうとすると、コンパイルすらできないコードや、実質的に何も検証しないアサーションが生成されることが多い。形式的メソッドの専門家でなければ、LLMから有用な仕様を引き出すのは難しいという問題がある。