프롬프트 구조로서의 5W1H: 아직 열린 질문

결과가 아니라 질문에 대한 메모입니다. 여기 적힌 것 중 만들거나 측정한 것은 없습니다.

질문

자유 형식으로 이야기 전제를 요청하면 산문이 나옵니다. 대체로 매끄럽고, 엉뚱한 곳에서 구체적이며, 잘라낼 이음매가 없어서 고치기 어렵습니다.

시험해볼 만한 대안은 출력을 저널리즘의 여섯 축으로 강제로 통과시키는 것입니다. 누가, 무엇을, 언제, 어디서, 왜, 어떻게. 문장이 되기 전에 여섯 칸을 하나씩 채웁니다.

가설은 이 제약이 자유 형식 프롬프트가 못 하는 두 가지를 한다는 것입니다.

• 빈틈이 보입니다. 왜가 비어 있으면 칸에서는 바로 드러나지만 문단 안에서는 보이지 않습니다.
• 수정이 국소적이 됩니다. 어디서를 바꾸겠다고 전제 전체를 다시 생성할 필요가 없어야 합니다.

가설일 뿐입니다. 반대 방향으로 틀릴 가능성도 충분합니다. 여섯 칸이 분리 가능하다는 바로 그 이유로 모델이 분리 가능한, 그래서 뻔한 답을 내놓을 수도 있습니다. 좋은 전제란 원래 부분들이 깔끔하게 떨어지지 않는 것일지도 모릅니다.

“쓸 만하다”를 무엇으로 볼 것인가

여기서 가장 많은 일을 하는 단어가 쓸 만하다인데, 지금으로서는 측정할 수 있는 뜻이 없습니다. 실험을 돌릴 가치가 있으려면 먼저 조작적 정의가 필요합니다. 후보는 이렇습니다.

• 수정 거리 — 작가가 실제로 남기는 초고까지 출력의 얼마가 살아남고 얼마가 버려지는지.
• 빈틈 탐지 — 전제에서 빠진 것을 어느 쪽 형식에서 더 빨리 짚어내는지.
• 독립성 — 한 축을 바꿨을 때 나머지 다섯이 그대로 있는지, 아니면 연쇄로 무너지는지.
• 반복 시 동일성 — 구조화된 쪽이 반복 실행에서 몇 가지 답으로 수렴해버리는지.

마지막 항목을 가장 먼저 측정하고 싶습니다. 이 아이디어를 접어야 할 실패 양상이 바로 그것이기 때문입니다.

무엇을 해야 하는가

비교를 하려면 같은 시드를 양쪽 경로에 똑같이 넣고, 프롬프트를 쓰지 않은 사람이 블라인드로 평가하고, 운 좋은 한 번이 아니라고 말할 수 있을 만큼 여러 번 돌려야 합니다. 그중 아직 갖춰진 것은 없습니다. 답이 나온 뒤가 아니라 나오기 전에 질문을 적어두려고 남기는 메모입니다.