Imagine o seguinte:
INSERT INTO CLIENTE ( NOME ) VALUE ( 'RUA DALVA' )
mas o usuário digita ' ) e mais comandos no nome
INSERT INTO CLIENTE ( NOME ) VALUE ( ' ' ); DELETE FROM.... ')
Só o fato de trocar aspas simples por \' , já evita problemas desse tipo, é uma das coisas a evitar.
O problema maior não é erro na gravação, mas o usuário se aproveitar pra outras coisas.