Oltre a quanto già detto da entrambi sulla situazione odierna riguardante l'insegnamento di questa materia, se hai sempre avuto problemi con la matematica, psicologicamente, ti consiglierei di indagare sui rapporti con le figure maschili di riferimento, paterna in primis. 
La matematica permette collegamenti insospettati...
Ma veniamo al concetto di numero.
Sopra ho detto che è uno dei concetti più difficili che esistano, eppure fanno parte del bagaglio di nozioni di tutti. Tuttavia, per rendervi conto di quanto vado sostenendo è sufficiente che proviate a dare una definizione di numero. Chi ha voglia provi a pensarci e fare dei tentativi... mi interesserebbe molto sviscerare i percorsi mentali e le varie difficoltà incontrate.
Per anticipare qualcosa dico che, generalmente, il numero viene considerato un'entità astratta (non sensibile) che serve per descrivere una
quantità. Questo non fa altro che spostare le difficoltà - e neanche tutte - sul termine quantità. Si finisce in filosofia e non vorrei appensatire il tutto più del necessario, accenno solo per il momento che ci scontriamo con la "quantità" quasi da subito nel nostro percorso cognitivo del mondo, forse già dalla prima
partizione: me-altro da me.
Attualmente si tende a utilizzare il concetto di "insieme" per parlare di numeri. Si sfrutta una struttura da applicare a qualcosa che è prettamente intuitivo... ed ecco che "due" indica l'insieme delle mie mani, ma anche per indicare l'insieme delle zampe di un gatto mi serve "quattro". Tecnicamente si rileva una corrispondenza biunivoca (terminologia che vedremo) tra i numeri e degli ambienti semantici... quindi una correlazione con qualcosa altro.
Questo in sintesi (ma se non si capisce approfondiamo - è più importante di quanto si possa pensare) il motivo per cui alle elementari si inizia dall'insiemistica... motivo abbastanza valido a mio avviso... lo spiegassero sarebbe pure meglio.
Nonostante ciò (collegamento con ambiti semantici o "insiemi"), ovvero il collegamento tra numero e contesti di riferimento, il numero si ostina ad esistere anche deprivato di tali contesti. Dimostro subito quanto dico: ognuno di voi può fare questa esperienza... pensare un numero o il concetto di numero, senza collegarlo a nulla, neanche al segno con cui viene indicato.
E' una specie di piccola meditazione a tema... se provate (e vi ci sforzate un pochetto) potreste avere delle sorprese...
Proseguendo (ovviamente possiamo tornare su qualsiasi punto) asserisco qualcosa di forse inaspettato. Quel che viene normalmente inteso come "numeri" in realtà non esiste. Di solito la gente pensa che ci siano molti numeri, alcuni pensano che ce ne sono 10 e le loro combinazioni, la stessa matematica, per semplificare i termini, dice che i numeri sono infiniti.
In realtà esiste solo il numero 1. Tutti gli altri non sono numeri nel pieno senso del termine, sono solo delle cifre o dei segni che indicano brevemente sequenze più o meno lunghe di uni. Già dire sequanze è inesatto... una sequenza, una sequenza di sequenze e via così sarebbe meglio...
Che cosa vuol dire? Che l'unico vero concetto è il numero 1, tutto gli altri sono ripetizioni di quel concetto... concetti figli che, se analizzati, dipendono direttamente dall'uno, mentre egli non dipende da nessun altro.
In matematica servono solo due cose: il numero uno e la sequenza, ovvero quel che in realtà è una pratica: contare.
Forse post un po' complesso... pausa per interventi.