]> git.openfabrics.org - ~shefty/rdma-dev.git/blob - arch/arm/mm/cache-v7.S
3b172275262e2c87070af4047a1123c2a6a1a6aa
[~shefty/rdma-dev.git] / arch / arm / mm / cache-v7.S
1 /*
2  *  linux/arch/arm/mm/cache-v7.S
3  *
4  *  Copyright (C) 2001 Deep Blue Solutions Ltd.
5  *  Copyright (C) 2005 ARM Ltd.
6  *
7  * This program is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License version 2 as
9  * published by the Free Software Foundation.
10  *
11  *  This is the "shell" of the ARMv7 processor support.
12  */
13 #include <linux/linkage.h>
14 #include <linux/init.h>
15 #include <asm/assembler.h>
16 #include <asm/errno.h>
17 #include <asm/unwind.h>
18
19 #include "proc-macros.S"
20
21 /*
22  *      v7_flush_icache_all()
23  *
24  *      Flush the whole I-cache.
25  *
26  *      Registers:
27  *      r0 - set to 0
28  */
29 ENTRY(v7_flush_icache_all)
30         mov     r0, #0
31         ALT_SMP(mcr     p15, 0, r0, c7, c1, 0)          @ invalidate I-cache inner shareable
32         ALT_UP(mcr      p15, 0, r0, c7, c5, 0)          @ I+BTB cache invalidate
33         mov     pc, lr
34 ENDPROC(v7_flush_icache_all)
35
36 /*
37  *      v7_flush_dcache_all()
38  *
39  *      Flush the whole D-cache.
40  *
41  *      Corrupted registers: r0-r7, r9-r11 (r6 only in Thumb mode)
42  *
43  *      - mm    - mm_struct describing address space
44  */
45 ENTRY(v7_flush_dcache_all)
46         dmb                                     @ ensure ordering with previous memory accesses
47         mrc     p15, 1, r0, c0, c0, 1           @ read clidr
48         ands    r3, r0, #0x7000000              @ extract loc from clidr
49         mov     r3, r3, lsr #23                 @ left align loc bit field
50         beq     finished                        @ if loc is 0, then no need to clean
51         mov     r10, #0                         @ start clean at cache level 0
52 loop1:
53         add     r2, r10, r10, lsr #1            @ work out 3x current cache level
54         mov     r1, r0, lsr r2                  @ extract cache type bits from clidr
55         and     r1, r1, #7                      @ mask of the bits for current cache only
56         cmp     r1, #2                          @ see what cache we have at this level
57         blt     skip                            @ skip if no cache, or just i-cache
58 #ifdef CONFIG_PREEMPT
59         save_and_disable_irqs_notrace r9        @ make cssr&csidr read atomic
60 #endif
61         mcr     p15, 2, r10, c0, c0, 0          @ select current cache level in cssr
62         isb                                     @ isb to sych the new cssr&csidr
63         mrc     p15, 1, r1, c0, c0, 0           @ read the new csidr
64 #ifdef CONFIG_PREEMPT
65         restore_irqs_notrace r9
66 #endif
67         and     r2, r1, #7                      @ extract the length of the cache lines
68         add     r2, r2, #4                      @ add 4 (line length offset)
69         ldr     r4, =0x3ff
70         ands    r4, r4, r1, lsr #3              @ find maximum number on the way size
71         clz     r5, r4                          @ find bit position of way size increment
72         ldr     r7, =0x7fff
73         ands    r7, r7, r1, lsr #13             @ extract max number of the index size
74 loop2:
75         mov     r9, r4                          @ create working copy of max way size
76 loop3:
77  ARM(   orr     r11, r10, r9, lsl r5    )       @ factor way and cache number into r11
78  THUMB( lsl     r6, r9, r5              )
79  THUMB( orr     r11, r10, r6            )       @ factor way and cache number into r11
80  ARM(   orr     r11, r11, r7, lsl r2    )       @ factor index number into r11
81  THUMB( lsl     r6, r7, r2              )
82  THUMB( orr     r11, r11, r6            )       @ factor index number into r11
83         mcr     p15, 0, r11, c7, c14, 2         @ clean & invalidate by set/way
84         subs    r9, r9, #1                      @ decrement the way
85         bge     loop3
86         subs    r7, r7, #1                      @ decrement the index
87         bge     loop2
88 skip:
89         add     r10, r10, #2                    @ increment cache number
90         cmp     r3, r10
91         bgt     loop1
92 finished:
93         mov     r10, #0                         @ swith back to cache level 0
94         mcr     p15, 2, r10, c0, c0, 0          @ select current cache level in cssr
95         dsb
96         isb
97         mov     pc, lr
98 ENDPROC(v7_flush_dcache_all)
99
100 /*
101  *      v7_flush_cache_all()
102  *
103  *      Flush the entire cache system.
104  *  The data cache flush is now achieved using atomic clean / invalidates
105  *  working outwards from L1 cache. This is done using Set/Way based cache
106  *  maintenance instructions.
107  *  The instruction cache can still be invalidated back to the point of
108  *  unification in a single instruction.
109  *
110  */
111 ENTRY(v7_flush_kern_cache_all)
112  ARM(   stmfd   sp!, {r4-r5, r7, r9-r11, lr}    )
113  THUMB( stmfd   sp!, {r4-r7, r9-r11, lr}        )
114         bl      v7_flush_dcache_all
115         mov     r0, #0
116         ALT_SMP(mcr     p15, 0, r0, c7, c1, 0)  @ invalidate I-cache inner shareable
117         ALT_UP(mcr      p15, 0, r0, c7, c5, 0)  @ I+BTB cache invalidate
118  ARM(   ldmfd   sp!, {r4-r5, r7, r9-r11, lr}    )
119  THUMB( ldmfd   sp!, {r4-r7, r9-r11, lr}        )
120         mov     pc, lr
121 ENDPROC(v7_flush_kern_cache_all)
122
123 /*
124  *      v7_flush_cache_all()
125  *
126  *      Flush all TLB entries in a particular address space
127  *
128  *      - mm    - mm_struct describing address space
129  */
130 ENTRY(v7_flush_user_cache_all)
131         /*FALLTHROUGH*/
132
133 /*
134  *      v7_flush_cache_range(start, end, flags)
135  *
136  *      Flush a range of TLB entries in the specified address space.
137  *
138  *      - start - start address (may not be aligned)
139  *      - end   - end address (exclusive, may not be aligned)
140  *      - flags - vm_area_struct flags describing address space
141  *
142  *      It is assumed that:
143  *      - we have a VIPT cache.
144  */
145 ENTRY(v7_flush_user_cache_range)
146         mov     pc, lr
147 ENDPROC(v7_flush_user_cache_all)
148 ENDPROC(v7_flush_user_cache_range)
149
150 /*
151  *      v7_coherent_kern_range(start,end)
152  *
153  *      Ensure that the I and D caches are coherent within specified
154  *      region.  This is typically used when code has been written to
155  *      a memory region, and will be executed.
156  *
157  *      - start   - virtual start address of region
158  *      - end     - virtual end address of region
159  *
160  *      It is assumed that:
161  *      - the Icache does not read data from the write buffer
162  */
163 ENTRY(v7_coherent_kern_range)
164         /* FALLTHROUGH */
165
166 /*
167  *      v7_coherent_user_range(start,end)
168  *
169  *      Ensure that the I and D caches are coherent within specified
170  *      region.  This is typically used when code has been written to
171  *      a memory region, and will be executed.
172  *
173  *      - start   - virtual start address of region
174  *      - end     - virtual end address of region
175  *
176  *      It is assumed that:
177  *      - the Icache does not read data from the write buffer
178  */
179 ENTRY(v7_coherent_user_range)
180  UNWIND(.fnstart                )
181         dcache_line_size r2, r3
182         sub     r3, r2, #1
183         bic     r12, r0, r3
184 #ifdef CONFIG_ARM_ERRATA_764369
185         ALT_SMP(W(dsb))
186         ALT_UP(W(nop))
187 #endif
188 1:
189  USER(  mcr     p15, 0, r12, c7, c11, 1 )       @ clean D line to the point of unification
190         add     r12, r12, r2
191         cmp     r12, r1
192         blo     1b
193         dsb
194         icache_line_size r2, r3
195         sub     r3, r2, #1
196         bic     r12, r0, r3
197 2:
198  USER(  mcr     p15, 0, r12, c7, c5, 1  )       @ invalidate I line
199         add     r12, r12, r2
200         cmp     r12, r1
201         blo     2b
202         mov     r0, #0
203         ALT_SMP(mcr     p15, 0, r0, c7, c1, 6)  @ invalidate BTB Inner Shareable
204         ALT_UP(mcr      p15, 0, r0, c7, c5, 6)  @ invalidate BTB
205         dsb
206         isb
207         mov     pc, lr
208
209 /*
210  * Fault handling for the cache operation above. If the virtual address in r0
211  * isn't mapped, fail with -EFAULT.
212  */
213 9001:
214 #ifdef CONFIG_ARM_ERRATA_775420
215         dsb
216 #endif
217         mov     r0, #-EFAULT
218         mov     pc, lr
219  UNWIND(.fnend          )
220 ENDPROC(v7_coherent_kern_range)
221 ENDPROC(v7_coherent_user_range)
222
223 /*
224  *      v7_flush_kern_dcache_area(void *addr, size_t size)
225  *
226  *      Ensure that the data held in the page kaddr is written back
227  *      to the page in question.
228  *
229  *      - addr  - kernel address
230  *      - size  - region size
231  */
232 ENTRY(v7_flush_kern_dcache_area)
233         dcache_line_size r2, r3
234         add     r1, r0, r1
235         sub     r3, r2, #1
236         bic     r0, r0, r3
237 #ifdef CONFIG_ARM_ERRATA_764369
238         ALT_SMP(W(dsb))
239         ALT_UP(W(nop))
240 #endif
241 1:
242         mcr     p15, 0, r0, c7, c14, 1          @ clean & invalidate D line / unified line
243         add     r0, r0, r2
244         cmp     r0, r1
245         blo     1b
246         dsb
247         mov     pc, lr
248 ENDPROC(v7_flush_kern_dcache_area)
249
250 /*
251  *      v7_dma_inv_range(start,end)
252  *
253  *      Invalidate the data cache within the specified region; we will
254  *      be performing a DMA operation in this region and we want to
255  *      purge old data in the cache.
256  *
257  *      - start   - virtual start address of region
258  *      - end     - virtual end address of region
259  */
260 v7_dma_inv_range:
261         dcache_line_size r2, r3
262         sub     r3, r2, #1
263         tst     r0, r3
264         bic     r0, r0, r3
265 #ifdef CONFIG_ARM_ERRATA_764369
266         ALT_SMP(W(dsb))
267         ALT_UP(W(nop))
268 #endif
269         mcrne   p15, 0, r0, c7, c14, 1          @ clean & invalidate D / U line
270
271         tst     r1, r3
272         bic     r1, r1, r3
273         mcrne   p15, 0, r1, c7, c14, 1          @ clean & invalidate D / U line
274 1:
275         mcr     p15, 0, r0, c7, c6, 1           @ invalidate D / U line
276         add     r0, r0, r2
277         cmp     r0, r1
278         blo     1b
279         dsb
280         mov     pc, lr
281 ENDPROC(v7_dma_inv_range)
282
283 /*
284  *      v7_dma_clean_range(start,end)
285  *      - start   - virtual start address of region
286  *      - end     - virtual end address of region
287  */
288 v7_dma_clean_range:
289         dcache_line_size r2, r3
290         sub     r3, r2, #1
291         bic     r0, r0, r3
292 #ifdef CONFIG_ARM_ERRATA_764369
293         ALT_SMP(W(dsb))
294         ALT_UP(W(nop))
295 #endif
296 1:
297         mcr     p15, 0, r0, c7, c10, 1          @ clean D / U line
298         add     r0, r0, r2
299         cmp     r0, r1
300         blo     1b
301         dsb
302         mov     pc, lr
303 ENDPROC(v7_dma_clean_range)
304
305 /*
306  *      v7_dma_flush_range(start,end)
307  *      - start   - virtual start address of region
308  *      - end     - virtual end address of region
309  */
310 ENTRY(v7_dma_flush_range)
311         dcache_line_size r2, r3
312         sub     r3, r2, #1
313         bic     r0, r0, r3
314 #ifdef CONFIG_ARM_ERRATA_764369
315         ALT_SMP(W(dsb))
316         ALT_UP(W(nop))
317 #endif
318 1:
319         mcr     p15, 0, r0, c7, c14, 1          @ clean & invalidate D / U line
320         add     r0, r0, r2
321         cmp     r0, r1
322         blo     1b
323         dsb
324         mov     pc, lr
325 ENDPROC(v7_dma_flush_range)
326
327 /*
328  *      dma_map_area(start, size, dir)
329  *      - start - kernel virtual start address
330  *      - size  - size of region
331  *      - dir   - DMA direction
332  */
333 ENTRY(v7_dma_map_area)
334         add     r1, r1, r0
335         teq     r2, #DMA_FROM_DEVICE
336         beq     v7_dma_inv_range
337         b       v7_dma_clean_range
338 ENDPROC(v7_dma_map_area)
339
340 /*
341  *      dma_unmap_area(start, size, dir)
342  *      - start - kernel virtual start address
343  *      - size  - size of region
344  *      - dir   - DMA direction
345  */
346 ENTRY(v7_dma_unmap_area)
347         add     r1, r1, r0
348         teq     r2, #DMA_TO_DEVICE
349         bne     v7_dma_inv_range
350         mov     pc, lr
351 ENDPROC(v7_dma_unmap_area)
352
353         __INITDATA
354
355         @ define struct cpu_cache_fns (see <asm/cacheflush.h> and proc-macros.S)
356         define_cache_functions v7