]> git.openfabrics.org - ~shefty/rdma-dev.git/blob - arch/arm/mm/proc-macros.S
Merge master.kernel.org:/home/rmk/linux-2.6-arm
[~shefty/rdma-dev.git] / arch / arm / mm / proc-macros.S
1 /*
2  * We need constants.h for:
3  *  VMA_VM_MM
4  *  VMA_VM_FLAGS
5  *  VM_EXEC
6  */
7 #include <asm/asm-offsets.h>
8 #include <asm/thread_info.h>
9
10 /*
11  * vma_vm_mm - get mm pointer from vma pointer (vma->vm_mm)
12  */
13         .macro  vma_vm_mm, rd, rn
14         ldr     \rd, [\rn, #VMA_VM_MM]
15         .endm
16
17 /*
18  * vma_vm_flags - get vma->vm_flags
19  */
20         .macro  vma_vm_flags, rd, rn
21         ldr     \rd, [\rn, #VMA_VM_FLAGS]
22         .endm
23
24         .macro  tsk_mm, rd, rn
25         ldr     \rd, [\rn, #TI_TASK]
26         ldr     \rd, [\rd, #TSK_ACTIVE_MM]
27         .endm
28
29 /*
30  * act_mm - get current->active_mm
31  */
32         .macro  act_mm, rd
33         bic     \rd, sp, #8128
34         bic     \rd, \rd, #63
35         ldr     \rd, [\rd, #TI_TASK]
36         ldr     \rd, [\rd, #TSK_ACTIVE_MM]
37         .endm
38
39 /*
40  * mmid - get context id from mm pointer (mm->context.id)
41  */
42         .macro  mmid, rd, rn
43         ldr     \rd, [\rn, #MM_CONTEXT_ID]
44         .endm
45
46 /*
47  * mask_asid - mask the ASID from the context ID
48  */
49         .macro  asid, rd, rn
50         and     \rd, \rn, #255
51         .endm
52
53         .macro  crval, clear, mmuset, ucset
54 #ifdef CONFIG_MMU
55         .word   \clear
56         .word   \mmuset
57 #else
58         .word   \clear
59         .word   \ucset
60 #endif
61         .endm
62
63 /*
64  * dcache_line_size - get the minimum D-cache line size from the CTR register
65  * on ARMv7.
66  */
67         .macro  dcache_line_size, reg, tmp
68         mrc     p15, 0, \tmp, c0, c0, 1         @ read ctr
69         lsr     \tmp, \tmp, #16
70         and     \tmp, \tmp, #0xf                @ cache line size encoding
71         mov     \reg, #4                        @ bytes per word
72         mov     \reg, \reg, lsl \tmp            @ actual cache line size
73         .endm
74
75 /*
76  * icache_line_size - get the minimum I-cache line size from the CTR register
77  * on ARMv7.
78  */
79         .macro  icache_line_size, reg, tmp
80         mrc     p15, 0, \tmp, c0, c0, 1         @ read ctr
81         and     \tmp, \tmp, #0xf                @ cache line size encoding
82         mov     \reg, #4                        @ bytes per word
83         mov     \reg, \reg, lsl \tmp            @ actual cache line size
84         .endm
85
86 /*
87  * Sanity check the PTE configuration for the code below - which makes
88  * certain assumptions about how these bits are layed out.
89  */
90 #ifdef CONFIG_MMU
91 #if L_PTE_SHARED != PTE_EXT_SHARED
92 #error PTE shared bit mismatch
93 #endif
94 #if (L_PTE_EXEC+L_PTE_USER+L_PTE_WRITE+L_PTE_DIRTY+L_PTE_YOUNG+\
95      L_PTE_FILE+L_PTE_PRESENT) > L_PTE_SHARED
96 #error Invalid Linux PTE bit settings
97 #endif
98 #endif  /* CONFIG_MMU */
99
100 /*
101  * The ARMv6 and ARMv7 set_pte_ext translation function.
102  *
103  * Permission translation:
104  *  YUWD  APX AP1 AP0   SVC     User
105  *  0xxx   0   0   0    no acc  no acc
106  *  100x   1   0   1    r/o     no acc
107  *  10x0   1   0   1    r/o     no acc
108  *  1011   0   0   1    r/w     no acc
109  *  110x   0   1   0    r/w     r/o
110  *  11x0   0   1   0    r/w     r/o
111  *  1111   0   1   1    r/w     r/w
112  */
113         .macro  armv6_mt_table pfx
114 \pfx\()_mt_table:
115         .long   0x00                                            @ L_PTE_MT_UNCACHED
116         .long   PTE_EXT_TEX(1)                                  @ L_PTE_MT_BUFFERABLE
117         .long   PTE_CACHEABLE                                   @ L_PTE_MT_WRITETHROUGH
118         .long   PTE_CACHEABLE | PTE_BUFFERABLE                  @ L_PTE_MT_WRITEBACK
119         .long   PTE_BUFFERABLE                                  @ L_PTE_MT_DEV_SHARED
120         .long   0x00                                            @ unused
121         .long   0x00                                            @ L_PTE_MT_MINICACHE (not present)
122         .long   PTE_EXT_TEX(1) | PTE_CACHEABLE | PTE_BUFFERABLE @ L_PTE_MT_WRITEALLOC
123         .long   0x00                                            @ unused
124         .long   PTE_EXT_TEX(1)                                  @ L_PTE_MT_DEV_WC
125         .long   0x00                                            @ unused
126         .long   PTE_CACHEABLE | PTE_BUFFERABLE                  @ L_PTE_MT_DEV_CACHED
127         .long   PTE_EXT_TEX(2)                                  @ L_PTE_MT_DEV_NONSHARED
128         .long   0x00                                            @ unused
129         .long   0x00                                            @ unused
130         .long   0x00                                            @ unused
131         .endm
132
133         .macro  armv6_set_pte_ext pfx
134         str     r1, [r0], #-2048                @ linux version
135
136         bic     r3, r1, #0x000003fc
137         bic     r3, r3, #PTE_TYPE_MASK
138         orr     r3, r3, r2
139         orr     r3, r3, #PTE_EXT_AP0 | 2
140
141         adr     ip, \pfx\()_mt_table
142         and     r2, r1, #L_PTE_MT_MASK
143         ldr     r2, [ip, r2]
144
145         tst     r1, #L_PTE_WRITE
146         tstne   r1, #L_PTE_DIRTY
147         orreq   r3, r3, #PTE_EXT_APX
148
149         tst     r1, #L_PTE_USER
150         orrne   r3, r3, #PTE_EXT_AP1
151         tstne   r3, #PTE_EXT_APX
152         bicne   r3, r3, #PTE_EXT_APX | PTE_EXT_AP0
153
154         tst     r1, #L_PTE_EXEC
155         orreq   r3, r3, #PTE_EXT_XN
156
157         orr     r3, r3, r2
158
159         tst     r1, #L_PTE_YOUNG
160         tstne   r1, #L_PTE_PRESENT
161         moveq   r3, #0
162
163         str     r3, [r0]
164         mcr     p15, 0, r0, c7, c10, 1          @ flush_pte
165         .endm
166
167
168 /*
169  * The ARMv3, ARMv4 and ARMv5 set_pte_ext translation function,
170  * covering most CPUs except Xscale and Xscale 3.
171  *
172  * Permission translation:
173  *  YUWD   AP   SVC     User
174  *  0xxx  0x00  no acc  no acc
175  *  100x  0x00  r/o     no acc
176  *  10x0  0x00  r/o     no acc
177  *  1011  0x55  r/w     no acc
178  *  110x  0xaa  r/w     r/o
179  *  11x0  0xaa  r/w     r/o
180  *  1111  0xff  r/w     r/w
181  */
182         .macro  armv3_set_pte_ext wc_disable=1
183         str     r1, [r0], #-2048                @ linux version
184
185         eor     r3, r1, #L_PTE_PRESENT | L_PTE_YOUNG | L_PTE_WRITE | L_PTE_DIRTY
186
187         bic     r2, r1, #PTE_SMALL_AP_MASK      @ keep C, B bits
188         bic     r2, r2, #PTE_TYPE_MASK
189         orr     r2, r2, #PTE_TYPE_SMALL
190
191         tst     r3, #L_PTE_USER                 @ user?
192         orrne   r2, r2, #PTE_SMALL_AP_URO_SRW
193
194         tst     r3, #L_PTE_WRITE | L_PTE_DIRTY  @ write and dirty?
195         orreq   r2, r2, #PTE_SMALL_AP_UNO_SRW
196
197         tst     r3, #L_PTE_PRESENT | L_PTE_YOUNG        @ present and young?
198         movne   r2, #0
199
200         .if     \wc_disable
201 #ifdef CONFIG_CPU_DCACHE_WRITETHROUGH
202         tst     r2, #PTE_CACHEABLE
203         bicne   r2, r2, #PTE_BUFFERABLE
204 #endif
205         .endif
206         str     r2, [r0]                        @ hardware version
207         .endm
208
209
210 /*
211  * Xscale set_pte_ext translation, split into two halves to cope
212  * with work-arounds.  r3 must be preserved by code between these
213  * two macros.
214  *
215  * Permission translation:
216  *  YUWD  AP    SVC     User
217  *  0xxx  00    no acc  no acc
218  *  100x  00    r/o     no acc
219  *  10x0  00    r/o     no acc
220  *  1011  01    r/w     no acc
221  *  110x  10    r/w     r/o
222  *  11x0  10    r/w     r/o
223  *  1111  11    r/w     r/w
224  */
225         .macro  xscale_set_pte_ext_prologue
226         str     r1, [r0], #-2048                @ linux version
227
228         eor     r3, r1, #L_PTE_PRESENT | L_PTE_YOUNG | L_PTE_WRITE | L_PTE_DIRTY
229
230         bic     r2, r1, #PTE_SMALL_AP_MASK      @ keep C, B bits
231         orr     r2, r2, #PTE_TYPE_EXT           @ extended page
232
233         tst     r3, #L_PTE_USER                 @ user?
234         orrne   r2, r2, #PTE_EXT_AP_URO_SRW     @ yes -> user r/o, system r/w
235
236         tst     r3, #L_PTE_WRITE | L_PTE_DIRTY  @ write and dirty?
237         orreq   r2, r2, #PTE_EXT_AP_UNO_SRW     @ yes -> user n/a, system r/w
238                                                 @ combined with user -> user r/w
239         .endm
240
241         .macro  xscale_set_pte_ext_epilogue
242         tst     r3, #L_PTE_PRESENT | L_PTE_YOUNG        @ present and young?
243         movne   r2, #0                          @ no -> fault
244
245         str     r2, [r0]                        @ hardware version
246         mov     ip, #0
247         mcr     p15, 0, r0, c7, c10, 1          @ clean L1 D line
248         mcr     p15, 0, ip, c7, c10, 4          @ data write barrier
249         .endm