Merge remote-tracking branch 'origin/x86/boot' into x86/mm2
[~shefty/rdma-dev.git] / arch / x86 / kernel / setup.c
1 /*
2  *  Copyright (C) 1995  Linus Torvalds
3  *
4  *  Support of BIGMEM added by Gerhard Wichert, Siemens AG, July 1999
5  *
6  *  Memory region support
7  *      David Parsons <orc@pell.chi.il.us>, July-August 1999
8  *
9  *  Added E820 sanitization routine (removes overlapping memory regions);
10  *  Brian Moyle <bmoyle@mvista.com>, February 2001
11  *
12  * Moved CPU detection code to cpu/${cpu}.c
13  *    Patrick Mochel <mochel@osdl.org>, March 2002
14  *
15  *  Provisions for empty E820 memory regions (reported by certain BIOSes).
16  *  Alex Achenbach <xela@slit.de>, December 2002.
17  *
18  */
19
20 /*
21  * This file handles the architecture-dependent parts of initialization
22  */
23
24 #include <linux/sched.h>
25 #include <linux/mm.h>
26 #include <linux/mmzone.h>
27 #include <linux/screen_info.h>
28 #include <linux/ioport.h>
29 #include <linux/acpi.h>
30 #include <linux/sfi.h>
31 #include <linux/apm_bios.h>
32 #include <linux/initrd.h>
33 #include <linux/bootmem.h>
34 #include <linux/memblock.h>
35 #include <linux/seq_file.h>
36 #include <linux/console.h>
37 #include <linux/root_dev.h>
38 #include <linux/highmem.h>
39 #include <linux/module.h>
40 #include <linux/efi.h>
41 #include <linux/init.h>
42 #include <linux/edd.h>
43 #include <linux/iscsi_ibft.h>
44 #include <linux/nodemask.h>
45 #include <linux/kexec.h>
46 #include <linux/dmi.h>
47 #include <linux/pfn.h>
48 #include <linux/pci.h>
49 #include <asm/pci-direct.h>
50 #include <linux/init_ohci1394_dma.h>
51 #include <linux/kvm_para.h>
52 #include <linux/dma-contiguous.h>
53
54 #include <linux/errno.h>
55 #include <linux/kernel.h>
56 #include <linux/stddef.h>
57 #include <linux/unistd.h>
58 #include <linux/ptrace.h>
59 #include <linux/user.h>
60 #include <linux/delay.h>
61
62 #include <linux/kallsyms.h>
63 #include <linux/cpufreq.h>
64 #include <linux/dma-mapping.h>
65 #include <linux/ctype.h>
66 #include <linux/uaccess.h>
67
68 #include <linux/percpu.h>
69 #include <linux/crash_dump.h>
70 #include <linux/tboot.h>
71 #include <linux/jiffies.h>
72
73 #include <video/edid.h>
74
75 #include <asm/mtrr.h>
76 #include <asm/apic.h>
77 #include <asm/realmode.h>
78 #include <asm/e820.h>
79 #include <asm/mpspec.h>
80 #include <asm/setup.h>
81 #include <asm/efi.h>
82 #include <asm/timer.h>
83 #include <asm/i8259.h>
84 #include <asm/sections.h>
85 #include <asm/dmi.h>
86 #include <asm/io_apic.h>
87 #include <asm/ist.h>
88 #include <asm/setup_arch.h>
89 #include <asm/bios_ebda.h>
90 #include <asm/cacheflush.h>
91 #include <asm/processor.h>
92 #include <asm/bugs.h>
93
94 #include <asm/vsyscall.h>
95 #include <asm/cpu.h>
96 #include <asm/desc.h>
97 #include <asm/dma.h>
98 #include <asm/iommu.h>
99 #include <asm/gart.h>
100 #include <asm/mmu_context.h>
101 #include <asm/proto.h>
102
103 #include <asm/paravirt.h>
104 #include <asm/hypervisor.h>
105 #include <asm/olpc_ofw.h>
106
107 #include <asm/percpu.h>
108 #include <asm/topology.h>
109 #include <asm/apicdef.h>
110 #include <asm/amd_nb.h>
111 #include <asm/mce.h>
112 #include <asm/alternative.h>
113 #include <asm/prom.h>
114
115 /*
116  * max_low_pfn_mapped: highest direct mapped pfn under 4GB
117  * max_pfn_mapped:     highest direct mapped pfn over 4GB
118  *
119  * The direct mapping only covers E820_RAM regions, so the ranges and gaps are
120  * represented by pfn_mapped
121  */
122 unsigned long max_low_pfn_mapped;
123 unsigned long max_pfn_mapped;
124
125 #ifdef CONFIG_DMI
126 RESERVE_BRK(dmi_alloc, 65536);
127 #endif
128
129
130 static __initdata unsigned long _brk_start = (unsigned long)__brk_base;
131 unsigned long _brk_end = (unsigned long)__brk_base;
132
133 #ifdef CONFIG_X86_64
134 int default_cpu_present_to_apicid(int mps_cpu)
135 {
136         return __default_cpu_present_to_apicid(mps_cpu);
137 }
138
139 int default_check_phys_apicid_present(int phys_apicid)
140 {
141         return __default_check_phys_apicid_present(phys_apicid);
142 }
143 #endif
144
145 struct boot_params boot_params;
146
147 /*
148  * Machine setup..
149  */
150 static struct resource data_resource = {
151         .name   = "Kernel data",
152         .start  = 0,
153         .end    = 0,
154         .flags  = IORESOURCE_BUSY | IORESOURCE_MEM
155 };
156
157 static struct resource code_resource = {
158         .name   = "Kernel code",
159         .start  = 0,
160         .end    = 0,
161         .flags  = IORESOURCE_BUSY | IORESOURCE_MEM
162 };
163
164 static struct resource bss_resource = {
165         .name   = "Kernel bss",
166         .start  = 0,
167         .end    = 0,
168         .flags  = IORESOURCE_BUSY | IORESOURCE_MEM
169 };
170
171
172 #ifdef CONFIG_X86_32
173 /* cpu data as detected by the assembly code in head.S */
174 struct cpuinfo_x86 new_cpu_data __cpuinitdata = {0, 0, 0, 0, -1, 1, 0, 0, -1};
175 /* common cpu data for all cpus */
176 struct cpuinfo_x86 boot_cpu_data __read_mostly = {0, 0, 0, 0, -1, 1, 0, 0, -1};
177 EXPORT_SYMBOL(boot_cpu_data);
178
179 unsigned int def_to_bigsmp;
180
181 /* for MCA, but anyone else can use it if they want */
182 unsigned int machine_id;
183 unsigned int machine_submodel_id;
184 unsigned int BIOS_revision;
185
186 struct apm_info apm_info;
187 EXPORT_SYMBOL(apm_info);
188
189 #if defined(CONFIG_X86_SPEEDSTEP_SMI) || \
190         defined(CONFIG_X86_SPEEDSTEP_SMI_MODULE)
191 struct ist_info ist_info;
192 EXPORT_SYMBOL(ist_info);
193 #else
194 struct ist_info ist_info;
195 #endif
196
197 #else
198 struct cpuinfo_x86 boot_cpu_data __read_mostly = {
199         .x86_phys_bits = MAX_PHYSMEM_BITS,
200 };
201 EXPORT_SYMBOL(boot_cpu_data);
202 #endif
203
204
205 #if !defined(CONFIG_X86_PAE) || defined(CONFIG_X86_64)
206 unsigned long mmu_cr4_features;
207 #else
208 unsigned long mmu_cr4_features = X86_CR4_PAE;
209 #endif
210
211 /* Boot loader ID and version as integers, for the benefit of proc_dointvec */
212 int bootloader_type, bootloader_version;
213
214 /*
215  * Setup options
216  */
217 struct screen_info screen_info;
218 EXPORT_SYMBOL(screen_info);
219 struct edid_info edid_info;
220 EXPORT_SYMBOL_GPL(edid_info);
221
222 extern int root_mountflags;
223
224 unsigned long saved_video_mode;
225
226 #define RAMDISK_IMAGE_START_MASK        0x07FF
227 #define RAMDISK_PROMPT_FLAG             0x8000
228 #define RAMDISK_LOAD_FLAG               0x4000
229
230 static char __initdata command_line[COMMAND_LINE_SIZE];
231 #ifdef CONFIG_CMDLINE_BOOL
232 static char __initdata builtin_cmdline[COMMAND_LINE_SIZE] = CONFIG_CMDLINE;
233 #endif
234
235 #if defined(CONFIG_EDD) || defined(CONFIG_EDD_MODULE)
236 struct edd edd;
237 #ifdef CONFIG_EDD_MODULE
238 EXPORT_SYMBOL(edd);
239 #endif
240 /**
241  * copy_edd() - Copy the BIOS EDD information
242  *              from boot_params into a safe place.
243  *
244  */
245 static inline void __init copy_edd(void)
246 {
247      memcpy(edd.mbr_signature, boot_params.edd_mbr_sig_buffer,
248             sizeof(edd.mbr_signature));
249      memcpy(edd.edd_info, boot_params.eddbuf, sizeof(edd.edd_info));
250      edd.mbr_signature_nr = boot_params.edd_mbr_sig_buf_entries;
251      edd.edd_info_nr = boot_params.eddbuf_entries;
252 }
253 #else
254 static inline void __init copy_edd(void)
255 {
256 }
257 #endif
258
259 void * __init extend_brk(size_t size, size_t align)
260 {
261         size_t mask = align - 1;
262         void *ret;
263
264         BUG_ON(_brk_start == 0);
265         BUG_ON(align & mask);
266
267         _brk_end = (_brk_end + mask) & ~mask;
268         BUG_ON((char *)(_brk_end + size) > __brk_limit);
269
270         ret = (void *)_brk_end;
271         _brk_end += size;
272
273         memset(ret, 0, size);
274
275         return ret;
276 }
277
278 #ifdef CONFIG_X86_32
279 static void __init cleanup_highmap(void)
280 {
281 }
282 #endif
283
284 static void __init reserve_brk(void)
285 {
286         if (_brk_end > _brk_start)
287                 memblock_reserve(__pa(_brk_start),
288                                  __pa(_brk_end) - __pa(_brk_start));
289
290         /* Mark brk area as locked down and no longer taking any
291            new allocations */
292         _brk_start = 0;
293 }
294
295 #ifdef CONFIG_BLK_DEV_INITRD
296
297 #define MAX_MAP_CHUNK   (NR_FIX_BTMAPS << PAGE_SHIFT)
298 static void __init relocate_initrd(void)
299 {
300         /* Assume only end is not page aligned */
301         u64 ramdisk_image = boot_params.hdr.ramdisk_image;
302         u64 ramdisk_size  = boot_params.hdr.ramdisk_size;
303         u64 area_size     = PAGE_ALIGN(ramdisk_size);
304         u64 ramdisk_here;
305         unsigned long slop, clen, mapaddr;
306         char *p, *q;
307
308         /* We need to move the initrd down into directly mapped mem */
309         ramdisk_here = memblock_find_in_range(0, PFN_PHYS(max_pfn_mapped),
310                                                  area_size, PAGE_SIZE);
311
312         if (!ramdisk_here)
313                 panic("Cannot find place for new RAMDISK of size %lld\n",
314                          ramdisk_size);
315
316         /* Note: this includes all the mem currently occupied by
317            the initrd, we rely on that fact to keep the data intact. */
318         memblock_reserve(ramdisk_here, area_size);
319         initrd_start = ramdisk_here + PAGE_OFFSET;
320         initrd_end   = initrd_start + ramdisk_size;
321         printk(KERN_INFO "Allocated new RAMDISK: [mem %#010llx-%#010llx]\n",
322                          ramdisk_here, ramdisk_here + ramdisk_size - 1);
323
324         q = (char *)initrd_start;
325
326         /* Copy the initrd */
327         while (ramdisk_size) {
328                 slop = ramdisk_image & ~PAGE_MASK;
329                 clen = ramdisk_size;
330                 if (clen > MAX_MAP_CHUNK-slop)
331                         clen = MAX_MAP_CHUNK-slop;
332                 mapaddr = ramdisk_image & PAGE_MASK;
333                 p = early_memremap(mapaddr, clen+slop);
334                 memcpy(q, p+slop, clen);
335                 early_iounmap(p, clen+slop);
336                 q += clen;
337                 ramdisk_image += clen;
338                 ramdisk_size  -= clen;
339         }
340
341         ramdisk_image = boot_params.hdr.ramdisk_image;
342         ramdisk_size  = boot_params.hdr.ramdisk_size;
343         printk(KERN_INFO "Move RAMDISK from [mem %#010llx-%#010llx] to"
344                 " [mem %#010llx-%#010llx]\n",
345                 ramdisk_image, ramdisk_image + ramdisk_size - 1,
346                 ramdisk_here, ramdisk_here + ramdisk_size - 1);
347 }
348
349 static u64 __init get_mem_size(unsigned long limit_pfn)
350 {
351         int i;
352         u64 mapped_pages = 0;
353         unsigned long start_pfn, end_pfn;
354
355         for_each_mem_pfn_range(i, MAX_NUMNODES, &start_pfn, &end_pfn, NULL) {
356                 start_pfn = min_t(unsigned long, start_pfn, limit_pfn);
357                 end_pfn = min_t(unsigned long, end_pfn, limit_pfn);
358                 mapped_pages += end_pfn - start_pfn;
359         }
360
361         return mapped_pages << PAGE_SHIFT;
362 }
363 static void __init reserve_initrd(void)
364 {
365         /* Assume only end is not page aligned */
366         u64 ramdisk_image = boot_params.hdr.ramdisk_image;
367         u64 ramdisk_size  = boot_params.hdr.ramdisk_size;
368         u64 ramdisk_end   = PAGE_ALIGN(ramdisk_image + ramdisk_size);
369         u64 mapped_size;
370
371         if (!boot_params.hdr.type_of_loader ||
372             !ramdisk_image || !ramdisk_size)
373                 return;         /* No initrd provided by bootloader */
374
375         initrd_start = 0;
376
377         mapped_size = get_mem_size(max_pfn_mapped);
378         if (ramdisk_size >= (mapped_size>>1))
379                 panic("initrd too large to handle, "
380                        "disabling initrd (%lld needed, %lld available)\n",
381                        ramdisk_size, mapped_size>>1);
382
383         printk(KERN_INFO "RAMDISK: [mem %#010llx-%#010llx]\n", ramdisk_image,
384                         ramdisk_end - 1);
385
386         if (pfn_range_is_mapped(PFN_DOWN(ramdisk_image),
387                                 PFN_DOWN(ramdisk_end))) {
388                 /* All are mapped, easy case */
389                 /*
390                  * don't need to reserve again, already reserved early
391                  * in i386_start_kernel
392                  */
393                 initrd_start = ramdisk_image + PAGE_OFFSET;
394                 initrd_end = initrd_start + ramdisk_size;
395                 return;
396         }
397
398         relocate_initrd();
399
400         memblock_free(ramdisk_image, ramdisk_end - ramdisk_image);
401 }
402 #else
403 static void __init reserve_initrd(void)
404 {
405 }
406 #endif /* CONFIG_BLK_DEV_INITRD */
407
408 static void __init parse_setup_data(void)
409 {
410         struct setup_data *data;
411         u64 pa_data;
412
413         if (boot_params.hdr.version < 0x0209)
414                 return;
415         pa_data = boot_params.hdr.setup_data;
416         while (pa_data) {
417                 u32 data_len, map_len;
418
419                 map_len = max(PAGE_SIZE - (pa_data & ~PAGE_MASK),
420                               (u64)sizeof(struct setup_data));
421                 data = early_memremap(pa_data, map_len);
422                 data_len = data->len + sizeof(struct setup_data);
423                 if (data_len > map_len) {
424                         early_iounmap(data, map_len);
425                         data = early_memremap(pa_data, data_len);
426                         map_len = data_len;
427                 }
428
429                 switch (data->type) {
430                 case SETUP_E820_EXT:
431                         parse_e820_ext(data);
432                         break;
433                 case SETUP_DTB:
434                         add_dtb(pa_data);
435                         break;
436                 default:
437                         break;
438                 }
439                 pa_data = data->next;
440                 early_iounmap(data, map_len);
441         }
442 }
443
444 static void __init e820_reserve_setup_data(void)
445 {
446         struct setup_data *data;
447         u64 pa_data;
448         int found = 0;
449
450         if (boot_params.hdr.version < 0x0209)
451                 return;
452         pa_data = boot_params.hdr.setup_data;
453         while (pa_data) {
454                 data = early_memremap(pa_data, sizeof(*data));
455                 e820_update_range(pa_data, sizeof(*data)+data->len,
456                          E820_RAM, E820_RESERVED_KERN);
457                 found = 1;
458                 pa_data = data->next;
459                 early_iounmap(data, sizeof(*data));
460         }
461         if (!found)
462                 return;
463
464         sanitize_e820_map(e820.map, ARRAY_SIZE(e820.map), &e820.nr_map);
465         memcpy(&e820_saved, &e820, sizeof(struct e820map));
466         printk(KERN_INFO "extended physical RAM map:\n");
467         e820_print_map("reserve setup_data");
468 }
469
470 static void __init memblock_x86_reserve_range_setup_data(void)
471 {
472         struct setup_data *data;
473         u64 pa_data;
474
475         if (boot_params.hdr.version < 0x0209)
476                 return;
477         pa_data = boot_params.hdr.setup_data;
478         while (pa_data) {
479                 data = early_memremap(pa_data, sizeof(*data));
480                 memblock_reserve(pa_data, sizeof(*data) + data->len);
481                 pa_data = data->next;
482                 early_iounmap(data, sizeof(*data));
483         }
484 }
485
486 /*
487  * --------- Crashkernel reservation ------------------------------
488  */
489
490 #ifdef CONFIG_KEXEC
491
492 /*
493  * Keep the crash kernel below this limit.  On 32 bits earlier kernels
494  * would limit the kernel to the low 512 MiB due to mapping restrictions.
495  * On 64 bits, kexec-tools currently limits us to 896 MiB; increase this
496  * limit once kexec-tools are fixed.
497  */
498 #ifdef CONFIG_X86_32
499 # define CRASH_KERNEL_ADDR_MAX  (512 << 20)
500 #else
501 # define CRASH_KERNEL_ADDR_MAX  (896 << 20)
502 #endif
503
504 static void __init reserve_crashkernel(void)
505 {
506         unsigned long long total_mem;
507         unsigned long long crash_size, crash_base;
508         int ret;
509
510         total_mem = memblock_phys_mem_size();
511
512         ret = parse_crashkernel(boot_command_line, total_mem,
513                         &crash_size, &crash_base);
514         if (ret != 0 || crash_size <= 0)
515                 return;
516
517         /* 0 means: find the address automatically */
518         if (crash_base <= 0) {
519                 const unsigned long long alignment = 16<<20;    /* 16M */
520
521                 /*
522                  *  kexec want bzImage is below CRASH_KERNEL_ADDR_MAX
523                  */
524                 crash_base = memblock_find_in_range(alignment,
525                                CRASH_KERNEL_ADDR_MAX, crash_size, alignment);
526
527                 if (!crash_base) {
528                         pr_info("crashkernel reservation failed - No suitable area found.\n");
529                         return;
530                 }
531         } else {
532                 unsigned long long start;
533
534                 start = memblock_find_in_range(crash_base,
535                                  crash_base + crash_size, crash_size, 1<<20);
536                 if (start != crash_base) {
537                         pr_info("crashkernel reservation failed - memory is in use.\n");
538                         return;
539                 }
540         }
541         memblock_reserve(crash_base, crash_size);
542
543         printk(KERN_INFO "Reserving %ldMB of memory at %ldMB "
544                         "for crashkernel (System RAM: %ldMB)\n",
545                         (unsigned long)(crash_size >> 20),
546                         (unsigned long)(crash_base >> 20),
547                         (unsigned long)(total_mem >> 20));
548
549         crashk_res.start = crash_base;
550         crashk_res.end   = crash_base + crash_size - 1;
551         insert_resource(&iomem_resource, &crashk_res);
552 }
553 #else
554 static void __init reserve_crashkernel(void)
555 {
556 }
557 #endif
558
559 static struct resource standard_io_resources[] = {
560         { .name = "dma1", .start = 0x00, .end = 0x1f,
561                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
562         { .name = "pic1", .start = 0x20, .end = 0x21,
563                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
564         { .name = "timer0", .start = 0x40, .end = 0x43,
565                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
566         { .name = "timer1", .start = 0x50, .end = 0x53,
567                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
568         { .name = "keyboard", .start = 0x60, .end = 0x60,
569                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
570         { .name = "keyboard", .start = 0x64, .end = 0x64,
571                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
572         { .name = "dma page reg", .start = 0x80, .end = 0x8f,
573                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
574         { .name = "pic2", .start = 0xa0, .end = 0xa1,
575                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
576         { .name = "dma2", .start = 0xc0, .end = 0xdf,
577                 .flags = IORESOURCE_BUSY | IORESOURCE_IO },
578         { .name = "fpu", .start = 0xf0, .end = 0xff,
579                 .flags = IORESOURCE_BUSY | IORESOURCE_IO }
580 };
581
582 void __init reserve_standard_io_resources(void)
583 {
584         int i;
585
586         /* request I/O space for devices used on all i[345]86 PCs */
587         for (i = 0; i < ARRAY_SIZE(standard_io_resources); i++)
588                 request_resource(&ioport_resource, &standard_io_resources[i]);
589
590 }
591
592 static __init void reserve_ibft_region(void)
593 {
594         unsigned long addr, size = 0;
595
596         addr = find_ibft_region(&size);
597
598         if (size)
599                 memblock_reserve(addr, size);
600 }
601
602 static unsigned reserve_low = CONFIG_X86_RESERVE_LOW << 10;
603
604 static bool __init snb_gfx_workaround_needed(void)
605 {
606 #ifdef CONFIG_PCI
607         int i;
608         u16 vendor, devid;
609         static const __initconst u16 snb_ids[] = {
610                 0x0102,
611                 0x0112,
612                 0x0122,
613                 0x0106,
614                 0x0116,
615                 0x0126,
616                 0x010a,
617         };
618
619         /* Assume no if something weird is going on with PCI */
620         if (!early_pci_allowed())
621                 return false;
622
623         vendor = read_pci_config_16(0, 2, 0, PCI_VENDOR_ID);
624         if (vendor != 0x8086)
625                 return false;
626
627         devid = read_pci_config_16(0, 2, 0, PCI_DEVICE_ID);
628         for (i = 0; i < ARRAY_SIZE(snb_ids); i++)
629                 if (devid == snb_ids[i])
630                         return true;
631 #endif
632
633         return false;
634 }
635
636 /*
637  * Sandy Bridge graphics has trouble with certain ranges, exclude
638  * them from allocation.
639  */
640 static void __init trim_snb_memory(void)
641 {
642         static const __initconst unsigned long bad_pages[] = {
643                 0x20050000,
644                 0x20110000,
645                 0x20130000,
646                 0x20138000,
647                 0x40004000,
648         };
649         int i;
650
651         if (!snb_gfx_workaround_needed())
652                 return;
653
654         printk(KERN_DEBUG "reserving inaccessible SNB gfx pages\n");
655
656         /*
657          * Reserve all memory below the 1 MB mark that has not
658          * already been reserved.
659          */
660         memblock_reserve(0, 1<<20);
661         
662         for (i = 0; i < ARRAY_SIZE(bad_pages); i++) {
663                 if (memblock_reserve(bad_pages[i], PAGE_SIZE))
664                         printk(KERN_WARNING "failed to reserve 0x%08lx\n",
665                                bad_pages[i]);
666         }
667 }
668
669 /*
670  * Here we put platform-specific memory range workarounds, i.e.
671  * memory known to be corrupt or otherwise in need to be reserved on
672  * specific platforms.
673  *
674  * If this gets used more widely it could use a real dispatch mechanism.
675  */
676 static void __init trim_platform_memory_ranges(void)
677 {
678         trim_snb_memory();
679 }
680
681 static void __init trim_bios_range(void)
682 {
683         /*
684          * A special case is the first 4Kb of memory;
685          * This is a BIOS owned area, not kernel ram, but generally
686          * not listed as such in the E820 table.
687          *
688          * This typically reserves additional memory (64KiB by default)
689          * since some BIOSes are known to corrupt low memory.  See the
690          * Kconfig help text for X86_RESERVE_LOW.
691          */
692         e820_update_range(0, ALIGN(reserve_low, PAGE_SIZE),
693                           E820_RAM, E820_RESERVED);
694
695         /*
696          * special case: Some BIOSen report the PC BIOS
697          * area (640->1Mb) as ram even though it is not.
698          * take them out.
699          */
700         e820_remove_range(BIOS_BEGIN, BIOS_END - BIOS_BEGIN, E820_RAM, 1);
701
702         sanitize_e820_map(e820.map, ARRAY_SIZE(e820.map), &e820.nr_map);
703 }
704
705 static int __init parse_reservelow(char *p)
706 {
707         unsigned long long size;
708
709         if (!p)
710                 return -EINVAL;
711
712         size = memparse(p, &p);
713
714         if (size < 4096)
715                 size = 4096;
716
717         if (size > 640*1024)
718                 size = 640*1024;
719
720         reserve_low = size;
721
722         return 0;
723 }
724
725 early_param("reservelow", parse_reservelow);
726
727 /*
728  * Determine if we were loaded by an EFI loader.  If so, then we have also been
729  * passed the efi memmap, systab, etc., so we should use these data structures
730  * for initialization.  Note, the efi init code path is determined by the
731  * global efi_enabled. This allows the same kernel image to be used on existing
732  * systems (with a traditional BIOS) as well as on EFI systems.
733  */
734 /*
735  * setup_arch - architecture-specific boot-time initializations
736  *
737  * Note: On x86_64, fixmaps are ready for use even before this is called.
738  */
739
740 void __init setup_arch(char **cmdline_p)
741 {
742 #ifdef CONFIG_X86_32
743         memcpy(&boot_cpu_data, &new_cpu_data, sizeof(new_cpu_data));
744         visws_early_detect();
745
746         /*
747          * copy kernel address range established so far and switch
748          * to the proper swapper page table
749          */
750         clone_pgd_range(swapper_pg_dir     + KERNEL_PGD_BOUNDARY,
751                         initial_page_table + KERNEL_PGD_BOUNDARY,
752                         KERNEL_PGD_PTRS);
753
754         load_cr3(swapper_pg_dir);
755         __flush_tlb_all();
756 #else
757         printk(KERN_INFO "Command line: %s\n", boot_command_line);
758 #endif
759
760         /*
761          * If we have OLPC OFW, we might end up relocating the fixmap due to
762          * reserve_top(), so do this before touching the ioremap area.
763          */
764         olpc_ofw_detect();
765
766         early_trap_init();
767         early_cpu_init();
768         early_ioremap_init();
769
770         setup_olpc_ofw_pgd();
771
772         ROOT_DEV = old_decode_dev(boot_params.hdr.root_dev);
773         screen_info = boot_params.screen_info;
774         edid_info = boot_params.edid_info;
775 #ifdef CONFIG_X86_32
776         apm_info.bios = boot_params.apm_bios_info;
777         ist_info = boot_params.ist_info;
778         if (boot_params.sys_desc_table.length != 0) {
779                 machine_id = boot_params.sys_desc_table.table[0];
780                 machine_submodel_id = boot_params.sys_desc_table.table[1];
781                 BIOS_revision = boot_params.sys_desc_table.table[2];
782         }
783 #endif
784         saved_video_mode = boot_params.hdr.vid_mode;
785         bootloader_type = boot_params.hdr.type_of_loader;
786         if ((bootloader_type >> 4) == 0xe) {
787                 bootloader_type &= 0xf;
788                 bootloader_type |= (boot_params.hdr.ext_loader_type+0x10) << 4;
789         }
790         bootloader_version  = bootloader_type & 0xf;
791         bootloader_version |= boot_params.hdr.ext_loader_ver << 4;
792
793 #ifdef CONFIG_BLK_DEV_RAM
794         rd_image_start = boot_params.hdr.ram_size & RAMDISK_IMAGE_START_MASK;
795         rd_prompt = ((boot_params.hdr.ram_size & RAMDISK_PROMPT_FLAG) != 0);
796         rd_doload = ((boot_params.hdr.ram_size & RAMDISK_LOAD_FLAG) != 0);
797 #endif
798 #ifdef CONFIG_EFI
799         if (!strncmp((char *)&boot_params.efi_info.efi_loader_signature,
800                      "EL32", 4)) {
801                 efi_enabled = 1;
802                 efi_64bit = false;
803         } else if (!strncmp((char *)&boot_params.efi_info.efi_loader_signature,
804                      "EL64", 4)) {
805                 efi_enabled = 1;
806                 efi_64bit = true;
807         }
808         if (efi_enabled && efi_memblock_x86_reserve_range())
809                 efi_enabled = 0;
810 #endif
811
812         x86_init.oem.arch_setup();
813
814         iomem_resource.end = (1ULL << boot_cpu_data.x86_phys_bits) - 1;
815         setup_memory_map();
816         parse_setup_data();
817         /* update the e820_saved too */
818         e820_reserve_setup_data();
819
820         copy_edd();
821
822         if (!boot_params.hdr.root_flags)
823                 root_mountflags &= ~MS_RDONLY;
824         init_mm.start_code = (unsigned long) _text;
825         init_mm.end_code = (unsigned long) _etext;
826         init_mm.end_data = (unsigned long) _edata;
827         init_mm.brk = _brk_end;
828
829         code_resource.start = virt_to_phys(_text);
830         code_resource.end = virt_to_phys(_etext)-1;
831         data_resource.start = virt_to_phys(_etext);
832         data_resource.end = virt_to_phys(_edata)-1;
833         bss_resource.start = virt_to_phys(&__bss_start);
834         bss_resource.end = virt_to_phys(&__bss_stop)-1;
835
836 #ifdef CONFIG_CMDLINE_BOOL
837 #ifdef CONFIG_CMDLINE_OVERRIDE
838         strlcpy(boot_command_line, builtin_cmdline, COMMAND_LINE_SIZE);
839 #else
840         if (builtin_cmdline[0]) {
841                 /* append boot loader cmdline to builtin */
842                 strlcat(builtin_cmdline, " ", COMMAND_LINE_SIZE);
843                 strlcat(builtin_cmdline, boot_command_line, COMMAND_LINE_SIZE);
844                 strlcpy(boot_command_line, builtin_cmdline, COMMAND_LINE_SIZE);
845         }
846 #endif
847 #endif
848
849         strlcpy(command_line, boot_command_line, COMMAND_LINE_SIZE);
850         *cmdline_p = command_line;
851
852         /*
853          * x86_configure_nx() is called before parse_early_param() to detect
854          * whether hardware doesn't support NX (so that the early EHCI debug
855          * console setup can safely call set_fixmap()). It may then be called
856          * again from within noexec_setup() during parsing early parameters
857          * to honor the respective command line option.
858          */
859         x86_configure_nx();
860
861         parse_early_param();
862
863         x86_report_nx();
864
865         /* after early param, so could get panic from serial */
866         memblock_x86_reserve_range_setup_data();
867
868         if (acpi_mps_check()) {
869 #ifdef CONFIG_X86_LOCAL_APIC
870                 disable_apic = 1;
871 #endif
872                 setup_clear_cpu_cap(X86_FEATURE_APIC);
873         }
874
875 #ifdef CONFIG_PCI
876         if (pci_early_dump_regs)
877                 early_dump_pci_devices();
878 #endif
879
880         finish_e820_parsing();
881
882         if (efi_enabled)
883                 efi_init();
884
885         dmi_scan_machine();
886
887         /*
888          * VMware detection requires dmi to be available, so this
889          * needs to be done after dmi_scan_machine, for the BP.
890          */
891         init_hypervisor_platform();
892
893         x86_init.resources.probe_roms();
894
895         /* after parse_early_param, so could debug it */
896         insert_resource(&iomem_resource, &code_resource);
897         insert_resource(&iomem_resource, &data_resource);
898         insert_resource(&iomem_resource, &bss_resource);
899
900         /*
901          * Complain if .text .data and .bss are not marked as E820_RAM and
902          * attempt to fix it by adding the range. We may have a confused BIOS,
903          * or the user may have incorrectly supplied it via memmap=exactmap. If
904          * we really are running on top non-RAM, we will crash later anyways.
905          */
906         if (!e820_all_mapped(code_resource.start, __pa(__brk_limit), E820_RAM)) {
907                 pr_warn(".text .data .bss are not marked as E820_RAM!\n");
908
909                 e820_add_region(code_resource.start,
910                                 __pa(__brk_limit) - code_resource.start + 1,
911                                 E820_RAM);
912         }
913
914         trim_bios_range();
915 #ifdef CONFIG_X86_32
916         if (ppro_with_ram_bug()) {
917                 e820_update_range(0x70000000ULL, 0x40000ULL, E820_RAM,
918                                   E820_RESERVED);
919                 sanitize_e820_map(e820.map, ARRAY_SIZE(e820.map), &e820.nr_map);
920                 printk(KERN_INFO "fixed physical RAM map:\n");
921                 e820_print_map("bad_ppro");
922         }
923 #else
924         early_gart_iommu_check();
925 #endif
926
927         /*
928          * partially used pages are not usable - thus
929          * we are rounding upwards:
930          */
931         max_pfn = e820_end_of_ram_pfn();
932
933         /* update e820 for memory not covered by WB MTRRs */
934         mtrr_bp_init();
935         if (mtrr_trim_uncached_memory(max_pfn))
936                 max_pfn = e820_end_of_ram_pfn();
937
938 #ifdef CONFIG_X86_32
939         /* max_low_pfn get updated here */
940         find_low_pfn_range();
941 #else
942         num_physpages = max_pfn;
943
944         check_x2apic();
945
946         /* How many end-of-memory variables you have, grandma! */
947         /* need this before calling reserve_initrd */
948         if (max_pfn > (1UL<<(32 - PAGE_SHIFT)))
949                 max_low_pfn = e820_end_of_low_ram_pfn();
950         else
951                 max_low_pfn = max_pfn;
952
953         high_memory = (void *)__va(max_pfn * PAGE_SIZE - 1) + 1;
954 #endif
955
956         /*
957          * Find and reserve possible boot-time SMP configuration:
958          */
959         find_smp_config();
960
961         reserve_ibft_region();
962
963         early_alloc_pgt_buf();
964
965         /*
966          * Need to conclude brk, before memblock_x86_fill()
967          *  it could use memblock_find_in_range, could overlap with
968          *  brk area.
969          */
970         reserve_brk();
971
972         cleanup_highmap();
973
974         memblock.current_limit = ISA_END_ADDRESS;
975         memblock_x86_fill();
976
977         /*
978          * The EFI specification says that boot service code won't be called
979          * after ExitBootServices(). This is, in fact, a lie.
980          */
981         if (efi_enabled)
982                 efi_reserve_boot_services();
983
984         /* preallocate 4k for mptable mpc */
985         early_reserve_e820_mpc_new();
986
987 #ifdef CONFIG_X86_CHECK_BIOS_CORRUPTION
988         setup_bios_corruption_check();
989 #endif
990
991         printk(KERN_DEBUG "initial memory mapped: [mem 0x00000000-%#010lx]\n",
992                         (max_pfn_mapped<<PAGE_SHIFT) - 1);
993
994         setup_real_mode();
995
996         trim_platform_memory_ranges();
997
998         init_mem_mapping();
999
1000         memblock.current_limit = get_max_mapped();
1001         dma_contiguous_reserve(0);
1002
1003         /*
1004          * NOTE: On x86-32, only from this point on, fixmaps are ready for use.
1005          */
1006
1007 #ifdef CONFIG_PROVIDE_OHCI1394_DMA_INIT
1008         if (init_ohci1394_dma_early)
1009                 init_ohci1394_dma_on_all_controllers();
1010 #endif
1011         /* Allocate bigger log buffer */
1012         setup_log_buf(1);
1013
1014         reserve_initrd();
1015
1016 #if defined(CONFIG_ACPI) && defined(CONFIG_BLK_DEV_INITRD)
1017         acpi_initrd_override((void *)initrd_start, initrd_end - initrd_start);
1018 #endif
1019
1020         reserve_crashkernel();
1021
1022         vsmp_init();
1023
1024         io_delay_init();
1025
1026         /*
1027          * Parse the ACPI tables for possible boot-time SMP configuration.
1028          */
1029         acpi_boot_table_init();
1030
1031         early_acpi_boot_init();
1032
1033         initmem_init();
1034         memblock_find_dma_reserve();
1035
1036 #ifdef CONFIG_KVM_GUEST
1037         kvmclock_init();
1038 #endif
1039
1040         x86_init.paging.pagetable_init();
1041
1042         if (boot_cpu_data.cpuid_level >= 0) {
1043                 /* A CPU has %cr4 if and only if it has CPUID */
1044                 mmu_cr4_features = read_cr4();
1045                 if (trampoline_cr4_features)
1046                         *trampoline_cr4_features = mmu_cr4_features;
1047         }
1048
1049 #ifdef CONFIG_X86_32
1050         /* sync back kernel address range */
1051         clone_pgd_range(initial_page_table + KERNEL_PGD_BOUNDARY,
1052                         swapper_pg_dir     + KERNEL_PGD_BOUNDARY,
1053                         KERNEL_PGD_PTRS);
1054 #endif
1055
1056         tboot_probe();
1057
1058 #ifdef CONFIG_X86_64
1059         map_vsyscall();
1060 #endif
1061
1062         generic_apic_probe();
1063
1064         early_quirks();
1065
1066         /*
1067          * Read APIC and some other early information from ACPI tables.
1068          */
1069         acpi_boot_init();
1070         sfi_init();
1071         x86_dtb_init();
1072
1073         /*
1074          * get boot-time SMP configuration:
1075          */
1076         if (smp_found_config)
1077                 get_smp_config();
1078
1079         prefill_possible_map();
1080
1081         init_cpu_to_node();
1082
1083         init_apic_mappings();
1084         if (x86_io_apic_ops.init)
1085                 x86_io_apic_ops.init();
1086
1087         kvm_guest_init();
1088
1089         e820_reserve_resources();
1090         e820_mark_nosave_regions(max_low_pfn);
1091
1092         x86_init.resources.reserve_resources();
1093
1094         e820_setup_gap();
1095
1096 #ifdef CONFIG_VT
1097 #if defined(CONFIG_VGA_CONSOLE)
1098         if (!efi_enabled || (efi_mem_type(0xa0000) != EFI_CONVENTIONAL_MEMORY))
1099                 conswitchp = &vga_con;
1100 #elif defined(CONFIG_DUMMY_CONSOLE)
1101         conswitchp = &dummy_con;
1102 #endif
1103 #endif
1104         x86_init.oem.banner();
1105
1106         x86_init.timers.wallclock_init();
1107
1108         mcheck_init();
1109
1110         arch_init_ideal_nops();
1111
1112         register_refined_jiffies(CLOCK_TICK_RATE);
1113
1114 #ifdef CONFIG_EFI
1115         /* Once setup is done above, disable efi_enabled on mismatched
1116          * firmware/kernel archtectures since there is no support for
1117          * runtime services.
1118          */
1119         if (efi_enabled && IS_ENABLED(CONFIG_X86_64) != efi_64bit) {
1120                 pr_info("efi: Setup done, disabling due to 32/64-bit mismatch\n");
1121                 efi_unmap_memmap();
1122                 efi_enabled = 0;
1123         }
1124 #endif
1125 }
1126
1127 #ifdef CONFIG_X86_32
1128
1129 static struct resource video_ram_resource = {
1130         .name   = "Video RAM area",
1131         .start  = 0xa0000,
1132         .end    = 0xbffff,
1133         .flags  = IORESOURCE_BUSY | IORESOURCE_MEM
1134 };
1135
1136 void __init i386_reserve_resources(void)
1137 {
1138         request_resource(&iomem_resource, &video_ram_resource);
1139         reserve_standard_io_resources();
1140 }
1141
1142 #endif /* CONFIG_X86_32 */