Merge tag 'regmap-3.9' of git://git.kernel.org/pub/scm/linux/kernel/git/broonie/regmap
[~shefty/rdma-dev.git] / drivers / base / regmap / regmap.c
1 /*
2  * Register map access API
3  *
4  * Copyright 2011 Wolfson Microelectronics plc
5  *
6  * Author: Mark Brown <broonie@opensource.wolfsonmicro.com>
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License version 2 as
10  * published by the Free Software Foundation.
11  */
12
13 #include <linux/device.h>
14 #include <linux/slab.h>
15 #include <linux/export.h>
16 #include <linux/mutex.h>
17 #include <linux/err.h>
18 #include <linux/rbtree.h>
19 #include <linux/sched.h>
20
21 #define CREATE_TRACE_POINTS
22 #include <trace/events/regmap.h>
23
24 #include "internal.h"
25
26 /*
27  * Sometimes for failures during very early init the trace
28  * infrastructure isn't available early enough to be used.  For this
29  * sort of problem defining LOG_DEVICE will add printks for basic
30  * register I/O on a specific device.
31  */
32 #undef LOG_DEVICE
33
34 static int _regmap_update_bits(struct regmap *map, unsigned int reg,
35                                unsigned int mask, unsigned int val,
36                                bool *change);
37
38 static int _regmap_bus_read(void *context, unsigned int reg,
39                             unsigned int *val);
40 static int _regmap_bus_formatted_write(void *context, unsigned int reg,
41                                        unsigned int val);
42 static int _regmap_bus_raw_write(void *context, unsigned int reg,
43                                  unsigned int val);
44
45 static void async_cleanup(struct work_struct *work)
46 {
47         struct regmap_async *async = container_of(work, struct regmap_async,
48                                                   cleanup);
49
50         kfree(async->work_buf);
51         kfree(async);
52 }
53
54 bool regmap_reg_in_ranges(unsigned int reg,
55                           const struct regmap_range *ranges,
56                           unsigned int nranges)
57 {
58         const struct regmap_range *r;
59         int i;
60
61         for (i = 0, r = ranges; i < nranges; i++, r++)
62                 if (regmap_reg_in_range(reg, r))
63                         return true;
64         return false;
65 }
66 EXPORT_SYMBOL_GPL(regmap_reg_in_ranges);
67
68 static bool _regmap_check_range_table(struct regmap *map,
69                                       unsigned int reg,
70                                       const struct regmap_access_table *table)
71 {
72         /* Check "no ranges" first */
73         if (regmap_reg_in_ranges(reg, table->no_ranges, table->n_no_ranges))
74                 return false;
75
76         /* In case zero "yes ranges" are supplied, any reg is OK */
77         if (!table->n_yes_ranges)
78                 return true;
79
80         return regmap_reg_in_ranges(reg, table->yes_ranges,
81                                     table->n_yes_ranges);
82 }
83
84 bool regmap_writeable(struct regmap *map, unsigned int reg)
85 {
86         if (map->max_register && reg > map->max_register)
87                 return false;
88
89         if (map->writeable_reg)
90                 return map->writeable_reg(map->dev, reg);
91
92         if (map->wr_table)
93                 return _regmap_check_range_table(map, reg, map->wr_table);
94
95         return true;
96 }
97
98 bool regmap_readable(struct regmap *map, unsigned int reg)
99 {
100         if (map->max_register && reg > map->max_register)
101                 return false;
102
103         if (map->format.format_write)
104                 return false;
105
106         if (map->readable_reg)
107                 return map->readable_reg(map->dev, reg);
108
109         if (map->rd_table)
110                 return _regmap_check_range_table(map, reg, map->rd_table);
111
112         return true;
113 }
114
115 bool regmap_volatile(struct regmap *map, unsigned int reg)
116 {
117         if (!regmap_readable(map, reg))
118                 return false;
119
120         if (map->volatile_reg)
121                 return map->volatile_reg(map->dev, reg);
122
123         if (map->volatile_table)
124                 return _regmap_check_range_table(map, reg, map->volatile_table);
125
126         return true;
127 }
128
129 bool regmap_precious(struct regmap *map, unsigned int reg)
130 {
131         if (!regmap_readable(map, reg))
132                 return false;
133
134         if (map->precious_reg)
135                 return map->precious_reg(map->dev, reg);
136
137         if (map->precious_table)
138                 return _regmap_check_range_table(map, reg, map->precious_table);
139
140         return false;
141 }
142
143 static bool regmap_volatile_range(struct regmap *map, unsigned int reg,
144         size_t num)
145 {
146         unsigned int i;
147
148         for (i = 0; i < num; i++)
149                 if (!regmap_volatile(map, reg + i))
150                         return false;
151
152         return true;
153 }
154
155 static void regmap_format_2_6_write(struct regmap *map,
156                                      unsigned int reg, unsigned int val)
157 {
158         u8 *out = map->work_buf;
159
160         *out = (reg << 6) | val;
161 }
162
163 static void regmap_format_4_12_write(struct regmap *map,
164                                      unsigned int reg, unsigned int val)
165 {
166         __be16 *out = map->work_buf;
167         *out = cpu_to_be16((reg << 12) | val);
168 }
169
170 static void regmap_format_7_9_write(struct regmap *map,
171                                     unsigned int reg, unsigned int val)
172 {
173         __be16 *out = map->work_buf;
174         *out = cpu_to_be16((reg << 9) | val);
175 }
176
177 static void regmap_format_10_14_write(struct regmap *map,
178                                     unsigned int reg, unsigned int val)
179 {
180         u8 *out = map->work_buf;
181
182         out[2] = val;
183         out[1] = (val >> 8) | (reg << 6);
184         out[0] = reg >> 2;
185 }
186
187 static void regmap_format_8(void *buf, unsigned int val, unsigned int shift)
188 {
189         u8 *b = buf;
190
191         b[0] = val << shift;
192 }
193
194 static void regmap_format_16_be(void *buf, unsigned int val, unsigned int shift)
195 {
196         __be16 *b = buf;
197
198         b[0] = cpu_to_be16(val << shift);
199 }
200
201 static void regmap_format_16_native(void *buf, unsigned int val,
202                                     unsigned int shift)
203 {
204         *(u16 *)buf = val << shift;
205 }
206
207 static void regmap_format_24(void *buf, unsigned int val, unsigned int shift)
208 {
209         u8 *b = buf;
210
211         val <<= shift;
212
213         b[0] = val >> 16;
214         b[1] = val >> 8;
215         b[2] = val;
216 }
217
218 static void regmap_format_32_be(void *buf, unsigned int val, unsigned int shift)
219 {
220         __be32 *b = buf;
221
222         b[0] = cpu_to_be32(val << shift);
223 }
224
225 static void regmap_format_32_native(void *buf, unsigned int val,
226                                     unsigned int shift)
227 {
228         *(u32 *)buf = val << shift;
229 }
230
231 static unsigned int regmap_parse_8(void *buf)
232 {
233         u8 *b = buf;
234
235         return b[0];
236 }
237
238 static unsigned int regmap_parse_16_be(void *buf)
239 {
240         __be16 *b = buf;
241
242         b[0] = be16_to_cpu(b[0]);
243
244         return b[0];
245 }
246
247 static unsigned int regmap_parse_16_native(void *buf)
248 {
249         return *(u16 *)buf;
250 }
251
252 static unsigned int regmap_parse_24(void *buf)
253 {
254         u8 *b = buf;
255         unsigned int ret = b[2];
256         ret |= ((unsigned int)b[1]) << 8;
257         ret |= ((unsigned int)b[0]) << 16;
258
259         return ret;
260 }
261
262 static unsigned int regmap_parse_32_be(void *buf)
263 {
264         __be32 *b = buf;
265
266         b[0] = be32_to_cpu(b[0]);
267
268         return b[0];
269 }
270
271 static unsigned int regmap_parse_32_native(void *buf)
272 {
273         return *(u32 *)buf;
274 }
275
276 static void regmap_lock_mutex(void *__map)
277 {
278         struct regmap *map = __map;
279         mutex_lock(&map->mutex);
280 }
281
282 static void regmap_unlock_mutex(void *__map)
283 {
284         struct regmap *map = __map;
285         mutex_unlock(&map->mutex);
286 }
287
288 static void regmap_lock_spinlock(void *__map)
289 {
290         struct regmap *map = __map;
291         spin_lock(&map->spinlock);
292 }
293
294 static void regmap_unlock_spinlock(void *__map)
295 {
296         struct regmap *map = __map;
297         spin_unlock(&map->spinlock);
298 }
299
300 static void dev_get_regmap_release(struct device *dev, void *res)
301 {
302         /*
303          * We don't actually have anything to do here; the goal here
304          * is not to manage the regmap but to provide a simple way to
305          * get the regmap back given a struct device.
306          */
307 }
308
309 static bool _regmap_range_add(struct regmap *map,
310                               struct regmap_range_node *data)
311 {
312         struct rb_root *root = &map->range_tree;
313         struct rb_node **new = &(root->rb_node), *parent = NULL;
314
315         while (*new) {
316                 struct regmap_range_node *this =
317                         container_of(*new, struct regmap_range_node, node);
318
319                 parent = *new;
320                 if (data->range_max < this->range_min)
321                         new = &((*new)->rb_left);
322                 else if (data->range_min > this->range_max)
323                         new = &((*new)->rb_right);
324                 else
325                         return false;
326         }
327
328         rb_link_node(&data->node, parent, new);
329         rb_insert_color(&data->node, root);
330
331         return true;
332 }
333
334 static struct regmap_range_node *_regmap_range_lookup(struct regmap *map,
335                                                       unsigned int reg)
336 {
337         struct rb_node *node = map->range_tree.rb_node;
338
339         while (node) {
340                 struct regmap_range_node *this =
341                         container_of(node, struct regmap_range_node, node);
342
343                 if (reg < this->range_min)
344                         node = node->rb_left;
345                 else if (reg > this->range_max)
346                         node = node->rb_right;
347                 else
348                         return this;
349         }
350
351         return NULL;
352 }
353
354 static void regmap_range_exit(struct regmap *map)
355 {
356         struct rb_node *next;
357         struct regmap_range_node *range_node;
358
359         next = rb_first(&map->range_tree);
360         while (next) {
361                 range_node = rb_entry(next, struct regmap_range_node, node);
362                 next = rb_next(&range_node->node);
363                 rb_erase(&range_node->node, &map->range_tree);
364                 kfree(range_node);
365         }
366
367         kfree(map->selector_work_buf);
368 }
369
370 /**
371  * regmap_init(): Initialise register map
372  *
373  * @dev: Device that will be interacted with
374  * @bus: Bus-specific callbacks to use with device
375  * @bus_context: Data passed to bus-specific callbacks
376  * @config: Configuration for register map
377  *
378  * The return value will be an ERR_PTR() on error or a valid pointer to
379  * a struct regmap.  This function should generally not be called
380  * directly, it should be called by bus-specific init functions.
381  */
382 struct regmap *regmap_init(struct device *dev,
383                            const struct regmap_bus *bus,
384                            void *bus_context,
385                            const struct regmap_config *config)
386 {
387         struct regmap *map, **m;
388         int ret = -EINVAL;
389         enum regmap_endian reg_endian, val_endian;
390         int i, j;
391
392         if (!config)
393                 goto err;
394
395         map = kzalloc(sizeof(*map), GFP_KERNEL);
396         if (map == NULL) {
397                 ret = -ENOMEM;
398                 goto err;
399         }
400
401         if (config->lock && config->unlock) {
402                 map->lock = config->lock;
403                 map->unlock = config->unlock;
404                 map->lock_arg = config->lock_arg;
405         } else {
406                 if ((bus && bus->fast_io) ||
407                     config->fast_io) {
408                         spin_lock_init(&map->spinlock);
409                         map->lock = regmap_lock_spinlock;
410                         map->unlock = regmap_unlock_spinlock;
411                 } else {
412                         mutex_init(&map->mutex);
413                         map->lock = regmap_lock_mutex;
414                         map->unlock = regmap_unlock_mutex;
415                 }
416                 map->lock_arg = map;
417         }
418         map->format.reg_bytes = DIV_ROUND_UP(config->reg_bits, 8);
419         map->format.pad_bytes = config->pad_bits / 8;
420         map->format.val_bytes = DIV_ROUND_UP(config->val_bits, 8);
421         map->format.buf_size = DIV_ROUND_UP(config->reg_bits +
422                         config->val_bits + config->pad_bits, 8);
423         map->reg_shift = config->pad_bits % 8;
424         if (config->reg_stride)
425                 map->reg_stride = config->reg_stride;
426         else
427                 map->reg_stride = 1;
428         map->use_single_rw = config->use_single_rw;
429         map->dev = dev;
430         map->bus = bus;
431         map->bus_context = bus_context;
432         map->max_register = config->max_register;
433         map->wr_table = config->wr_table;
434         map->rd_table = config->rd_table;
435         map->volatile_table = config->volatile_table;
436         map->precious_table = config->precious_table;
437         map->writeable_reg = config->writeable_reg;
438         map->readable_reg = config->readable_reg;
439         map->volatile_reg = config->volatile_reg;
440         map->precious_reg = config->precious_reg;
441         map->cache_type = config->cache_type;
442         map->name = config->name;
443
444         spin_lock_init(&map->async_lock);
445         INIT_LIST_HEAD(&map->async_list);
446         init_waitqueue_head(&map->async_waitq);
447
448         if (config->read_flag_mask || config->write_flag_mask) {
449                 map->read_flag_mask = config->read_flag_mask;
450                 map->write_flag_mask = config->write_flag_mask;
451         } else if (bus) {
452                 map->read_flag_mask = bus->read_flag_mask;
453         }
454
455         if (!bus) {
456                 map->reg_read  = config->reg_read;
457                 map->reg_write = config->reg_write;
458
459                 map->defer_caching = false;
460                 goto skip_format_initialization;
461         } else {
462                 map->reg_read  = _regmap_bus_read;
463         }
464
465         reg_endian = config->reg_format_endian;
466         if (reg_endian == REGMAP_ENDIAN_DEFAULT)
467                 reg_endian = bus->reg_format_endian_default;
468         if (reg_endian == REGMAP_ENDIAN_DEFAULT)
469                 reg_endian = REGMAP_ENDIAN_BIG;
470
471         val_endian = config->val_format_endian;
472         if (val_endian == REGMAP_ENDIAN_DEFAULT)
473                 val_endian = bus->val_format_endian_default;
474         if (val_endian == REGMAP_ENDIAN_DEFAULT)
475                 val_endian = REGMAP_ENDIAN_BIG;
476
477         switch (config->reg_bits + map->reg_shift) {
478         case 2:
479                 switch (config->val_bits) {
480                 case 6:
481                         map->format.format_write = regmap_format_2_6_write;
482                         break;
483                 default:
484                         goto err_map;
485                 }
486                 break;
487
488         case 4:
489                 switch (config->val_bits) {
490                 case 12:
491                         map->format.format_write = regmap_format_4_12_write;
492                         break;
493                 default:
494                         goto err_map;
495                 }
496                 break;
497
498         case 7:
499                 switch (config->val_bits) {
500                 case 9:
501                         map->format.format_write = regmap_format_7_9_write;
502                         break;
503                 default:
504                         goto err_map;
505                 }
506                 break;
507
508         case 10:
509                 switch (config->val_bits) {
510                 case 14:
511                         map->format.format_write = regmap_format_10_14_write;
512                         break;
513                 default:
514                         goto err_map;
515                 }
516                 break;
517
518         case 8:
519                 map->format.format_reg = regmap_format_8;
520                 break;
521
522         case 16:
523                 switch (reg_endian) {
524                 case REGMAP_ENDIAN_BIG:
525                         map->format.format_reg = regmap_format_16_be;
526                         break;
527                 case REGMAP_ENDIAN_NATIVE:
528                         map->format.format_reg = regmap_format_16_native;
529                         break;
530                 default:
531                         goto err_map;
532                 }
533                 break;
534
535         case 24:
536                 if (reg_endian != REGMAP_ENDIAN_BIG)
537                         goto err_map;
538                 map->format.format_reg = regmap_format_24;
539                 break;
540
541         case 32:
542                 switch (reg_endian) {
543                 case REGMAP_ENDIAN_BIG:
544                         map->format.format_reg = regmap_format_32_be;
545                         break;
546                 case REGMAP_ENDIAN_NATIVE:
547                         map->format.format_reg = regmap_format_32_native;
548                         break;
549                 default:
550                         goto err_map;
551                 }
552                 break;
553
554         default:
555                 goto err_map;
556         }
557
558         switch (config->val_bits) {
559         case 8:
560                 map->format.format_val = regmap_format_8;
561                 map->format.parse_val = regmap_parse_8;
562                 break;
563         case 16:
564                 switch (val_endian) {
565                 case REGMAP_ENDIAN_BIG:
566                         map->format.format_val = regmap_format_16_be;
567                         map->format.parse_val = regmap_parse_16_be;
568                         break;
569                 case REGMAP_ENDIAN_NATIVE:
570                         map->format.format_val = regmap_format_16_native;
571                         map->format.parse_val = regmap_parse_16_native;
572                         break;
573                 default:
574                         goto err_map;
575                 }
576                 break;
577         case 24:
578                 if (val_endian != REGMAP_ENDIAN_BIG)
579                         goto err_map;
580                 map->format.format_val = regmap_format_24;
581                 map->format.parse_val = regmap_parse_24;
582                 break;
583         case 32:
584                 switch (val_endian) {
585                 case REGMAP_ENDIAN_BIG:
586                         map->format.format_val = regmap_format_32_be;
587                         map->format.parse_val = regmap_parse_32_be;
588                         break;
589                 case REGMAP_ENDIAN_NATIVE:
590                         map->format.format_val = regmap_format_32_native;
591                         map->format.parse_val = regmap_parse_32_native;
592                         break;
593                 default:
594                         goto err_map;
595                 }
596                 break;
597         }
598
599         if (map->format.format_write) {
600                 if ((reg_endian != REGMAP_ENDIAN_BIG) ||
601                     (val_endian != REGMAP_ENDIAN_BIG))
602                         goto err_map;
603                 map->use_single_rw = true;
604         }
605
606         if (!map->format.format_write &&
607             !(map->format.format_reg && map->format.format_val))
608                 goto err_map;
609
610         map->work_buf = kzalloc(map->format.buf_size, GFP_KERNEL);
611         if (map->work_buf == NULL) {
612                 ret = -ENOMEM;
613                 goto err_map;
614         }
615
616         if (map->format.format_write) {
617                 map->defer_caching = false;
618                 map->reg_write = _regmap_bus_formatted_write;
619         } else if (map->format.format_val) {
620                 map->defer_caching = true;
621                 map->reg_write = _regmap_bus_raw_write;
622         }
623
624 skip_format_initialization:
625
626         map->range_tree = RB_ROOT;
627         for (i = 0; i < config->num_ranges; i++) {
628                 const struct regmap_range_cfg *range_cfg = &config->ranges[i];
629                 struct regmap_range_node *new;
630
631                 /* Sanity check */
632                 if (range_cfg->range_max < range_cfg->range_min) {
633                         dev_err(map->dev, "Invalid range %d: %d < %d\n", i,
634                                 range_cfg->range_max, range_cfg->range_min);
635                         goto err_range;
636                 }
637
638                 if (range_cfg->range_max > map->max_register) {
639                         dev_err(map->dev, "Invalid range %d: %d > %d\n", i,
640                                 range_cfg->range_max, map->max_register);
641                         goto err_range;
642                 }
643
644                 if (range_cfg->selector_reg > map->max_register) {
645                         dev_err(map->dev,
646                                 "Invalid range %d: selector out of map\n", i);
647                         goto err_range;
648                 }
649
650                 if (range_cfg->window_len == 0) {
651                         dev_err(map->dev, "Invalid range %d: window_len 0\n",
652                                 i);
653                         goto err_range;
654                 }
655
656                 /* Make sure, that this register range has no selector
657                    or data window within its boundary */
658                 for (j = 0; j < config->num_ranges; j++) {
659                         unsigned sel_reg = config->ranges[j].selector_reg;
660                         unsigned win_min = config->ranges[j].window_start;
661                         unsigned win_max = win_min +
662                                            config->ranges[j].window_len - 1;
663
664                         if (range_cfg->range_min <= sel_reg &&
665                             sel_reg <= range_cfg->range_max) {
666                                 dev_err(map->dev,
667                                         "Range %d: selector for %d in window\n",
668                                         i, j);
669                                 goto err_range;
670                         }
671
672                         if (!(win_max < range_cfg->range_min ||
673                               win_min > range_cfg->range_max)) {
674                                 dev_err(map->dev,
675                                         "Range %d: window for %d in window\n",
676                                         i, j);
677                                 goto err_range;
678                         }
679                 }
680
681                 new = kzalloc(sizeof(*new), GFP_KERNEL);
682                 if (new == NULL) {
683                         ret = -ENOMEM;
684                         goto err_range;
685                 }
686
687                 new->map = map;
688                 new->name = range_cfg->name;
689                 new->range_min = range_cfg->range_min;
690                 new->range_max = range_cfg->range_max;
691                 new->selector_reg = range_cfg->selector_reg;
692                 new->selector_mask = range_cfg->selector_mask;
693                 new->selector_shift = range_cfg->selector_shift;
694                 new->window_start = range_cfg->window_start;
695                 new->window_len = range_cfg->window_len;
696
697                 if (_regmap_range_add(map, new) == false) {
698                         dev_err(map->dev, "Failed to add range %d\n", i);
699                         kfree(new);
700                         goto err_range;
701                 }
702
703                 if (map->selector_work_buf == NULL) {
704                         map->selector_work_buf =
705                                 kzalloc(map->format.buf_size, GFP_KERNEL);
706                         if (map->selector_work_buf == NULL) {
707                                 ret = -ENOMEM;
708                                 goto err_range;
709                         }
710                 }
711         }
712
713         ret = regcache_init(map, config);
714         if (ret != 0)
715                 goto err_range;
716
717         regmap_debugfs_init(map, config->name);
718
719         /* Add a devres resource for dev_get_regmap() */
720         m = devres_alloc(dev_get_regmap_release, sizeof(*m), GFP_KERNEL);
721         if (!m) {
722                 ret = -ENOMEM;
723                 goto err_debugfs;
724         }
725         *m = map;
726         devres_add(dev, m);
727
728         return map;
729
730 err_debugfs:
731         regmap_debugfs_exit(map);
732         regcache_exit(map);
733 err_range:
734         regmap_range_exit(map);
735         kfree(map->work_buf);
736 err_map:
737         kfree(map);
738 err:
739         return ERR_PTR(ret);
740 }
741 EXPORT_SYMBOL_GPL(regmap_init);
742
743 static void devm_regmap_release(struct device *dev, void *res)
744 {
745         regmap_exit(*(struct regmap **)res);
746 }
747
748 /**
749  * devm_regmap_init(): Initialise managed register map
750  *
751  * @dev: Device that will be interacted with
752  * @bus: Bus-specific callbacks to use with device
753  * @bus_context: Data passed to bus-specific callbacks
754  * @config: Configuration for register map
755  *
756  * The return value will be an ERR_PTR() on error or a valid pointer
757  * to a struct regmap.  This function should generally not be called
758  * directly, it should be called by bus-specific init functions.  The
759  * map will be automatically freed by the device management code.
760  */
761 struct regmap *devm_regmap_init(struct device *dev,
762                                 const struct regmap_bus *bus,
763                                 void *bus_context,
764                                 const struct regmap_config *config)
765 {
766         struct regmap **ptr, *regmap;
767
768         ptr = devres_alloc(devm_regmap_release, sizeof(*ptr), GFP_KERNEL);
769         if (!ptr)
770                 return ERR_PTR(-ENOMEM);
771
772         regmap = regmap_init(dev, bus, bus_context, config);
773         if (!IS_ERR(regmap)) {
774                 *ptr = regmap;
775                 devres_add(dev, ptr);
776         } else {
777                 devres_free(ptr);
778         }
779
780         return regmap;
781 }
782 EXPORT_SYMBOL_GPL(devm_regmap_init);
783
784 /**
785  * regmap_reinit_cache(): Reinitialise the current register cache
786  *
787  * @map: Register map to operate on.
788  * @config: New configuration.  Only the cache data will be used.
789  *
790  * Discard any existing register cache for the map and initialize a
791  * new cache.  This can be used to restore the cache to defaults or to
792  * update the cache configuration to reflect runtime discovery of the
793  * hardware.
794  *
795  * No explicit locking is done here, the user needs to ensure that
796  * this function will not race with other calls to regmap.
797  */
798 int regmap_reinit_cache(struct regmap *map, const struct regmap_config *config)
799 {
800         regcache_exit(map);
801         regmap_debugfs_exit(map);
802
803         map->max_register = config->max_register;
804         map->writeable_reg = config->writeable_reg;
805         map->readable_reg = config->readable_reg;
806         map->volatile_reg = config->volatile_reg;
807         map->precious_reg = config->precious_reg;
808         map->cache_type = config->cache_type;
809
810         regmap_debugfs_init(map, config->name);
811
812         map->cache_bypass = false;
813         map->cache_only = false;
814
815         return regcache_init(map, config);
816 }
817 EXPORT_SYMBOL_GPL(regmap_reinit_cache);
818
819 /**
820  * regmap_exit(): Free a previously allocated register map
821  */
822 void regmap_exit(struct regmap *map)
823 {
824         regcache_exit(map);
825         regmap_debugfs_exit(map);
826         regmap_range_exit(map);
827         if (map->bus && map->bus->free_context)
828                 map->bus->free_context(map->bus_context);
829         kfree(map->work_buf);
830         kfree(map);
831 }
832 EXPORT_SYMBOL_GPL(regmap_exit);
833
834 static int dev_get_regmap_match(struct device *dev, void *res, void *data)
835 {
836         struct regmap **r = res;
837         if (!r || !*r) {
838                 WARN_ON(!r || !*r);
839                 return 0;
840         }
841
842         /* If the user didn't specify a name match any */
843         if (data)
844                 return (*r)->name == data;
845         else
846                 return 1;
847 }
848
849 /**
850  * dev_get_regmap(): Obtain the regmap (if any) for a device
851  *
852  * @dev: Device to retrieve the map for
853  * @name: Optional name for the register map, usually NULL.
854  *
855  * Returns the regmap for the device if one is present, or NULL.  If
856  * name is specified then it must match the name specified when
857  * registering the device, if it is NULL then the first regmap found
858  * will be used.  Devices with multiple register maps are very rare,
859  * generic code should normally not need to specify a name.
860  */
861 struct regmap *dev_get_regmap(struct device *dev, const char *name)
862 {
863         struct regmap **r = devres_find(dev, dev_get_regmap_release,
864                                         dev_get_regmap_match, (void *)name);
865
866         if (!r)
867                 return NULL;
868         return *r;
869 }
870 EXPORT_SYMBOL_GPL(dev_get_regmap);
871
872 static int _regmap_select_page(struct regmap *map, unsigned int *reg,
873                                struct regmap_range_node *range,
874                                unsigned int val_num)
875 {
876         void *orig_work_buf;
877         unsigned int win_offset;
878         unsigned int win_page;
879         bool page_chg;
880         int ret;
881
882         win_offset = (*reg - range->range_min) % range->window_len;
883         win_page = (*reg - range->range_min) / range->window_len;
884
885         if (val_num > 1) {
886                 /* Bulk write shouldn't cross range boundary */
887                 if (*reg + val_num - 1 > range->range_max)
888                         return -EINVAL;
889
890                 /* ... or single page boundary */
891                 if (val_num > range->window_len - win_offset)
892                         return -EINVAL;
893         }
894
895         /* It is possible to have selector register inside data window.
896            In that case, selector register is located on every page and
897            it needs no page switching, when accessed alone. */
898         if (val_num > 1 ||
899             range->window_start + win_offset != range->selector_reg) {
900                 /* Use separate work_buf during page switching */
901                 orig_work_buf = map->work_buf;
902                 map->work_buf = map->selector_work_buf;
903
904                 ret = _regmap_update_bits(map, range->selector_reg,
905                                           range->selector_mask,
906                                           win_page << range->selector_shift,
907                                           &page_chg);
908
909                 map->work_buf = orig_work_buf;
910
911                 if (ret != 0)
912                         return ret;
913         }
914
915         *reg = range->window_start + win_offset;
916
917         return 0;
918 }
919
920 static int _regmap_raw_write(struct regmap *map, unsigned int reg,
921                              const void *val, size_t val_len, bool async)
922 {
923         struct regmap_range_node *range;
924         unsigned long flags;
925         u8 *u8 = map->work_buf;
926         void *work_val = map->work_buf + map->format.reg_bytes +
927                 map->format.pad_bytes;
928         void *buf;
929         int ret = -ENOTSUPP;
930         size_t len;
931         int i;
932
933         BUG_ON(!map->bus);
934
935         /* Check for unwritable registers before we start */
936         if (map->writeable_reg)
937                 for (i = 0; i < val_len / map->format.val_bytes; i++)
938                         if (!map->writeable_reg(map->dev,
939                                                 reg + (i * map->reg_stride)))
940                                 return -EINVAL;
941
942         if (!map->cache_bypass && map->format.parse_val) {
943                 unsigned int ival;
944                 int val_bytes = map->format.val_bytes;
945                 for (i = 0; i < val_len / val_bytes; i++) {
946                         memcpy(map->work_buf, val + (i * val_bytes), val_bytes);
947                         ival = map->format.parse_val(map->work_buf);
948                         ret = regcache_write(map, reg + (i * map->reg_stride),
949                                              ival);
950                         if (ret) {
951                                 dev_err(map->dev,
952                                         "Error in caching of register: %x ret: %d\n",
953                                         reg + i, ret);
954                                 return ret;
955                         }
956                 }
957                 if (map->cache_only) {
958                         map->cache_dirty = true;
959                         return 0;
960                 }
961         }
962
963         range = _regmap_range_lookup(map, reg);
964         if (range) {
965                 int val_num = val_len / map->format.val_bytes;
966                 int win_offset = (reg - range->range_min) % range->window_len;
967                 int win_residue = range->window_len - win_offset;
968
969                 /* If the write goes beyond the end of the window split it */
970                 while (val_num > win_residue) {
971                         dev_dbg(map->dev, "Writing window %d/%zu\n",
972                                 win_residue, val_len / map->format.val_bytes);
973                         ret = _regmap_raw_write(map, reg, val, win_residue *
974                                                 map->format.val_bytes, async);
975                         if (ret != 0)
976                                 return ret;
977
978                         reg += win_residue;
979                         val_num -= win_residue;
980                         val += win_residue * map->format.val_bytes;
981                         val_len -= win_residue * map->format.val_bytes;
982
983                         win_offset = (reg - range->range_min) %
984                                 range->window_len;
985                         win_residue = range->window_len - win_offset;
986                 }
987
988                 ret = _regmap_select_page(map, &reg, range, val_num);
989                 if (ret != 0)
990                         return ret;
991         }
992
993         map->format.format_reg(map->work_buf, reg, map->reg_shift);
994
995         u8[0] |= map->write_flag_mask;
996
997         if (async && map->bus->async_write) {
998                 struct regmap_async *async = map->bus->async_alloc();
999                 if (!async)
1000                         return -ENOMEM;
1001
1002                 async->work_buf = kzalloc(map->format.buf_size,
1003                                           GFP_KERNEL | GFP_DMA);
1004                 if (!async->work_buf) {
1005                         kfree(async);
1006                         return -ENOMEM;
1007                 }
1008
1009                 INIT_WORK(&async->cleanup, async_cleanup);
1010                 async->map = map;
1011
1012                 /* If the caller supplied the value we can use it safely. */
1013                 memcpy(async->work_buf, map->work_buf, map->format.pad_bytes +
1014                        map->format.reg_bytes + map->format.val_bytes);
1015                 if (val == work_val)
1016                         val = async->work_buf + map->format.pad_bytes +
1017                                 map->format.reg_bytes;
1018
1019                 spin_lock_irqsave(&map->async_lock, flags);
1020                 list_add_tail(&async->list, &map->async_list);
1021                 spin_unlock_irqrestore(&map->async_lock, flags);
1022
1023                 ret = map->bus->async_write(map->bus_context, async->work_buf,
1024                                             map->format.reg_bytes +
1025                                             map->format.pad_bytes,
1026                                             val, val_len, async);
1027
1028                 if (ret != 0) {
1029                         dev_err(map->dev, "Failed to schedule write: %d\n",
1030                                 ret);
1031
1032                         spin_lock_irqsave(&map->async_lock, flags);
1033                         list_del(&async->list);
1034                         spin_unlock_irqrestore(&map->async_lock, flags);
1035
1036                         kfree(async->work_buf);
1037                         kfree(async);
1038                 }
1039         }
1040
1041         trace_regmap_hw_write_start(map->dev, reg,
1042                                     val_len / map->format.val_bytes);
1043
1044         /* If we're doing a single register write we can probably just
1045          * send the work_buf directly, otherwise try to do a gather
1046          * write.
1047          */
1048         if (val == work_val)
1049                 ret = map->bus->write(map->bus_context, map->work_buf,
1050                                       map->format.reg_bytes +
1051                                       map->format.pad_bytes +
1052                                       val_len);
1053         else if (map->bus->gather_write)
1054                 ret = map->bus->gather_write(map->bus_context, map->work_buf,
1055                                              map->format.reg_bytes +
1056                                              map->format.pad_bytes,
1057                                              val, val_len);
1058
1059         /* If that didn't work fall back on linearising by hand. */
1060         if (ret == -ENOTSUPP) {
1061                 len = map->format.reg_bytes + map->format.pad_bytes + val_len;
1062                 buf = kzalloc(len, GFP_KERNEL);
1063                 if (!buf)
1064                         return -ENOMEM;
1065
1066                 memcpy(buf, map->work_buf, map->format.reg_bytes);
1067                 memcpy(buf + map->format.reg_bytes + map->format.pad_bytes,
1068                        val, val_len);
1069                 ret = map->bus->write(map->bus_context, buf, len);
1070
1071                 kfree(buf);
1072         }
1073
1074         trace_regmap_hw_write_done(map->dev, reg,
1075                                    val_len / map->format.val_bytes);
1076
1077         return ret;
1078 }
1079
1080 static int _regmap_bus_formatted_write(void *context, unsigned int reg,
1081                                        unsigned int val)
1082 {
1083         int ret;
1084         struct regmap_range_node *range;
1085         struct regmap *map = context;
1086
1087         BUG_ON(!map->bus || !map->format.format_write);
1088
1089         range = _regmap_range_lookup(map, reg);
1090         if (range) {
1091                 ret = _regmap_select_page(map, &reg, range, 1);
1092                 if (ret != 0)
1093                         return ret;
1094         }
1095
1096         map->format.format_write(map, reg, val);
1097
1098         trace_regmap_hw_write_start(map->dev, reg, 1);
1099
1100         ret = map->bus->write(map->bus_context, map->work_buf,
1101                               map->format.buf_size);
1102
1103         trace_regmap_hw_write_done(map->dev, reg, 1);
1104
1105         return ret;
1106 }
1107
1108 static int _regmap_bus_raw_write(void *context, unsigned int reg,
1109                                  unsigned int val)
1110 {
1111         struct regmap *map = context;
1112
1113         BUG_ON(!map->bus || !map->format.format_val);
1114
1115         map->format.format_val(map->work_buf + map->format.reg_bytes
1116                                + map->format.pad_bytes, val, 0);
1117         return _regmap_raw_write(map, reg,
1118                                  map->work_buf +
1119                                  map->format.reg_bytes +
1120                                  map->format.pad_bytes,
1121                                  map->format.val_bytes, false);
1122 }
1123
1124 static inline void *_regmap_map_get_context(struct regmap *map)
1125 {
1126         return (map->bus) ? map : map->bus_context;
1127 }
1128
1129 int _regmap_write(struct regmap *map, unsigned int reg,
1130                   unsigned int val)
1131 {
1132         int ret;
1133         void *context = _regmap_map_get_context(map);
1134
1135         if (!map->cache_bypass && !map->defer_caching) {
1136                 ret = regcache_write(map, reg, val);
1137                 if (ret != 0)
1138                         return ret;
1139                 if (map->cache_only) {
1140                         map->cache_dirty = true;
1141                         return 0;
1142                 }
1143         }
1144
1145 #ifdef LOG_DEVICE
1146         if (strcmp(dev_name(map->dev), LOG_DEVICE) == 0)
1147                 dev_info(map->dev, "%x <= %x\n", reg, val);
1148 #endif
1149
1150         trace_regmap_reg_write(map->dev, reg, val);
1151
1152         return map->reg_write(context, reg, val);
1153 }
1154
1155 /**
1156  * regmap_write(): Write a value to a single register
1157  *
1158  * @map: Register map to write to
1159  * @reg: Register to write to
1160  * @val: Value to be written
1161  *
1162  * A value of zero will be returned on success, a negative errno will
1163  * be returned in error cases.
1164  */
1165 int regmap_write(struct regmap *map, unsigned int reg, unsigned int val)
1166 {
1167         int ret;
1168
1169         if (reg % map->reg_stride)
1170                 return -EINVAL;
1171
1172         map->lock(map->lock_arg);
1173
1174         ret = _regmap_write(map, reg, val);
1175
1176         map->unlock(map->lock_arg);
1177
1178         return ret;
1179 }
1180 EXPORT_SYMBOL_GPL(regmap_write);
1181
1182 /**
1183  * regmap_raw_write(): Write raw values to one or more registers
1184  *
1185  * @map: Register map to write to
1186  * @reg: Initial register to write to
1187  * @val: Block of data to be written, laid out for direct transmission to the
1188  *       device
1189  * @val_len: Length of data pointed to by val.
1190  *
1191  * This function is intended to be used for things like firmware
1192  * download where a large block of data needs to be transferred to the
1193  * device.  No formatting will be done on the data provided.
1194  *
1195  * A value of zero will be returned on success, a negative errno will
1196  * be returned in error cases.
1197  */
1198 int regmap_raw_write(struct regmap *map, unsigned int reg,
1199                      const void *val, size_t val_len)
1200 {
1201         int ret;
1202
1203         if (!map->bus)
1204                 return -EINVAL;
1205         if (val_len % map->format.val_bytes)
1206                 return -EINVAL;
1207         if (reg % map->reg_stride)
1208                 return -EINVAL;
1209
1210         map->lock(map->lock_arg);
1211
1212         ret = _regmap_raw_write(map, reg, val, val_len, false);
1213
1214         map->unlock(map->lock_arg);
1215
1216         return ret;
1217 }
1218 EXPORT_SYMBOL_GPL(regmap_raw_write);
1219
1220 /*
1221  * regmap_bulk_write(): Write multiple registers to the device
1222  *
1223  * @map: Register map to write to
1224  * @reg: First register to be write from
1225  * @val: Block of data to be written, in native register size for device
1226  * @val_count: Number of registers to write
1227  *
1228  * This function is intended to be used for writing a large block of
1229  * data to the device either in single transfer or multiple transfer.
1230  *
1231  * A value of zero will be returned on success, a negative errno will
1232  * be returned in error cases.
1233  */
1234 int regmap_bulk_write(struct regmap *map, unsigned int reg, const void *val,
1235                      size_t val_count)
1236 {
1237         int ret = 0, i;
1238         size_t val_bytes = map->format.val_bytes;
1239         void *wval;
1240
1241         if (!map->bus)
1242                 return -EINVAL;
1243         if (!map->format.parse_val)
1244                 return -EINVAL;
1245         if (reg % map->reg_stride)
1246                 return -EINVAL;
1247
1248         map->lock(map->lock_arg);
1249
1250         /* No formatting is require if val_byte is 1 */
1251         if (val_bytes == 1) {
1252                 wval = (void *)val;
1253         } else {
1254                 wval = kmemdup(val, val_count * val_bytes, GFP_KERNEL);
1255                 if (!wval) {
1256                         ret = -ENOMEM;
1257                         dev_err(map->dev, "Error in memory allocation\n");
1258                         goto out;
1259                 }
1260                 for (i = 0; i < val_count * val_bytes; i += val_bytes)
1261                         map->format.parse_val(wval + i);
1262         }
1263         /*
1264          * Some devices does not support bulk write, for
1265          * them we have a series of single write operations.
1266          */
1267         if (map->use_single_rw) {
1268                 for (i = 0; i < val_count; i++) {
1269                         ret = regmap_raw_write(map,
1270                                                reg + (i * map->reg_stride),
1271                                                val + (i * val_bytes),
1272                                                val_bytes);
1273                         if (ret != 0)
1274                                 return ret;
1275                 }
1276         } else {
1277                 ret = _regmap_raw_write(map, reg, wval, val_bytes * val_count,
1278                                         false);
1279         }
1280
1281         if (val_bytes != 1)
1282                 kfree(wval);
1283
1284 out:
1285         map->unlock(map->lock_arg);
1286         return ret;
1287 }
1288 EXPORT_SYMBOL_GPL(regmap_bulk_write);
1289
1290 /**
1291  * regmap_raw_write_async(): Write raw values to one or more registers
1292  *                           asynchronously
1293  *
1294  * @map: Register map to write to
1295  * @reg: Initial register to write to
1296  * @val: Block of data to be written, laid out for direct transmission to the
1297  *       device.  Must be valid until regmap_async_complete() is called.
1298  * @val_len: Length of data pointed to by val.
1299  *
1300  * This function is intended to be used for things like firmware
1301  * download where a large block of data needs to be transferred to the
1302  * device.  No formatting will be done on the data provided.
1303  *
1304  * If supported by the underlying bus the write will be scheduled
1305  * asynchronously, helping maximise I/O speed on higher speed buses
1306  * like SPI.  regmap_async_complete() can be called to ensure that all
1307  * asynchrnous writes have been completed.
1308  *
1309  * A value of zero will be returned on success, a negative errno will
1310  * be returned in error cases.
1311  */
1312 int regmap_raw_write_async(struct regmap *map, unsigned int reg,
1313                            const void *val, size_t val_len)
1314 {
1315         int ret;
1316
1317         if (val_len % map->format.val_bytes)
1318                 return -EINVAL;
1319         if (reg % map->reg_stride)
1320                 return -EINVAL;
1321
1322         map->lock(map->lock_arg);
1323
1324         ret = _regmap_raw_write(map, reg, val, val_len, true);
1325
1326         map->unlock(map->lock_arg);
1327
1328         return ret;
1329 }
1330 EXPORT_SYMBOL_GPL(regmap_raw_write_async);
1331
1332 static int _regmap_raw_read(struct regmap *map, unsigned int reg, void *val,
1333                             unsigned int val_len)
1334 {
1335         struct regmap_range_node *range;
1336         u8 *u8 = map->work_buf;
1337         int ret;
1338
1339         BUG_ON(!map->bus);
1340
1341         range = _regmap_range_lookup(map, reg);
1342         if (range) {
1343                 ret = _regmap_select_page(map, &reg, range,
1344                                           val_len / map->format.val_bytes);
1345                 if (ret != 0)
1346                         return ret;
1347         }
1348
1349         map->format.format_reg(map->work_buf, reg, map->reg_shift);
1350
1351         /*
1352          * Some buses or devices flag reads by setting the high bits in the
1353          * register addresss; since it's always the high bits for all
1354          * current formats we can do this here rather than in
1355          * formatting.  This may break if we get interesting formats.
1356          */
1357         u8[0] |= map->read_flag_mask;
1358
1359         trace_regmap_hw_read_start(map->dev, reg,
1360                                    val_len / map->format.val_bytes);
1361
1362         ret = map->bus->read(map->bus_context, map->work_buf,
1363                              map->format.reg_bytes + map->format.pad_bytes,
1364                              val, val_len);
1365
1366         trace_regmap_hw_read_done(map->dev, reg,
1367                                   val_len / map->format.val_bytes);
1368
1369         return ret;
1370 }
1371
1372 static int _regmap_bus_read(void *context, unsigned int reg,
1373                             unsigned int *val)
1374 {
1375         int ret;
1376         struct regmap *map = context;
1377
1378         if (!map->format.parse_val)
1379                 return -EINVAL;
1380
1381         ret = _regmap_raw_read(map, reg, map->work_buf, map->format.val_bytes);
1382         if (ret == 0)
1383                 *val = map->format.parse_val(map->work_buf);
1384
1385         return ret;
1386 }
1387
1388 static int _regmap_read(struct regmap *map, unsigned int reg,
1389                         unsigned int *val)
1390 {
1391         int ret;
1392         void *context = _regmap_map_get_context(map);
1393
1394         BUG_ON(!map->reg_read);
1395
1396         if (!map->cache_bypass) {
1397                 ret = regcache_read(map, reg, val);
1398                 if (ret == 0)
1399                         return 0;
1400         }
1401
1402         if (map->cache_only)
1403                 return -EBUSY;
1404
1405         ret = map->reg_read(context, reg, val);
1406         if (ret == 0) {
1407 #ifdef LOG_DEVICE
1408                 if (strcmp(dev_name(map->dev), LOG_DEVICE) == 0)
1409                         dev_info(map->dev, "%x => %x\n", reg, *val);
1410 #endif
1411
1412                 trace_regmap_reg_read(map->dev, reg, *val);
1413
1414                 if (!map->cache_bypass)
1415                         regcache_write(map, reg, *val);
1416         }
1417
1418         return ret;
1419 }
1420
1421 /**
1422  * regmap_read(): Read a value from a single register
1423  *
1424  * @map: Register map to write to
1425  * @reg: Register to be read from
1426  * @val: Pointer to store read value
1427  *
1428  * A value of zero will be returned on success, a negative errno will
1429  * be returned in error cases.
1430  */
1431 int regmap_read(struct regmap *map, unsigned int reg, unsigned int *val)
1432 {
1433         int ret;
1434
1435         if (reg % map->reg_stride)
1436                 return -EINVAL;
1437
1438         map->lock(map->lock_arg);
1439
1440         ret = _regmap_read(map, reg, val);
1441
1442         map->unlock(map->lock_arg);
1443
1444         return ret;
1445 }
1446 EXPORT_SYMBOL_GPL(regmap_read);
1447
1448 /**
1449  * regmap_raw_read(): Read raw data from the device
1450  *
1451  * @map: Register map to write to
1452  * @reg: First register to be read from
1453  * @val: Pointer to store read value
1454  * @val_len: Size of data to read
1455  *
1456  * A value of zero will be returned on success, a negative errno will
1457  * be returned in error cases.
1458  */
1459 int regmap_raw_read(struct regmap *map, unsigned int reg, void *val,
1460                     size_t val_len)
1461 {
1462         size_t val_bytes = map->format.val_bytes;
1463         size_t val_count = val_len / val_bytes;
1464         unsigned int v;
1465         int ret, i;
1466
1467         if (!map->bus)
1468                 return -EINVAL;
1469         if (val_len % map->format.val_bytes)
1470                 return -EINVAL;
1471         if (reg % map->reg_stride)
1472                 return -EINVAL;
1473
1474         map->lock(map->lock_arg);
1475
1476         if (regmap_volatile_range(map, reg, val_count) || map->cache_bypass ||
1477             map->cache_type == REGCACHE_NONE) {
1478                 /* Physical block read if there's no cache involved */
1479                 ret = _regmap_raw_read(map, reg, val, val_len);
1480
1481         } else {
1482                 /* Otherwise go word by word for the cache; should be low
1483                  * cost as we expect to hit the cache.
1484                  */
1485                 for (i = 0; i < val_count; i++) {
1486                         ret = _regmap_read(map, reg + (i * map->reg_stride),
1487                                            &v);
1488                         if (ret != 0)
1489                                 goto out;
1490
1491                         map->format.format_val(val + (i * val_bytes), v, 0);
1492                 }
1493         }
1494
1495  out:
1496         map->unlock(map->lock_arg);
1497
1498         return ret;
1499 }
1500 EXPORT_SYMBOL_GPL(regmap_raw_read);
1501
1502 /**
1503  * regmap_bulk_read(): Read multiple registers from the device
1504  *
1505  * @map: Register map to write to
1506  * @reg: First register to be read from
1507  * @val: Pointer to store read value, in native register size for device
1508  * @val_count: Number of registers to read
1509  *
1510  * A value of zero will be returned on success, a negative errno will
1511  * be returned in error cases.
1512  */
1513 int regmap_bulk_read(struct regmap *map, unsigned int reg, void *val,
1514                      size_t val_count)
1515 {
1516         int ret, i;
1517         size_t val_bytes = map->format.val_bytes;
1518         bool vol = regmap_volatile_range(map, reg, val_count);
1519
1520         if (!map->bus)
1521                 return -EINVAL;
1522         if (!map->format.parse_val)
1523                 return -EINVAL;
1524         if (reg % map->reg_stride)
1525                 return -EINVAL;
1526
1527         if (vol || map->cache_type == REGCACHE_NONE) {
1528                 /*
1529                  * Some devices does not support bulk read, for
1530                  * them we have a series of single read operations.
1531                  */
1532                 if (map->use_single_rw) {
1533                         for (i = 0; i < val_count; i++) {
1534                                 ret = regmap_raw_read(map,
1535                                                 reg + (i * map->reg_stride),
1536                                                 val + (i * val_bytes),
1537                                                 val_bytes);
1538                                 if (ret != 0)
1539                                         return ret;
1540                         }
1541                 } else {
1542                         ret = regmap_raw_read(map, reg, val,
1543                                               val_bytes * val_count);
1544                         if (ret != 0)
1545                                 return ret;
1546                 }
1547
1548                 for (i = 0; i < val_count * val_bytes; i += val_bytes)
1549                         map->format.parse_val(val + i);
1550         } else {
1551                 for (i = 0; i < val_count; i++) {
1552                         unsigned int ival;
1553                         ret = regmap_read(map, reg + (i * map->reg_stride),
1554                                           &ival);
1555                         if (ret != 0)
1556                                 return ret;
1557                         memcpy(val + (i * val_bytes), &ival, val_bytes);
1558                 }
1559         }
1560
1561         return 0;
1562 }
1563 EXPORT_SYMBOL_GPL(regmap_bulk_read);
1564
1565 static int _regmap_update_bits(struct regmap *map, unsigned int reg,
1566                                unsigned int mask, unsigned int val,
1567                                bool *change)
1568 {
1569         int ret;
1570         unsigned int tmp, orig;
1571
1572         ret = _regmap_read(map, reg, &orig);
1573         if (ret != 0)
1574                 return ret;
1575
1576         tmp = orig & ~mask;
1577         tmp |= val & mask;
1578
1579         if (tmp != orig) {
1580                 ret = _regmap_write(map, reg, tmp);
1581                 *change = true;
1582         } else {
1583                 *change = false;
1584         }
1585
1586         return ret;
1587 }
1588
1589 /**
1590  * regmap_update_bits: Perform a read/modify/write cycle on the register map
1591  *
1592  * @map: Register map to update
1593  * @reg: Register to update
1594  * @mask: Bitmask to change
1595  * @val: New value for bitmask
1596  *
1597  * Returns zero for success, a negative number on error.
1598  */
1599 int regmap_update_bits(struct regmap *map, unsigned int reg,
1600                        unsigned int mask, unsigned int val)
1601 {
1602         bool change;
1603         int ret;
1604
1605         map->lock(map->lock_arg);
1606         ret = _regmap_update_bits(map, reg, mask, val, &change);
1607         map->unlock(map->lock_arg);
1608
1609         return ret;
1610 }
1611 EXPORT_SYMBOL_GPL(regmap_update_bits);
1612
1613 /**
1614  * regmap_update_bits_check: Perform a read/modify/write cycle on the
1615  *                           register map and report if updated
1616  *
1617  * @map: Register map to update
1618  * @reg: Register to update
1619  * @mask: Bitmask to change
1620  * @val: New value for bitmask
1621  * @change: Boolean indicating if a write was done
1622  *
1623  * Returns zero for success, a negative number on error.
1624  */
1625 int regmap_update_bits_check(struct regmap *map, unsigned int reg,
1626                              unsigned int mask, unsigned int val,
1627                              bool *change)
1628 {
1629         int ret;
1630
1631         map->lock(map->lock_arg);
1632         ret = _regmap_update_bits(map, reg, mask, val, change);
1633         map->unlock(map->lock_arg);
1634         return ret;
1635 }
1636 EXPORT_SYMBOL_GPL(regmap_update_bits_check);
1637
1638 void regmap_async_complete_cb(struct regmap_async *async, int ret)
1639 {
1640         struct regmap *map = async->map;
1641         bool wake;
1642
1643         spin_lock(&map->async_lock);
1644
1645         list_del(&async->list);
1646         wake = list_empty(&map->async_list);
1647
1648         if (ret != 0)
1649                 map->async_ret = ret;
1650
1651         spin_unlock(&map->async_lock);
1652
1653         schedule_work(&async->cleanup);
1654
1655         if (wake)
1656                 wake_up(&map->async_waitq);
1657 }
1658 EXPORT_SYMBOL_GPL(regmap_async_complete_cb);
1659
1660 static int regmap_async_is_done(struct regmap *map)
1661 {
1662         unsigned long flags;
1663         int ret;
1664
1665         spin_lock_irqsave(&map->async_lock, flags);
1666         ret = list_empty(&map->async_list);
1667         spin_unlock_irqrestore(&map->async_lock, flags);
1668
1669         return ret;
1670 }
1671
1672 /**
1673  * regmap_async_complete: Ensure all asynchronous I/O has completed.
1674  *
1675  * @map: Map to operate on.
1676  *
1677  * Blocks until any pending asynchronous I/O has completed.  Returns
1678  * an error code for any failed I/O operations.
1679  */
1680 int regmap_async_complete(struct regmap *map)
1681 {
1682         unsigned long flags;
1683         int ret;
1684
1685         /* Nothing to do with no async support */
1686         if (!map->bus->async_write)
1687                 return 0;
1688
1689         wait_event(map->async_waitq, regmap_async_is_done(map));
1690
1691         spin_lock_irqsave(&map->async_lock, flags);
1692         ret = map->async_ret;
1693         map->async_ret = 0;
1694         spin_unlock_irqrestore(&map->async_lock, flags);
1695
1696         return ret;
1697 }
1698 EXPORT_SYMBOL_GPL(regmap_async_complete);
1699
1700 /**
1701  * regmap_register_patch: Register and apply register updates to be applied
1702  *                        on device initialistion
1703  *
1704  * @map: Register map to apply updates to.
1705  * @regs: Values to update.
1706  * @num_regs: Number of entries in regs.
1707  *
1708  * Register a set of register updates to be applied to the device
1709  * whenever the device registers are synchronised with the cache and
1710  * apply them immediately.  Typically this is used to apply
1711  * corrections to be applied to the device defaults on startup, such
1712  * as the updates some vendors provide to undocumented registers.
1713  */
1714 int regmap_register_patch(struct regmap *map, const struct reg_default *regs,
1715                           int num_regs)
1716 {
1717         int i, ret;
1718         bool bypass;
1719
1720         /* If needed the implementation can be extended to support this */
1721         if (map->patch)
1722                 return -EBUSY;
1723
1724         map->lock(map->lock_arg);
1725
1726         bypass = map->cache_bypass;
1727
1728         map->cache_bypass = true;
1729
1730         /* Write out first; it's useful to apply even if we fail later. */
1731         for (i = 0; i < num_regs; i++) {
1732                 ret = _regmap_write(map, regs[i].reg, regs[i].def);
1733                 if (ret != 0) {
1734                         dev_err(map->dev, "Failed to write %x = %x: %d\n",
1735                                 regs[i].reg, regs[i].def, ret);
1736                         goto out;
1737                 }
1738         }
1739
1740         map->patch = kcalloc(num_regs, sizeof(struct reg_default), GFP_KERNEL);
1741         if (map->patch != NULL) {
1742                 memcpy(map->patch, regs,
1743                        num_regs * sizeof(struct reg_default));
1744                 map->patch_regs = num_regs;
1745         } else {
1746                 ret = -ENOMEM;
1747         }
1748
1749 out:
1750         map->cache_bypass = bypass;
1751
1752         map->unlock(map->lock_arg);
1753
1754         return ret;
1755 }
1756 EXPORT_SYMBOL_GPL(regmap_register_patch);
1757
1758 /*
1759  * regmap_get_val_bytes(): Report the size of a register value
1760  *
1761  * Report the size of a register value, mainly intended to for use by
1762  * generic infrastructure built on top of regmap.
1763  */
1764 int regmap_get_val_bytes(struct regmap *map)
1765 {
1766         if (map->format.format_write)
1767                 return -EINVAL;
1768
1769         return map->format.val_bytes;
1770 }
1771 EXPORT_SYMBOL_GPL(regmap_get_val_bytes);
1772
1773 static int __init regmap_initcall(void)
1774 {
1775         regmap_debugfs_initcall();
1776
1777         return 0;
1778 }
1779 postcore_initcall(regmap_initcall);