24d576d931d1a32c6e7c897b22eca0a5cd9066d3
[piuparts/piuparts.git] / TODO
1 Things to do for piuparts
2 =========================
3
4 Please also check the BTS, especially the bugs with a severity higher than
5 wishlist!
6
7
8 for 0.5x:
9
10 - Create links in htdocs from $codename to stable/testing/unstable used
11   for all the sections. (Closes: #696093)
12   Create simple master cronjob to this daily.
13
14 - use /sys/fs/selinux from wheezy onwards - see #682068 for more info
15
16 - make piuparts-master + piuparts-slave packages work with documented steps:
17   - do not enable sudoers.d/piuparts-slave in p-s.deb, neither the cronjobs.
18     - this is manual work one has done once after installation. we only
19       document whats needs to be done how.
20   - the shipped crontabs are not suitable from cron.d/ due to missing user
21     column -> provide instructions how to install them as piuparts(s|m) user
22     from /u/s/doc/p-(s|m)/examples
23   - verify that all scripts in $user/bin/ also work from master-slave packages
24     eventually enable some conjobs in the packages
25   - slave.postinst should setup '~piupartsm/.ssh/authorized_keys' using triggers
26     dpkg-trigger piuparts-master-please-install-the-slave-key
27     + the current method only works if -slave is configured after -master
28     - maybe do this manually again as well?
29
30 - Documentation related:
31   - examples are duplicated in piuparts.1.txt and README.txt - only keep one copy.
32   - README_server has some duplication information on configuration as well.
33
34 - more stats and graphs:
35   - packages processed per day and section
36     - master writes submissions.txt per section since 0.45
37   - # of open bugs with tag piuparts
38   - generate http://piuparts.debian.org/stable/states.png + testing.png from
39     existing data
40   - generate simple diagrams: number of source + binary package in all single distros:
41     squeeze, wheezy, jessie, sid.
42   - move counts.txt from htdocs to master.
43
44 - add a sample config with all possible keys set to some useful value
45   (like /usr/share/doc/apt/examples/configure-index.gz)
46
47 - piuparts.conf.pejacevic: use mirror via nfs (faster)
48
49 - look for a solution to use the global debian mirror for debian-backports,
50   too, to avoid hardcoding a specific mirror in distros.conf
51
52 - install from git/Makefile: remove the need for /etc/piuparts
53
54 - maybe compress all logfiles
55
56 - link wiki:piuparts/UseCases||UsageTips in README_1st (after we agreed on a name)
57
58
59 for 0.6x:
60
61 - if it weren't for 'slave-bin/slave_cleanup', the slave would only need
62   rights to run "sudo piuparts" but nothing else. If we can clean this up,
63   the sudoers.d should recommend sudo (lsof|kill|umount) for admins.
64
65 - if there were real schroot support, piuparts could be used without sudo.
66   (#708663)
67
68 - generate piuparts.1.txt automatically from piuparts.py - see this blog post
69   for a nice howto:
70   http://andialbrecht.wordpress.com/2009/03/17/creating-a-man-page-with-distutils-and-optparse/
71   - though this seems pretty complicated... maybe rather grep for
72     parser.add_option and help= in piuparts.py ?!
73     - requires merging all the additional infomation in piuparts.1.txt into piuarts.py
74     - parsing piuparts --help output may be easier than parsing piuparts.py
75
76 - rework known_problems:
77   - split detect_well_known_errors
78     - parsing the logfiles should stay there
79     - generating the html should be integrated into piuparts-report
80   - use a number prefix for sorting
81   - add title information
82   - piuparts-report: "discover" the available known_problems, dont hardcode the
83     list
84   - drop _issue/_error duplication, have flags inside to indicate thether to
85     generate _issues.tpl (pass/) and/or _error.tpl (fail/ bugged/ affected/)
86   - rework known problems to a python-friendlier format
87
88 - accept a PIUPARTS_CONF environment variable everywhere to point to a different
89   piuparts.conf
90
91 - write reportbug-like wrapper for mass bug filing (start simple, make it more
92   sophisticated later).
93
94 - rewrite piuparts-analyze to run over all sections and cache BTS responses
95
96 - "decorate" (strike-through) bug links generated by piuparts-analyze to
97   indicate resolved state (take package version into account!)
98
99 - verify that find_default_debian_mirrors does something sane
100
101 - find_default_debian_mirrors: if parts[2] contains a / (think stable/updates
102   for security.d.o), you can't ignore this, it will break later...
103   - with distros.conf this may no longer be needed
104   - check whether find_default_debian_mirrors produces something useful if
105     sources.list does not exist (and sources.list.d/*.list is there instead)
106   - maybe parse 'apt-cache policy' to get the mirror list instead
107
108 - make it possible to call aptitude (or similar) instead of apt-get and allow to
109   override the commandline arguments.
110
111 - the templates used by update-reports.py and detect_well_known_errors should
112   be taken from /etc/piuparts/templates/ and not be included in the python source
113
114 - check the logfiles (especially pass/) for
115   - "Exception in thread"
116   - java stacktraces
117   - "Can't locate .* in @INC"
118
119
120 for 0.7x and later:
121
122 - mounting /proc and perhaps others (usbfs, sysfs, /dev/pts, etc.) in the chroot
123   might be a good idea because some packages might need this.
124
125 - report:
126   - write stats about the reasons for failures, as its done with shell scripts
127     now (piuparts-analyze.py is an existing "fragment".)
128   - RSS feeds of logs
129   - do more fancy R graphs, eg. also per state
130   - link (and target) to piuparts.d.o configuration is static to pejacevic. should
131     refer to the actual hosts configuration if running somewhere else
132
133 - a redirect of http://piuparts.d.o/foo to http://p.d.o/source/f/foo.html would
134   be nice
135
136 - really support multiple architectures:
137   - piuparts-report should have a list of available arch and list packages only
138     available on untested archs in a new state
139     "(depends-)not-available-on-tested-archs"
140   - master should (per default) only schedule packages which are not available
141     on the master arch to slaves of different archs ->
142     "schedule-evenly-to-slaves = no"
143
144 - piuparts-master: keep track of to whom a reservation was given
145
146 - piuparts can't currently test upgrades of required packages.  (Because they
147   cannot be removed, it assumes these are untestable, which is only true for
148   removal tests...
149   - all distupgrade tests implicitly tests these upgrades, although not
150     individually per package
151
152 - not sure if it's a sensible thing to to, but provide a way to turn off
153   debugging output for piuparts.py - see
154   http://docs.python.org/library/logging.html
155
156 - commandline-switches for all programms
157
158 - move shell cronjobs functionality into master, slave & report
159
160
161 1.0 should really have automated testing of piuparts itself...
162 -----------------------------------------------------------------
163
164 - create archive of broken packages to provide test cases for piuparts testing.
165
166 - create emacspeak-broken-dpkg-preconfigure package for broken repo. (then later
167   put more broken packages in there and use that for testing piuparts)
168